Он родился в городе Ромны Черниговской области и вырос в интеллигентной, хорошо образованной семье. Его дед по отцовской линии имел духовное звание, в начале XX века он переехал в Ромны из Прибалтики. Бабушка по линии матери была в родстве с известным скульптором Антокольским. Отец Шварца — филолог, окончил Петербургский университет. Он был человеком очень музыкальным, любил и хорошо знал как классическую, так и народную музыку и обладал сильным и красивым голосом. Мама окончила институт в Киеве, преподавала математику, литературу и русский язык в школе.
Юный Шварц и две его старшие сестры проявляли большие способности к музыке, причем способности девочек в семье ценились значительно выше, чем самого Исаака. Когда в 1930 семья переехала в Ленинград, старшая, Валентина, стала студенткой фортепианного факультета консерватории и делала успехи. В доме часто собирались друзья отца по университету и устраивали настоящие музыкальные вечера. В Ленинграде Иосиф Евсеевич познакомился с молодым Д.Д. Шостаковичем, творчество которого очень ценил и талантом которого не переставал восхищаться. Он в это время преподавал в университете, пока время не проехало по его судьбе катком: в результате «чистки» он был сначала уволен, а затем репрессирован.
Исаак занимался в Доме художественного воспитания детей по классу рояля у преподавателя А.С. Замкова. В 1935 году в жизни 12-летнего Шварца произошло очень важное событие. Он принял участие в концерте молодых дарований в Большом зале Ленинградской филармонии — в сопровождении оркестра филармонии блестяще исполнил 1-ю часть Первого концерта Шопена. Юного пианиста заметил выдающийся музыкант и педагог профессор Леонид Владимирович Николаев. Шварц начал брать у него уроки.
9 декабря 1936 года Иосиф Евсеевич, едва оправившись после перенесённого инфаркта, был арестован органами НКВД. Этот день стал роковым для всей семьи. После изнурительных допросов в марте 1937 года был осуждён по 58-й статье за «антисоветские разговоры». Из заключения он не вернулся — погиб в лагере. А вся семья была выслана в Киргизию. Матери Исаака Рахили Соломоновне пришлось из учительницы «переквалифицироваться» в работницы швейной фабрики.
Во Фрунзе судьба свела Шварца со многими образованнейшими людьми (среди «спецпереселенцев» были филологи, историки, философы), общение с которыми обогатило его на всю жизнь. В их числе была сестра Д.Д. Шостаковича Мария Дмитриевна, пианистка, сосланная по аналогичному поводу. Эти встречи во многом предопределили будущую работу композитора над музыкальным оформлением спектаклей и кинофильмов по произведениям русских классиков — Достоевского, Пушкина, Островского, Гончарова, Тургенева, Чехова, Толстого, Горького. В 1938 году Исаак Шварц начал брать уроки композиции у замечательного педагога и крупного композитора, впоследствии профессора Московской консерватории Владимира Фере. Чтобы помочь семье прокормиться, 14-летний Исаак стал давать частные уроки игры на фортепиано детям местных чиновников. Учась в школе и давая по 3–4 урока в день, он выкраивал время для самостоятельных музыкальных занятий, как только удавалось найти где-либо «порядочный» инструмент, что было крайне непросто в условиях ссылки. В последующие годы ссылки Шварц приобрел ценные профессиональные навыки, работая концертмейстером в Киргизском государственном театре оперы и балета. Во время Великой Отечественной войны он руководил хором и оркестром Красноармейского ансамбля песни и пляски Фрунзенского военного округа. В 1943 году женился, вскоре родилась дочь Галина.
Когда в 1945 году срок ссылки окончился и семья возвратилась в Ленинград, Шостакович обратился к профессору Ленинградской консерватории Борису Александровичу Арапову с просьбой принять талантливого музыканта, несмотря на его слабую теоретическую подготовку, в свой класс композиции на 1-й курс, с условием, что Шварц интенсивно займется теоретическими дисциплинами. Исаак Иосифович вспоминает, что при первой же встрече Дмитрий Дмитриевич отнесся к нему с большой теплотой и участием, а в дальнейшем следил за развитием его творчества, помогал советами, радовался его удачам.
Занимаясь у Арапова, Исаак Шварц написал целый ряд великолепных произведений, лучшими из которых явились Соната для скрипки и фортепиано, привлекающая горячей «общительностью» высказывания, сочными контрастами лирических и жанровых музыкальных образов, естественной свежестью мелодики и гармонического языка, а также романсы на стихи Пушкина, Тютчева, Фета, Полонского, Гейне. Соната и романсы исполнялись знаменитыми концертантами — скрипачом Михаилом Вайманом, певцами Сергеем Шапошниковым и Надеждой Вельтер.