Он родился в 1915 году в Белоруссии, детство провел на Украине. В школу не ходил. Отец — профессиональный учитель начал еврейской грамоты и религии — сам занимался с ним, а в 11 лет отправил его в религиозное еврейское училище (ешиву).
В 1930 году ешива была закрыта, и пятнадцатилетний выпускник с основательным знанием Торы и Талмуда отправился в Ленинград, заниматься более советскими — светскими — науками. Особенно его влекла астрономия, но при всем его интеллектуальном развитии он был безграмотен за пределами священных книг. За 24 дня прошел пятилетку и поступил в ФЗУ — фабрично-заводское училище. Окончил его токарем четвертого разряда с семилетним образованием. На Украине тогда зверствовал голод, и ему приходилось помогать родителям из своей двадцативосьмирублевой стипендии.
За старшие классы подготовился самостоятельно и стал сдавать экзамены в университет, на мат-мех. Однако, придя на устный экзамен по русскому языку, узнал, что по письменной работе у него двойка, — русская орфография слишком уж отличается от древнееврейской и арамейской.
От неожиданности у него на глазах появились слезы и открылось красноречие. Это произвело впечатление на экзаменатора, и тот сказал, что постарается что-нибудь сделать. В результате Агреста приняли в университет как еврея — как человека, для которого русский язык неродной. Это был 1933 год, до начала государственного антисемитизма оставалось еще десять лет.
Учился он усердно, подрабатывая на хлеб в Публичной библиотеке, где писал аннотации на книги, изданные на иврите.
По окончании университета в 1938 году его рекомендовали в аспирантуру ГАИШа. Там он подружился с Иосифом Шкловским — известным астрофизиком и — под конец жизни — сочинителем документально-фантастических новелл, одну из которых назвал «Наш советский раввин».
В аспирантуре Агрест готовил диссертацию по небесной механике — о кольцах Сатурна… Но началась война. Его мобилизовали в службу аэростатов заграждения. Там случилось ЧП, вину за которое возложили на него. Военный трибунал. Смертный приговор, замененный штрафным батальоном. Тяжелое ранение. Госпиталь. Инвалидность второй группы.
Вернулся в Москву, уже в 1946 году защитил диссертацию и начал решать математические задачи для группы Зельдовича в Институте химфизики. В составе этой группы осенью 1948 года — когда Родина велела — он и оказался на Объекте, в КБ-11, который еще не стал Арзамасом-16. Чам Маттес Менделевич Агрест занимался расчетами специзделий до 13 января 1951 года, когда от него потребовали в 24 часа убраться с Объекта.
Положение было отчаянное. В семье восемь человек, самому младшему — несколько месяцев, самому старшему — отцу жены — за 70. Ехать некуда: никакого другого дома, никакой другой работы. За колючей проволокой Объекта полыхала борьба с космополитами, о которых гуляло двустишие:
На помощь поспешили коллеги. Непосредственный начальник Я. Б. Зельдович, правда, умыл руки — и тщательно умыл. Но Игорь Евгеньевич Тамм и Николай Николаевич Боголюбов пошли к начальству и добились смягчения приговора. 24 часа заменили на неделю и даже обешали найти работу.
Однако уезжать куда-то надо было все равно. И вот, в безвыходной мгле, «как ангел с неба, явился Андрей Дмитриевич…».
Он приходил к Агрестам и раньше. И чтобы просто побеседовать, и чтобы помочь корчевать пни на их участке. Агрест — очень не высок, и ему всегда было трудно разговаривать с людьми такого высокого роста, как Сахаров, но тот как-то всегда умудрялся устроиться так, что разговаривать было удобно. Был он очень милый человек, вспоминает Агрест, но вовсе не казался гениальным. Очень медленно говорил, долго подбирая слова Часто хотелось ему подсказать слово, бывало, иной раз и подскажешь, но он не принимает. Зато сформулированные им предложения могли идти прямо в печать. И по мере общения с ним становилось ясно, что механизм его мышления работает по каким-то очень своеобразным законам. Неожиданность поворотов мысли совмещалась с очень спокойной, непритязательной манерой их изложения.
И вот 13 января он подошел к Агресту со словами: «Есть такая русская пословица: „Что имеем, не храним, потерявши — плачем“». Потом отвел его в сторону и предложил Агрестам пожить в его московской квартире, пока ситуация не прояснится. И дал листок с адресом и телефоном родителей.
Это было спасение. В сахаровской квартире на Октябрьском поле семья Агреста жила несколько месяцев, пока Первое Главное Управление определило для Агреста новое место работы — в земном филиале райского сада. Это был Сухумский физико-технический институт, расположенный на территории замечательного ботанического сада в городе-курорте, — там работали немецкие физики. У этого райского уголка и у арзамасского «пробного коммунизма» был общий начальник, начальник всего ядерно-военного архипелага — Берия.