Одно из проявлений его общественного сознания попало под огонь критики после коктейля, который он и Фелиция устроили в своей квартире на Пятой авеню в одну из январских ночей 1970 года. Почетными гостями их стали представители «Черных пантер», созданной в гетто организации, которая проповедовала насилие как метод борьбы за личные свободы, поддерживала Мао, Кастро и ФОП, а средства на свою деятельность собирала главным образом тем, что облагала данью белых и еврейских лавочников, живших в одних с «Пантерами» районах. У Бернстайна им удалось получить тысячедолларовые пожертвования от кинорежиссеров, торговцев мехами и властителей моды — сам дирижер пообещал отдать свой следующий гонорар. Увы, на эту приятную встречу пробрался репортер светской хроники Том Волф, напечатавший в «Нью-Йорк Таймс» статью, введшую в обиход выражение «щеголять радикализмом», которое с тех пор применяют к богатым людям, заигрывающим с разного рода склонным к насилию отребьем.
Редакционная статья «Нью-Йорк Таймс» была беспощадна:
Описанный во вчерашнем номере нашей газеты состоявшийся в доме Леонарда Бернстайна сеанс групповой терапии в сочетании с суаре для сбором средств, представляет собой разновидность посещения богатыми господами трущоб, унижающего и покровителей и покровительствуемых. От него можно было бы отмахнуться, как от порожденного чувством вины развлечения, окрашенного в тона социальной сознательности, если бы не его воздействие на тех черных и белых людей, что проводят серьезную работу, добиваясь полного равенства и социальной справедливости. Это насмешка над памятью Мартина Лютера Кинга младшего, день рождения которого торжественно отмечался вчера нашей страной. «Черные пантеры», возведенные на пьедестал Пятой авеню, это лишь еще одно искажение образа американских негров.
Бернстайн, которого принялись осаждать рассерженные американцы всех рас и цветов кожи, поначалу обвинил «Пантер» в безответственности, а затем и вовсе стал отрицать, что устроил такой прием: то был никакой не прием, а митинг в защиту гражданских прав. Десять лет спустя он назвал главного виновника всего случившегося:
У меня имеются серьезные доказательств, которые я ныне могу предъявить кому угодно, что в ФБР существовал заговор, направленный на разжигание ненависти и чреватого насилием несогласия среди черных и евреев и в отношениях между черными и евреями. Я и моя покойная жена оказались одними из многих марионеток, которые использовались для этой цели в контексте так называемого «приема», устроенного для «Пантер» в 1970-м… За ним последовала организованная ФБР травля, в которой использовались все средства, от обрушившегося на меня дождя писем с выражением ненависти и подписанных, как теперь стало ясно, выдуманными людьми, до едва завуалированных угроз, содержавшихся в анонимных посланиях, которые поступали в газеты и журналы, редакторских и репортерских диатриб в «Нью-Йорк Таймс» и попыток разрушить мои давно сложившиеся отношения с государством Израиль — всех грязных трюков не перечесть.
Америка обратилась против него, и он решил подать в отставку. Утрата иллюзий, говорит Майкл Тилсон Томас, ставший в то время конфидентом Бернстайна, «началась, когда убили Джона Кеннеди. За этой смертью последовали убийства Мартина Лютера Кинга и Роберта Кеннеди, Вьетнам и усиление в Америке правых идейных течений». Оптимизм поколения 1945 года потерпел прискорбное поражение.
Причины для того, чтобы покинуть Нью-Йоркский филармонический, у Бернстайна имелись самые разные. Он не мог смириться с увольнением престарелых музыкантов и ощущал себя человеком, лишившимся жизненной цели. «Мне некого защищать и отстаивать, — жаловался он. — Я вспоминаю о времени Кусевицкого, о том, как он с гордостью исполнял одну за другой симфонии Коупленда, сочинения Роя Харриса, Билла Шумена, Прокофьева, Стравинского! Все эти великолепные вещи были в его распоряжении. То время закончилось. Приходя в Филармонический, я ожидал чего-то похожего, а ничего по-настоящему не произошло, и это стало для меня ужасным разочарованием. Мне нечего и некого защищать — у меня нет ни движения, ни группы композиторов, ни школы».