Эти подспудные ограничения толерантности обычно предшествуют явным нормативным ограничениям, устанавливаемым судами, обычаями, правительством и т.п. (например, «явная опасность», угроза национальной безопасности, ересь). В рамках такой общественной структуры толерантность может чувствовать себя довольно вольготно. Она может быть двоякой: 1) пассивная толерантность в отношении утвердившихся установок и идей, пусть даже очевидны их вредные последствия для человека и природы; 2) активная официальная толерантность, допускаемая в отношении и правых, и левых, и агрессивных движений, и движений за мир, и партии ненависти, и партии гуманности. Эту беспристрастную толерантность я называю «абстрактной», или «чистой», поскольку суть её в непринятии позиции ни одной из сторон — однако она тем самым защищает в действительности уже утвердившийся механизм дискриминации.
Толерантность, которая расширила рамки и содержание свободы, всегда была предвзятой, то есть нетерпимой к протагонистам репрессивного статус-кво. Под вопросом была только степень нетерпимости. В упрочившихся либеральных обществах Англии и Соединенных Штатов свобода слова и собраний была предоставлена даже радикальным врагам общества — при том условии, что они не переходят от слов к делу, от речей к действиям.
Полагаясь на эффективные неявные ограничения, связанные с классовой структурой, общество, по видимости, склонно к универсальной толерантности. Однако либералистская теория уже успела привязать толерантность к важному условию: она «касается только человеческих существ, достигших зрелости своих способностей». Джон Стюарт Милль имеет в виду не только детей и несовершеннолетних; он уточняет: «Свобода как принцип неприложима к положению вещей, когда человечество ещё не достигло способности совершенствоваться путём свободной и равной дискуссии». До этого времени люди могут оставаться варварами, а «деспотизм — законный способ управления варварами, если он служит цели их исправления и используемые средства действительно направлены к этой цели». Эти часто цитируемые слова Милля предполагают и менее очевидный смысл: внутреннюю связь между свободой и истиной. С этой точки зрения истина является целью свободы, и свобода должна определяться и ограничиваться истиной. Но в каком же смысле свобода может быть подчинена истине? Свобода означает самоопределение, автономию. Это почти тавтология, однако тавтология, которая вытекает из ряда синтетических суждений. Она постулирует способность определять собственную жизнь: быть в состоянии определять, что делать, а что не делать, на какие страдания идти, а на какие нет. Однако субъект этой автономии не должен быть случайным, частным индивидом, каковым он в действительности является; скорее речь идёт об индивиде как человеческом существе, способном быть свободным вместе с другими. Проблема возможности создания такой гармонии между индивидуальными свободами заключается не в нахождении компромисса между конкурентами или между свободой и законом, между общим и частным интересами, общим и индивидуальным благосостоянием в утвердившемся обществе, а в создании общества, в котором человек перестанет быть порабощённым институтами, с самого начала искажающими смысл самоопределения. Иными словами, свободу всё ещё нужно создавать — даже в обществах, самых свободных из существующих. И понимание того, в каком направлении необходимо двигаться и какие институциональные и культурные изменения для этого необходимы, — по крайней мере, в развитой цивилизации вполне достижимо, т.е. это можно определить на основе опыта и разума.