Успех «Отверженных» у читающей публики превзошёл таковой у всех предыдущих произведений Гюго. И он был долговременным, достаточно сказать, что 26 лет спустя газета «Раппель» для поднятия тиража печатала на своих страницах — уже в фельетонном виде — «Отверженных» как способ привлечь читателей.
В отличие от «Легенды веков» собратья-писатели приняли «Отверженных» неодобрительно. Тот же Флобер теперь не находил «ни правды, ни величия». Ламартин писал, что в «Отверженных» проявлены «возвышенный талант и благородные намерения», но книга получилась «очень опасной в двух отношениях: не только потому, что внушает опасения счастливым, но и потому, что внушает надежды несчастным». Старший Дюма находил роман «одновременно утомительным, плохо задуманным и неудавшимся в итоге». Сент-Бёв выступал привычно «с одной стороны — с другой стороны»: «...вкус публики решительно ужасен. Успех “Отверженных” превосходит все опасения... в романе есть всё, чего пожелаете — добро, зло, нелепости; но Гюго, уже 11 лет пребывающий в изгнании, подтвердил своё присутствие, силу и молодость. Этим одним шагом он добился огромного успеха».
Братья Гонкуры сочли роман «большим разочарованием». «Название вводит в заблуждение — ни нищеты, ни больниц, проституция едва затронута. Никого живого — персонажи из бронзы, из алебастра, из чего угодно, только не из мяса и костей. Недостаток ярких наблюдений и ошибки повсюду». И они довольно цинично замечали: «...достаточно забавно заработать двести тысяч франков, взывая к бедствиям простого народа».
Бодлер не отставал в своём цинизме. Похвалив книгу в газетной статье, в письме к матери он сознавался в том, что «обладает умением лгать», а роман на самом деле считает «отвратительным и глупым». Гюго простодушно написал ему в благодарность восторженное, полное пафоса письмо, над которым Бодлер потешался: «...великий человек тоже может быть глупцом». Резко отрицательно отзывались о романе католические критики, начиная с самого значительного среди них — Барбе д’Оревильи («самая опасная книга своего времени»).
Почему же столь разнилось отношение читателей и литераторов к книге? Потому что Гюго писал её для простого человека, тянущегося к идеалу, с просветительскими целями. А это-то и на дух не переносится в писательской среде. Впрочем, Гюго неприязнь (часто перемешанная с завистью) собратьев ничуть не помешала. «Отверженные» вошли в пантеон мировой литературы вместе с современными им романами «Война и мир», «Мадам Бовари», «Дэвид Копперфилд». Время всё примиряет и расставляет по своим местам.
И в наши дни «Отверженные» имеют своего благодарного читателя. Вот отзывы о романе в группе «Роман “Отверженные” Виктора Гюго» (более двух тысяч участников!) в социальной сети «В контакте»: «Эта книга в очередной раз доказала мне, что каждый имеет право на ошибку и что даже самый заядлый преступник может встать на путь истинный и помогать потом людям!!! Книга также учит, что нельзя судить человека по его одёжке или осуждать его только за его социальное положение в обществе!!! Она учит тому, что человек сам творец своей судьбы!!! Она учит доброте, ответственности, толерантности, отзывчивости, любви, стойкости, смелости, крепкой дружбе, взаимопониманию, взаимовыручке, учит тому, что жадность и алчность ни к чему хорошему не приводят!!!»; «Книга учит смотреть на “Отверженных” как на людей, порождённых злым роком, т. е. несовершенство социального строя становится причиной существования отверженных людей. И я полностью согласна, что “Отверженные” написаны для всех народов мира»; «Виктор Гюго своим произведением учит очень многому — и добру, и справедливости, и истории (так как раскрываются многие исторические моменты) и многому другому. Читайте, советуйте эту книгу всем родным и близким и, возможно, добра станет на земле больше!!!»; «Вы знаете, это нечто большее, чем книга — она изменила всю мою жизнь к лучшему... Ну не Библия, но книга с высшим смыслом точно... Я слушал эту аудиокнигу на ночь, после этого я проваливался в глубокий сон и потом просыпался среди ночи, и я не помнил, что мне снилось, но просыпался я в немного странном состоянии. Пока я её слушал, я не мог ни о чём думать, кроме как про неё. За это время, пока я её читал, я нашёл себя. Когда я закончил её читать, то я не знал, как я буду дальше без неё».