Самая первая запись, содержащая сюжет «Отверженных», была сделана писателем на официальном бланке пэра Франции:
«История святого
История мужчины
История женщины
История куклы».
Даты, стоящие на рукописи романа, показывают два промежутка, в которые шла работа над ним, — с 17 ноября 1845 года по 14 февраля 1848-го и с 30 декабря 1860-го по 30 июня 1861-го. Как Гюго отмечал в примечании на рукописи романа: «Здесь пэр Франции прерывается и продолжает изгнанник». Именно в момент своего наивысшего взлёта в официальной структуре Франции он обратился к жизни бедняков. В своём предисловии к роману Гюго писал:
«До тех пор, пока силою законов и нравов будет существовать социальное проклятие, которое посреди расцвета цивилизации искусственно создаёт ад и отягчает судьбу, зависящую от Бога, роковым предопределением человеческим; до тех пор, пока будут существовать три основные проблемы нашего века — принижение мужчины из-за принадлежности его к классу пролетариата, падение женщины из-за голода, увядание ребёнка из-за мрака невежества; до тех пор, пока в некоторых слоях общества будет возможно социальное удушье; иными словами и с точки зрения ещё более широкой — до тех пор, пока существуют на земле нужда и невежество, книги, подобные этой, окажутся, быть может, небесполезны».
Гюго чутко улавливал веяния века. XIX столетие ознаменовалось стремительным ростом рабочего класса — следствием промышленной революции и внедрения капиталистических отношений. До этого подавляющее большинство населения жило в сельской местности, а в городах преобладали ремесленники, торговцы, прислуга. Теперь же миллионы человек устремились из деревни, где им более не было места, в город работать на заводах и фабриках. Условия их жизни были ужасны, что и породило многочисленные страхи у буржуазии относительно того, что это — горючий материал для бунтов и революций. «Пауперизм» — то есть массовое обнищание — считался болезнью века. Пролетарии не имели ничего, кроме своих рук. Рабочий день длился с раннего утра до позднего вечера, заработная плата была ничтожной, едва позволявшей существовать впроголодь. Социальных гарантий не имелось никаких. У самых чутких представителей среднего класса положение рабочих вызывало сильное желание что-то сделать для несчастных.
1830—1840-е годы — время расцвета различных социальных утопий. Идеи Анри Сен-Симона, Шарля Фурье, Этьена Кабе оказывали мощное влияние на общественную мысль своего времени. Фурьерист Виктор Консидеран был даже избран в Национальное собрание в 1848 году. В 1846-м прогремел Пьер Жозеф Прудон со своей «Философией нищеты». Сенсимонист Пьер Леру, находившийся вместе с Гюго в изгнании на Джерси и также депутат, был известным теоретиком социализма, которому приписывается само создание этого слова, носившего поначалу уничижительный характер. Другой депутат и председатель Люксембургской комиссии, организатор Национальных мастерских, Луи Блан в 1847 году предложил принцип «от каждого по способностям, каждому по потребностям». В 1844-м в Париже в кафе «Режанс» впервые встретились Карл Маркс и Фридрих Энгельс, которые позже, в 1848 году, написали «Манифест Коммунистической партии».
Многие религиозные деятели также старались помочь несчастным. Фелисите Робер де Ламенне был основоположником либерального католицизма и христианского социализма. С ним Гюго был знаком с 1821 года, много лет поддерживал переписку, и вместе они заседали в Национальном собрании. Иные священнослужители, не выдвигая никаких доктрин, стремились подавать личный пример христианского служения своим ближним, организуя благотворительность, как, например, епископ города Диня — Бьенвеню де Миоллис, послуживший прототипом епископа Мириэля из «Отверженных».
Немалой проблемой больших городов была тогда и проституция. Десятки тысяч девушек не находили себе применения в промышленности, в деревне их никто не ждал, и они поневоле обращались к торговле своим телом, благо спрос на сексуальные услуги всегда имелся — в обществе XIX века отношения между полами, особенно в высших классах, жёстко регулировались, и для неженатых мужчин практически единственным способом удовлетворить свои естественные потребности было обращаться к проституткам. Впрочем, и женатые мужчины в поисках сексуального разнообразия шли к ним же.
Толчком к написанию большого романа о нищете, помимо общего духа времени, упомянутого выше, послужило несколько событий в личной жизни Гюго. Первое — это уже упомянутое ранее заступничество поэта за несчастную девушку, над которой жестоко пошутил богатый негодяй. Другим побудительным поводом стала его история с Леони д’Онэ, когда она оказалась в тюрьме, а он — на свободе. Двойная мораль закона прояснилась тогда во всей своей несправедливости. Немалое впечатление оказали на него и посещения исправительных заведений, которые он инспектировал на правах пэра Франции. Увиденные заключённые — дети, отбывающие наказание за сорванные в чужом саду фрукты, не могли не потрясти воображение и совесть писателя.