В 1814 г. семейството се премества в Лондон. Три години по-късно те отиват в колоритния малък пристанищен град Чатъм, където Чарлс прекарва шест от най-щастливите и спокойни години в живота си. Още от малък той проявява влечение към театралното изкуство. За забавление на приятелите си баща му често го качва на някой стол да изпее песен, да декламира, да изиграе някаква сценка или да имитира говора и маниерите на някой съсед. Имитациите му са особено успешни не само защото още от малък Дикенс притежава изключителен актьорски дар, но и защото е благословен и с една друга изключителна способност — наблюдателност, остро око за подробности и особено за чудатости както у хората, така и в заобикалящата го действителност — случки, улици, магазини, къщи, вещи и т.н. Той притежава и забележителна памет, която го връща често до най-ранните му години.
Първата учителка на Чарлс е майка му; тя го научава да чете и му дава основните знания по латински. Бидейки болнаво дете, Чарлс прекарва по-голямата част от времето си в четене. Той открива книги, складирани от баща му на тавана до неговата стая, които жадно чете и препрочита. От полуавтобиографичния роман „Дейвид Копърфийлд“ откриваме кои са били любимите му произведения: „Родерик Рандъм“, „Перегрин Пикъл“ и „Хъмфри Клинкър“ от Т. Смолет, „Том Джоунс“ от Х. Фийлдинг, „Викарият на Уейкфийлд“ от Оливър Голдсмит, „Робинзон Крузо“ от Д. Дефо, „Дон Кихот“ от Сервантес, „Жил Бла“ от Ле Саж и „Приказки от хиляда и една нощ“. От автобиографичния откъс, оставен на неговия приятел и по-късно биограф Джон Форстър, научаваме, че Дикенс така потъвал в книгите, които четял, че в продължение на седмици бил съответният герой, живеел в неговия вътрешен и външен свят. Това необикновено въображение, както и другите му качества — драматично изкуство, наблюдателност, склонност да свързва характерите с тяхната обстановка — се проявяват по-късно в творчеството му и определят някои от неговите основни особености.
Бащата на Чарлс, Джон Дикенс, бил жизнерадостен и добросърдечен, но безотговорен човек. Той обичал компаниите, пунша и хубавите вечери и непрекъснато харчел повече, отколкото печелел. Поради финансови затруднения семейството било принудено да се премести в по-бедна къща. Известно време Чарлс ходел на училище, където учителят, разпознал таланта на момчето, го насърчавал да чете класиците на английската литература. Докато били още в Чатъм, той ходел с баща си до Рочестър, където гледали представления на „Ричард III“ и „Макбет“. Може би оттогава датира интересът на Дикенс към Шекспир, с когото толкова много критици днес го сравняват. Във всеки случай Дикенс четял и препрочитал произведенията ма великия драматург и ако се съди по неговите романи, познавал отлично Шекспировото творчество.
В началото на 1823 година Джон Дикенс получава нова служба в Лондон. По това време той има вече седем деца. Задълженията му също са пораснали, и не само заради по-големия брой деца. Баща му сигурно е бил доволен да избяга от кредиторите си, но за малкия Чарлс промяната представлява голям удар. Първо, защото семейството се настанява да живее в Камдън Таун, място, явно неподходящо за тяхното обществено положение, и, второ, защото той е само на единадесет години, а се налага да напусне училище. Неговото главно задължение е да се грижи за малките си братя и сестри, да чисти обувките, да изпълнява семейни поръчки. Макар да се чувствува самотен и пренебрегнат, Чарлс продължава да се самообразова, като усилено чете. Към това се прибавя и един нов вид образование. Той започва да обикаля съседните квартали, често ходи на гости на вуйчо си, който живее в Сохо, и на кръстника си — в Лаймхаус. Като истински изследовател, Чарлс върви из улиците и със своята почти фотографска памет набира факти от живота в Лондон, особено от мизерните части на града, попива атмосферата му, изработва си чувство за неговото движение и ритъм — неща, които ще дадат по-късно материал за неговите романи.
По това време Дикенс прави и своите първи литературни опити, за домашна консумация. Той написва един фарс, пише скици, в които обрисува колоритни фигури като например бръснаря на своя вуйчо, с неговите безкрайни истории за Наполеон и за това, колко по-добре щял да се справи, ако бил на негово място.
Междувременно финансовото положение на семейството става все по-тежко и по-тежко. Идва крахът. Джон Дикенс попада в затвора за дългове. За да се издържат, останалите непрекъснато залагат домашни вещи и мебели. Отиват и книгите — единственият извор на утеха, забрава и радост за чувствителното момче. Накрая майката решава, че най-големият им син Чарлс, тогава дванадесетгодишен, може да спаси семейството и го изпраща да работи във фабрика за бои за обувки — нещо, за което нейният син никога няма да й прости. Останалите членове на семейството отиват да живеят в затвора, където са сравнително добре, защото Джон Дикенс все още получава заплатата си и е необезпокояван от кредиторите. Но за Чарлс това е най-трагичният период от живота му. Той трябва да живее сам и да работи по цял ден в стар, мръсен, вонящ на гнило и навестяван от огромни плъхове склад край Темза.