Изведнъж се променил. Научил се да чете и пише, дори можел да смята, изпитвал радост при получаване на добра бележка. Възпитателите били доволни и в досието му вписвали положителни мнения. Работел в авторемонтна работилница, тук също постигал добри резултати и на 8 май 1954 г. бил освободен условно.
Бил на деветнадесет години. В Съединените щати при условно освобождаване съдът издава решение, според което лицето се задължава да живее на едно място и да се явява редовно в местния полицейски участък. Мансън трябвало да остане при чичо си и леля си. Те били добри, дори може би твърде грижовни хорица и той в началото наистина заживял спокойно и мирно. Но се завърнала от затвора майка му и Чарли се преместил да живее при нея. Не се понасяли, взимно си пречели, но въпреки това имало нещо, което привличало двамата корабокрушенци един към друг. Общо взето, Мансън не умеел да върши нищо. За това вършел само второстепенна и следователно лошо платена работа. Работел като пазач на паркинг. Бил и продавач в бензиностанция. И се оженил. Жена му Розали Джийн Уилис изкарвала прехраната си като сервитьорка в една болнична лавка. Привидно Мансън заживял порядъчно, но в действителност — разбира се, с по-голяма предпазливост и все по-ловко — вършел грабежи. Откраднал две коли и ги прекарал през границата в съседния щат. С една от тях стигнал до Лос Анжелос. Взел със себе си и бременната си жена.
В седеммилионния град, който е висша школа за престъпници, пристигнали през юли 1955 г. Мансън не останал дълго на свобода. Три месеца след пристигането си вече се оказал отново зад решетките. Може би си е взел поука от предишните престои в килиите или пък го е посъветвал адвокат, но този път Мансън се направил на луд. Поискал психиатричен преглед и или е убедил лекаря, или пък наистина е бил в критично психическо състояние, но получил удостоверение, че не отговаря за постъпките си. Съдията го освободил условно. Въпреки че било противозаконно, той избягал колкото се може по-бързо от района, определен за негово местожителство от съда.
Уловили го през 1956 г., ескортирали го обратно в Лос Анжелос и го осъдили на три години затвор. Бил зад решетките, когато му се родил син. Навярно се е държал добре в затвора, защото през 1958 г. отново го освобождават условно. Излязъл от портала на затвора и не знаел накъде да тръгне. Съпругата му още преди две години се била развела с него. Омъжила се за друг. А съдът по обясними причини присъдил сина на нея.
Лос Анжелос е град, в който престъплението, безправието, мизерията и страданието се виждат на всяка крачка. Има улици и квартали, в които не можеш да стъпиш нощем. Има барове само за определени хора. Лос Анжелос е град с невъобразима площ, но с въздух, който не може да се диша, над града постоянно се стеле смог. Всеки тук има кола, а мнозина и не една, всеки се движи с кола, защото не се препоръчва да се ходи пеш. Пеш ходят само прокудените, които се събират тук от всички американски щати. Пеш ходят проститутките и сутеньорите. Чарлз Мансън излязъл от затвора и започнал да си търси доходно и при това лесно препитание. Станал сутеньор. Но не след дълго извършил следващо наказуемо деяние. Представил за инкасо чек без покритие. Прибрали го, пратили го в ареста и го изправили пред съдия-следователя. Докато му поставяли неприятните въпроси, на които очаквали компрометиращи отговори, вещественото доказателство — чекът — изчезнало от масата. Чарлз Мансън издебнал момента и го глътнал. И край на следствието. Едва-що излязъл през портата на затвора под калифорнийското слънце и се впуснал в прибиране на десетачките от работливите си момичета. Само че сутеньорството не е работа за по цял ден, така че в свободното си време се посвещавал и на друга наказуема дейност. През декември се оказал в полицейския участък два пъти едно след друго. Първия път откраднал кола, а втория искал да плати с откраднати кредитни чекове. Но тъй като нито едно от тези хулиганства не било доказано, съдия-следователят го освободил отново. Но полицията започнала да обръща все по-голямо внимание на постоянния си клиент. По този начин научила, че бил откарал две проститутки в Ню Мексико. Тръгнала подир него. Мансън разбрал, че няма шанс, и набързо се оженил за едната, за да не може — като законна съпруга — да даде пред съда показания срещу него.
По онова време в Лос Анжелос били пристигнали две деветнадесетгодишни момичета. По една обява те били подали молба в училище за стюардеси. След като пристигнали на посочения адрес, за да внесат таксата, разбрали, че всичко било измама. Някакъв нехранимайко бил дал фалшива обява, за да може да измъква пари от наивните момичета. Двете девойки имали късмет, че междувременно били разкрили мошеничеството му, тъй че спестили седемстотинте долара. Но щом вече били в Лос Анжелос и буквално пред портата на приказната фабрика за мечти — филмовите студии на Холивуд, решили да си наемат стая и известно време да си търсят късмета. После едната от тях срещала Чарлз Мансън.