В 1851 - 1854-х годах вспыхнула золотая лихорадка в Новом Южном Уэльсе и Виктории. Мужчины оставляли свои рабочие места и стекались на золотые прииски. Не устоял от соблазна разбогатеть и Красный Келли. В 1853 году он, провел время на золотых приисках в Бендиго. Красному Келли повезло, ему удалось немного подзаработать деньжат. На эти деньги Келли приобрел 21 акров земли в городке Беверидж, к северу от Мельбурна.
У Джона и Эллен было 8 детей. Первый умер при рождении. Эдвард «Нед» Келли был старшим сыном, он родился в 1854 году.
Нед рос в семье, которая не любила полицию и власть. Многие полицейские по своим поступкам мало отличались от бандитов. Полиция поддерживала скваттеров - Богатых землевладельцев.
В 1860 году, чтобы прокормиться, Красный Келли перевозит свою семью в Авинел, из глухих краев поближе к Мельбурну.
В 1865 году одиннадцатилетний Нед спасает семилетнего Ричарда Шелтона, который пытаясь вытащить из ручья упавшую шляпу, упал в воду и стал тонуть. Нед, как был в одежде, прыгает в воду и вытаскивает мальчика. От денег Нед категорически отказывается.
Благодарные родители дарят спасителю зеленый пояс с золотой окантовкой, (они сознательно выбрали цвет ирландского флага), который вручили на церемонии в школе. Нед бережно носил пояс в особых случаях, в том числе он повязал пояс под броню, во время его последней перестрелки с полицией в Гленрован. Этот подаренный Неду пояс, в настоящее время храниться в музее первопроходцев в Беналла, где он, выставлен на всеобщее обозрение.
Семья Келли выкручивалась, как могла, возможно, иногда действовали не всегда законными способами. Полиция держала дом Красного Келли под пристальным вниманием, регулярно его обыскивая. Имелись серьезные основания подозревать Красного в кражах скота. Обыски полиция часто проводила самым жестоким и грубым образом, запугивая и угрожая не только взрослых, но и детей.
В то время, когда Нед вытащил мальчика из воды, его отец находился в тюрьме. Красного Келли осудили за незаконное хранение воловьей шкуры. Новый закон обязывал фермеров, если они убивали свою корову или вола, уведомить об этом полицию, и сохранить шкуру животного с клеймом, в качестве доказательства.
В полицию донесли, что Красный Келли украл и убил теленка у своего соседа. Полиция обыскав, обнаружила шкуру вола с вырезанным
клеймом. Отец не смог удовлетворить полицию своими объяснениями, откуда у него дома оказалась свежая шкура, да еще с вырезанной дырой на том месте, где должно находиться клеймо хозяина, которому принадлежало животное. Красного признали виноватым в краже. Келли предложили заплатить штраф 25 фунтов. В случае отказа отцу грозило 6 месяце лишения свободы. Красный Келли не имел такой суммы, поэтому он, был приговорен к шести месяцам каторжных работ. Каторжные работы не добавили Келли здоровья. Красный серьезно заболевает и умирает, вскоре после освобождения из тюрьмы. Смерть отца только добавила ненависть мальчика к полиции.
В возрасте 33 лет, Эллен Келли становиться вдовой с 7 детьми, которых надо кормить и одевать. Нед Келли, в возрасте 12 лет оканчивает школу и занимает место своего отца.
Чтобы как-то прокормиться, семья перебралась из глухих краев поближе к Мельбурну, где беднякам давали землю. Разумеется, земля давалась не просто так. Ее нужно было выкупить, и за определенное время освоить, обнести изгородью, построить дом, посадить и снять урожай и еще многое другое. Если эти условия не выполнялись, то земля отбиралась.
Семья Келли выкручивалась, как могла. Семью Келли подозревали в кражах скота.
2. ПЕРВЫЙ КРИМИНАЛЬНЫЙ ОПЫТ.
Полиция даже после смерти Джона Келли продолжает доставать его семью, подозревая теперь в кражах скота и конокрадстве малолетних детей. Эллен Келли решается на переезд, надеясь, что на новом месте им, будет намного спокойней жить. Эллен увозит свою семью в северо-восточный штат Виктория, и останавливается неподалеку от Беваллды, на полпути между Гретой и Гленрован. Здесь, семья Келли поселилась в хижине, крыша которой была покрыта корой. Сама хижина была разделена на пять комнат, перегородками из одеял и тряпок. Для семьи Келли ничего не изменилось, они продолжали жить в бедности и нищете.