Изадора родилась в «хорошем доме» на углу ул. Гэри и ул. Тейлор в Сан-Франциско. Но ей не было суждено вырасти в нем.
К тому времени, когда их отец оставил семью, их единственным кормильцем стала их мать. Она была музыкантом, но ее скудных доходов от уроков игры на фортепьяно было недостаточно, чтобы они продолжали жить в этом особняке. Среди других непривлекательных черт бедность налагает на своих жертв кочевое существование. И семья Дункан скоро узнала ее классический почерк. Убегая от невыплаченной аренды или же покидая жилище добровольно, чтобы сбежать от кредиторов, Дунканы постоянно переезжали из одной двухкомнатной квартиры в другую.
В отличие от принца Чарльза в Англии, который во время недавнего интервью сказал, что ребенком он думал, что все дети живут во дворцах, Изадора в раннем возрасте узнала разницу между «иметь» или «не иметь» просто для выживания. Из всех четверых детей у нее был самый приключенческий дух. Она была готова встретиться с мясниками и пекарями, которым они уже были должны, и возвратиться домой счастливой с кучей трофеев, завоеванных ее бойким языком и детской дипломатией. Годы спустя, когда она писала свою автобиографию, она вспомнила, как ее мать начала вязать, чтобы поддержать скудный доход от репетиторства. Однажды магазин отказался от ее работы, и Изадора, увидев, как ее мать плачет, взяла корзинку с законченным вязанием. Она бегала от дома к дому и от двери к двери. Вернулась домой с большим количеством денег, чем магазин предлагал ее матери.
Одна вещь была очевидной – бедность не смогла помешать куражу и счастливым развлечениям детей. Недостаток игрушек не остановил их от изобретения своих собственных игр. Однако, величайшее удовольствие для них исходило от матери. Если она не была слишком уставшей по возвращении домой после уроков, она играла на фортепьяно для них или читала поэзию или истории. Эти вечера были не только для обучения, они пробуждали их творческие способности. А вальсы и мазурки Шопена и «Песни без слов» Мендельсона вдохновляли к первым шагам в танце; что в начале было просто весельем, вскоре превратилось в реальную деятельность. Девочки стали давать уроки детям по соседству. Элизабет и Изадора имели регулярно плативших учеников, которых они обучали известным и народным танцам: вальсы, мазурки и польки. После скорого возвращения их отца в Сан-Франциско, он перевез семью в новый дом. Они не только открыли регулярную школу танца, но также присоединились к своим братьям, которые давали театральные представления в просторном амбаре позади дома. Их представления были настолько успешными в их районе, что «компания – две сестры и два брата» поехали с концертами в Санта-Клару, Санта-Розу и Санта-Барбару. Хотя Изадора забыла упомянуть их репертуар в своих мемуарах. Кто-то с легкостью может представить, что они находили свой материал в местной общественной библиотеке, где они были частыми посетителями.
Айна Голбрит, библиотекарь, проявляла особый интерес к Изадоре, и давала ей образование через романы Диккенса, Теккерея и Шекспира. В то время, как Изадора самостоятельно читала великое множество вдохновляющих книжек и мусора, как она говорила. Это разнообразие чтения подвигло ее написать роман и начать выпускать самодельную газету, для которой она писала заметки, новости и короткие истории. Что важнее всего, она начала вести дневник на секретном языке. Так как к тому времени у нее был секрет.
Ей было одиннадцать лет, когда она влюбилась в молодого парня, который работал в аптеке и который был, конечно же, очень красив. Он имел прекрасное имя Вернон и был одним из учеников у Элизабет и Изадоры в классе для подростков. Чтобы выглядеть старше, Изадора носила длинные платья. В своем дневнике она рассказывала об их танцевальном дуэте, как о «парении в его руках». В течение следующих двух лет она не знала, догадывается ли Вернон о том, как безумно она влюблена в него. Но в один день она получила первый жестокий неотвратимый шок – «ее Вернон» собрался жениться на молодой сельской девушке в Окленде.
К тому времени, как Изадора увидела Вернона снова, почти тридцать лет спустя, у нее уже было немало таких потрясений в жизни, и она научилась относиться к ним философски. Когда он пришел увидеть ее в гримерной после представления в Сан-Франциско, она попыталась рассказать о страстной любви к нему, когда ей было одиннадцать. Но «он выглядел испуганно и говорил о своей жене, простой девушке, к которой он никогда не испытывал сильных чувств». И добавляя: «как проста может быть жизнь некоторых людей». Она закрыла для себя это воспоминание о первой любви в жизни.