Связана Диана с Виндзорами и через отца. Эдвард Джон Олторп стал лордом Спенсером после смерти своего отца, принадлежавшего к славной когорте пэров и до 1954 года бывшего шталмейстером королевы. Мать Дианы, высокорожденная Фрэнсис Рут Берк Роуч, родилась в 1936 году. Родители Дианы встретились в апреле 1953 года на балу, на котором присутствовала королева-мать. Эдварду было тридцать два года, Фрэнсис — всего восемнадцать; свадьбу сыграли несколько месяцев спустя, бракосочетание состоялось в Вестминстерском аббатстве в присутствии королевы, королевы-матери, принца Филиппа и принцессы Маргарет. Супружеская чета столкнулась в жизни со множеством проблем, в том числе и со смертью новорожденного ребенка; супруги официально развелись в декабре 1968 года. Лорд Спенсер второй раз женился в 1976 году на бывшей жене графа Дартмута (Дартмутского) Рейн Картленд, дочери богатейшей романистки Барбары Картленд. «Это сама чистота», — скажет впоследствии многословная старая дама о принцессе Уэльской. Что же касается матери Дианы, то она «заново начала свою жизнь» в 1967 году с шотландским промышленником Питером Шандом Киддом, составившим свое состояние на производстве обоев.
Разумеется, именно при изучении генеалогического древа графов Спенсеров, а не рода ее матери, Диана смогла попасть в список возможных невест наследника престола. Род Спенсеров известен с 1506 года, а родственные связи, установленные в результате браков, породнили Спенсеров со знатнейшими герцогскими домами королевства. Леди Диана является по прямой линии потомком незаконнорожденного сына Карла II (от своей любовницы Луизы де Керуай Карл И (1630–1685) имел сына, получившего титул герцога Ричмонда, и одна из представительниц этого рода вышла замуж за одного из Спенсеров, предков Дианы). Предки Дианы по материнской линии — выходцы из Ирландии. Прапрадед леди Дианы в 1856 году стал бароном и в конце жизни был назначен наместником графства Корк на юго-востоке Ирландии.
Первый ребенок в семье родителей Дианы появился в марте 1955 года, это была дочь Сара; в 1957 году родилась Джейн. Два года спустя появился наследник мужского пола Джон, но он умер во младенчестве. Мать погрузилась в глубокую депрессию, но на следующий год вновь забеременела. 1 июля 1961 года в 19 часов 45 минут она родила в своем доме, в Парк-Хаусе, очаровательную девочку, которую и нарекли Дианой. Роды прошли без осложнений; в эти минуты родители, горячо надеявшиеся на то, что родится мальчик, еще не выбрали женского имени. Имя девочке официально было дано только 30 августа 1961 года во время крестин, состоявшихся в церкви Сандрингема; кстати, купель из флорентийского мрамора в этой церкви — дар Эдуарда VII.
Первые годы жизни Дианы прошли в детской на втором этаже Парк-Хауса. Под присмотром своей гувернантки дитя делало первые шажки по великолепному королевскому владению, по землям замка Сандрингем, от которого в определенной зависимости находился и Парк-Хаус. Поместье действительно великолепно: 8094 гектара лесов, парков и садов. Иногда там можно было встретить королеву, совершавшую прогулку верхом; Ее Величество тогда останавливалась, чтобы поболтать с леди Олторп. В 1964 году у Дианы появился младший брат, названный Чарльзом и крещенный в Вестминстерском аббатстве в присутствии королевы.
Семейство Спенсеров ежегодно 5 ноября устраивало большой праздник с фейерверком. Последним удачным праздником стал праздник осенью 1967 года. Родители Дианы, уже находившиеся в плохих отношениях, официально объявили о своем решении расстаться на какое-то время из-за несовместимости характеров. Этот крах супружеской жизни оказал глубокое влияние на девочку, можно сказать, тяжело отразился на ней. Дело было в том, что леди Спенсер влюбилась в другого мужчину (который впоследствии стал ее вторым мужем) и тотчас же покинула и мужа, и детей. Диане было тогда шесть лет, и она была потрясена юридической дуэлью, продолжавшейся несколько долгих месяцев. В декабре 1968 года ее мать официально потребовала развода, обвинив супруга в жестоком обращении. Ее муж в ответ обвинил ее в измене с Питером Шандом Киддом, заявив, что адюльтер имел место с весны 1967 года. В конце концов леди Олторп проиграла процесс, лишилась права воспитывать детей и даже была отвергнута своей матерью, отказывавшейся затем с ней разговаривать на протяжении многих лет. Процесс по делу о разводе выставил на всеобщее обозрение интимную жизнь четы Спенсеров и предоставил прессе сенсационные сведения. Диана, учившаяся тогда в школе в Кингз-Линн, подвергалась жестоким насмешкам соучениц. Один из близких друзей семейства Олторпов вспоминает: «Хотя Диане было всего восемь лет, она приобрела тяжкий опыт испытания страданием, и это оставило в ее душе неизгладимый след Но если крах брака родителей чаще всего угнетает детей, становится для них помехой и ставит в невыгодное положение, то на личность Дианы это повлияло иначе: ее характер окреп, обретя мужество». Диана осталась с отцом, но продолжала поддерживать отношения с матерью. Ежегодно она проводила летние каникулы вместе с ней на живописном маленьком островке Сайл около берегов Шотландии.