В цепи грядущих несчастий немалую роль сыграла великая княгиня София. На первый взгляд казалось, что ее отношения с Елизаветой не что иное, как банальные размолвки свекрови с невесткой. В действительности же София с первых же дней со свойственной ей жестокостью принялась ваять из Сиси свое подобие, не считаясь ни с особенностями ее характера, ни с личными склонностями, ни с привычным для бывшей баварской принцессы образом жизни. Под гнетом постоянных наставлений, выговоров, упреков и жестокого обращения юная императрица, терпя бесконечные обиды, была на грани отчаяния. Она стала дичиться всех и вся, никому не доверяла. София же высказывала ей почти неприкрытое презрение. Скандалы между ними возникали на каждом шагу и чаще всего касались соблюдения придворного этикета и обязанностей императрицы. К примеру, Елизавета после обеда во дворце хотела выпить стаканчик доброго мюнхенского пива, которое не переводилось в ее родительском доме, но в глазах венского двора это желание расценивалось почти как преступление. Такой же «проступок» она совершала, когда уходила самостоятельно в город в сопровождении лишь одной придворной дамы. А когда на одном торжественном банкете молодая императрица позволила себе снять с рук перчатки, ей грубо сделали замечание, а она в ответ рассмеялась. В результате всех этих придирок и унижений Елизавета стала за глаза называть свою «вторую мать» «эта дурная женщина», а София ее – «баварской провинциалкой».
Франц Иосиф предпочитал до поры до времени не вмешиваться в их ссоры, надеясь, видимо, что со временем все уладится. Но, как и следовало ожидать, со временем все становилось только хуже. Особенно обострились отношения двух женщин во время первой беременности Елизаветы. В 1855 году она родила дочь и пока приходила в себя после перенесенных мучений, девочку нарекли Софией и тут же унесли в апартаменты свекрови. Это стало ударом для несчастной Сиси. Видя, что ее душевные силы на пределе, и опасаясь за ее здоровье и жизнь, Франц Иосиф решил увезти жену к ней на родину.
В любимом и так часто снившемся Елизавете Поссенхофере император просто не узнавал свою печальную жену-затворницу. Она буквально сияла от переполнявшей ее радости. Ей не хотелось думать о возвращении в Вену, где ее ждала неумолимая свекровь и бесконечная, иссушающая душу вражда. Летом 1856 года императрица родила еще одну девочку, которую назвали Гизелой и… снова унесли к свекрови. Но тут уже не выдержал Франц Иосиф. Он буквально взбунтовался и выказал матери свое недовольство. Впервые в резкой форме он потребовал у нее не вмешиваться в его семейную жизнь и заявил, что отныне дочери будут жить с родителями. А еще сын обязал ее соблюдать уважение к той женщине, которую он любит всем сердцем. Впервые со времени замужества Елизавета одержала победу, но она оказалась пирровой. София отчетливо поняла, что лишается былого влияния на сына, и отныне перестала скрывать свою враждебность к невестке. А вслед за этим судьба нанесла императорской чете свой первый удар: в 1857 году умерла их двухлетняя дочь София. Отчасти это тяжелое горе было смягчено в августе того же года появлением на свет долгожданного наследника, которого нарекли Рудольфом. Но даже после рождения сына положение Елизаветы при дворе оставалось тяжелым. К тому же в отношениях супругов наступило охлаждение. Многие современники видели его причину в действиях матери императора, считая, что именно эта интриганка подсунула Елизавете первого любовника, а Францу Иосифу – любовницу. Но, так или иначе, факт остается фактом: семейная жизнь императорской четы дала трещину.
Охладев к жене, Франц Иосиф с головой ушел в государственные дела. От горьких мыслей отвлекала его и любовь к военному делу. Он часто пропадал на военных парадах и маневрах. А остававшаяся в одиночестве Елизавета все чаще впадала в меланхолию. Она еще пыталась всеми силами отстаивать право на собственные мысли, взгляды и поступки. Наперекор канонам дворцового этикета императрица открыла двери монарших апартаментов для художественной интеллигенции Вены. В круг ее общения стали входить художники, артисты, поэты и люди других творческих профессий, считавшиеся еще вчера немыслимым обществом для императорского двора. Конечно же, это не только не прибавляло ей популярности среди придворных, но и вызывало открытую враждебность.