Тады ж і зьявілася згаданая вышэй легенда, што для Вялікага Княства Літоўскага лепш не пачынаць вайны з Маскоўшчынай, бо будзе «здрада» з боку «рускіх князёў». Тым часам на гэтую «здраду» не пайшоў нават князь Міхайла Алелькавіч, які з усім сваім дыпляматычным штабам мог проста з Ноўгараду лёгка перайсьці на бок Івана ІІІ. Легенда гэтая, зразумела, нарадзілася ў Польшчы і выходзіла найперш ад самога Казіміра. Дарэчы, пачатак гэтае легенды быў закладзены ў намерах ліцьвіноў абраць князя Сямёна Алелькавіча на пасад вялікага князя.
Найбольш трагічнымі для Княства былі падзеі 1479-1480 гадоў. З дапамогай нашага ўраду ў Ноўгарадзе рыхтавалася паўстаньне супраць Маскоўшчыны. Быў зроблены антымаскоўскі альянс з ханам Залатое Арды Ахматам, і да такога хаўрусу даходзіла зь Лівоніяй і Швэдыяй. Апрача таго, увесну 1480 году супраць Івана ІІІ узбунтаваліся ягоныя браты, якія з сваймі сем'ямі й войскам перакачавалі на ўзьмежжа Вялікага Княства і навязалі кантакты зь Вільняй, дзе ў тым часе знаходзіўся сам Казімір. Прадбачваючы пасыўнасьць Казіміра, яшчэ ў 1479 годзе Паны-Рада й спэцыяльна скліканы сойм дамагаліся ад Казіміра, каб ён вялікакнязеўскую ўладу перадаў аднаму з сыноў. Дамаганьні гэтыя ўзмацніліся ўзімку й увесну 1480 году. Гэтым Вялікае Княства Літоўскае імкнулася пазбавіцца ад Казіміра й разьвязаць сабе рукі ў дачыненьнях з Маскоўшчынай. Дамаганьні гэтыя, бясспрэчна, маглі значыць і поўны разрыў з Польшчаю, а таму Казімір катэгарычна адкінуў іх, зазначаючы, што пакуль ён будзе жыць, датуль будзе ўтрымліваць у сваіх рукох уладу ў Польшчы й Вялікім Княстве. Разам з гэтым Казімір катэгарычна адмовіўся таксама падтрымаць братоў Івана ІІІ, і яны, атрымаўшы такую адмову, спачатку зьвярнуліся да Пскова, а тады змушаныя былі шукаць пагадненьня з сваім братам. Тады ж, увесну 1480 году, Казімір адмовіўся адначасна ад наладжваньня антымаскоўскага альянсу зь Лівоніяй і Швэдыяй ды, нарэшце, пакінуў у адзіноце хана Залатой Арды Ахмата, што доўгі час стаяў на ўзмежжы Маскоўшчыны, дарэмна чакаючы выступленьня Вялікага Княства. Не дачакаўшыся ўмоўленай падтрымкі, пры адступленьні хан Ахмат спустошыў усходне-паўдзённыя землі Княства, што было помстай за здраду свайго хаўрусьніка. Тым часам, праўдападобна ўзімку 1480 году, Казімір выслаў пасольства ў Маскву, прапануючы Івану ІІІ «любовь и докончание», г.зн. наладжваньне мірнае ўмовы. Здаецца, ужо тады Казімір выношваў пляны ўцягнуць Івана ІІІ у гэтак званую кааліцыю эўрапейскіх манархаў супраць Турэччыны, бо ў сувязі з гэтымі плянамі ён не зрэагаваў і на далучэньне ў 1485 годзе да Маскоўшчыны Цьверскага княства - апошняга хаўрусьніка Вялікага Княства на ўсходзе. У гэтым выпадку, ведама, Казімір цікавіўся не крыжовым паходам супраць Турэччыны, але падбіцьцём Вугоршчыны і Малдавіі, зь якімі Польшча знаходзілася ў канфлікце ды на якія яна прэтэндавала. Тым жа часам, рыхтуючыся да канчатковага парахунку з Вялікім Княствам, Іван ІІІ узмацняў кааліцыю ў складзе Маскоўшчыны, Крымскага ханства, Малдавіі, Вугоршчыны і, нават, нямецкага імпэратара.
Згаданыя падзеі 1480 году сталіся непапраўнай палітычнай катастрофай для Вялікага Княства Літоўскага. Ноўгарадзкая рэспубліка, што дасюль была бар'ерам паміж Княствам і Маскоўшчынай, канчаткова была далучаная да апошняе, падвоіўшы ейныя сілы. Далей, не падтрымаўшы хана Ахмата, Казімір дапамог Маскоўшчыне вызваліцца ад «татарскага ярма», бо Залатая Арда, добра пакалашмачаная пры адступленьні з маскоўскага ўзмежжа крымскімі й нагайскімі татарамі, ад гэтага часу перастала быць небясьпечнай для Маскоўшчыны ды наагул сыйшла з палітычнае арэны. Адным словам, у гэтым разе Казімір дапамог Маскоўшчыне разьвязаць рукі супраць Вялікага Княства. Галоўнае ж, выгадныя абставіны 1479-1480 гадоў не былі выкарыстаныя нашай дзяржавай для паслабленьня самога Маскоўскага княства, а гэта лёгка можна было зрабіць, толькі даўшы адпаведную падтрымку братом Івана ІІІ.
Вось ў гэтых сапраўды трагічных для Вялікага Княства абставінах і рыхтавалася «змова князёў 1481 году». На чале змовы стаялі князі Міхайла Алелькавіч Слуцкі, Хведар Бельскі ды Іван Гальшанскі, але да яе хінуліся таксама іншыя князі й паны. Зразумела, яе падтрымаў бы і ўрад Княства ў цэлым, пра што сьведчаць згаданыя вышэй дамаганьні перадачы вялікакнязеўскай ўлады аднаму з сыноў Казіміра. Змова была скіраваная як супраць самога Казіміра, так і супраць ягоных сыноў, што тады знаходзіліся ў Княстве. Гэтая змова, аднак, была выкрытая, і ў некаторых змоўнікаў паляцелі галовы, а іншыя, прыкладам, князі Хведар Бельскі й Іван Глінскі, зьбеглі ў Маскву.