Совпадение интересов Збигнева Олесницкого и Михаила заставило Казимира сразу направить свои усилия против могущественного Краковского епископа, фактически управлявшего Польшей до прихода младшего сына Ягайло. Конфликт между королем и виднейшим представителем духовенства вспыхнул еще в 1447 г. Казимир быстро сориентировался и обнаружил самые слабые стороны своего соперника. Дворянство ненавидело епископа за учиненную им расправу над польскими гуситами в 1439 г. У возвысившегося олигарха были неприятели и в среде духовенства. Папа в ту пору боролся с группой непокорных участников Базельского собора (только в 1449 г. было достигнуто соглашение, и единым для всех папой избран Николай V). В таких условиях Казимир мог опираться на личных врагов Збигнева Олесницкого и провозвестников гуманизма, уже обнаружившихся среди польской интеллигенции. Лидер последних Иоанн Остророг в то время уже вынашивал идею «Мемориала», выразившего мысль о независимости страны и написанного не позднее 1460 г. Борьбу со Збигневом Олесницким Казимир сочетал с постепенным устранением папского контроля при назначении духовных иерархов, что было поддержано как средним духовенством, так и светской знатью. Подобное положение позволило Казимиру избежать утверждения привилеев Польскому королевству (а тем самым, и присоединения Литвы к Польше) на Петроковском и Люблинском дворянских съездах, состоявшихся в августе 1447 г. и в мае 1448 г. В этом последнем участвовала делегация Литвы (епископ Матфей, Иоанн Гаштольд, Иоанн Монвидович, Петр Монтигирдович, Юрий Ольшанский, Юрий Лингвеньевич). Ей пришлось отмести требование Збигнева Олесницкого о полном присоединении Великого княжества Литовского к Польскому королевству. На Петроковском съезде 1449 г. Казимир уже уверенно выставил условие об утверждении привилеев королевству, указав при этом, что затруднительные для Литвы требования полякам следует согласовать с ней самой. На исходе сороковых годов влияние Краковского епископа было достаточно ограничено. Позиции рады панов Литвы заметно укрепились. /313/
Сеид-Ахмет еще поддерживал Михаила Сигизмундовича, но для последнего, после принятия Казимиром польской короны, уже не осталось места в Мазовии. Зимой 1449–1450 г. и в августе 1450 г. он предпринял набеги на юго-восточные окраины Великого княжества Литовского, но они уже ничего не решали. На исходе 1450 г. Михаил попал в руки казанцев, союзников Василия II, и оказался в Москве. Ему не оставалось ничего иного, как рассчитывать на покровительство сына своей двоюродной сестры. Призвав на помощь сторонников Михаила в Литве, Збигнев Олесницкий оказывал давление на Казимира с тем, чтобы тот предоставил сыну Сигизмунда I апанаж, аналогичный данному князю Швитригайло. Весной и в начале лета 1451 г. этот вопрос обсуждался Польским коронным советом и радой панов Литвы; надо полагать, что нужные связи устанавливал и Симеон Олелкович (Олелькович), посещавший в том же году Москву. Однако в июле месяце Казимир уже был в силах категорически отвергнуть все ухищрения заступников Михаила. В начале 1452 г. Михаил Сигизмундович был отравлен. Не выяснено, кто это сделал, однако было очевидно, что устранена сильная личность, мешавшая как Казимиру и группировке Иоанна Гаштольда, так и Василию II, явно бравшему верх над Дмитрием Шемякой и не желавшему из-за своего двоюродного дяди портить отношения с великим князем Литовским. Збигнев Олесницкий лишился еще одной опоры.
В 1451 г. политическое значение Михаила таяло по мере того, как предпринимались попытки решить вопрос о будущем наследстве Швитригайло – Волыни. Эта земля стала подлинным яблоком политического раздора между Литвой и Польшей, – проблемой, которая была важна сама по себе и заодно проясняла позицию общего монарха. Здоровье последнего из сыновей Ольгерда слабело, и было ясно, что близится решающее столкновение. Польский коронный совет опирался на записи Сигизмунда I, рада панов Литвы – на историческую традицию и фактическое положение. Произошедший в начале 1451 г. съезд высшей литовской знати, на котором было определено продолжить переговоры с Польшей, оценил /314/ и всю ситуацию вокруг Волыни. В 1451 г. самочувствие Швитригайло резко ухудшилось, это случилось как раз накануне сентябрьского съезда в Парчеве, на котором встретились делегации Литвы и Польши (по 12 представителей). Обе стороны были разгневаны; Иоанн Гаштольд в последний момент остался в Бресте, других литовских делегатов пришлось прикрывать самому Казимиру. Кульминацией стал юридический спор между Вильнюсским и Краковским епископами, в ходе которого Матфей предъявил оппоненту достойные логические аргументы. Договориться не удалось. Между тем, ближе к концу 1451 г., на Волынь отправилось литовское воинское соединение под командой Радзивилла Остиковича, Юрия Ольшанского, брацлавского старосты Юрши и пинского князя Юрия. Эти действия были согласованы со Швитригайло. В Луцке уже несколько месяцев жил уполномоченный рады панов, конюший великого князя Григорий Волович, заботившийся о том, чтобы самые важные административные должности на Волыни заняли верные Литве люди. Поляки уже в 1451 г. потребовали от Казимира присоединить Волынь к Польше, в Луцк был направлен их наблюдатель. Волынская знать, собравшаяся в начале 1452 г., пребывала в неуверенности, но раде панов удалось склонить ее на свою сторону предоставлением привилея о местной автономии. Привилей волынцам касался замещения важнейших областных должностей и осуществления местного права. Швитригайло заставил волынских вельмож присягнуть на верность Великому княжеству Литовскому. 10 февраля 1452 г., когда в замках Волыни расположились сторонники Литвы и литовские воины, Швитригайло умер. Почти одновременный уход Михаила Сигизмундовича и Швитригайло устранил серьезные препятствия как для рады панов, так и для самого Казимира.
И великий князь, и рада панов осознавали все преимущества союза, столь необходимого для них в тот момент. Поэтому расхождения относительно русской политики не затмевали приоритета – политики польской. Хотя влияние Збигнева Олесницкого ослабевало, опасность со стороны Польши оставалась главной политической проблемой для Литовского государства. Уже в конце февраля 1452 г. в Польше возникли планы военных действий для завоевания Волыни. Наибольшее напряжение вызвал Сандомирский съезд, в марте 1452 г. огласивший идею детронизации Казимира. Казимиру удалось опередить своих противников при помощи великопольских вельмож. Петроковский съезд, созванный Збигневом Олесницким и краковским воеводой Яном Тенчинским в мае месяце, провалился. На сей раз Волынь ускользнула от Польши, но возможности лавирования в Польше для Казимира заметно уменьшились. /315/
В таких обстоятельствах на рубеже августа и сентября 1452 г. на польский Серадзийский съезд явились представители Литвы Андрей Довойно и Михаил Монтовтович, которые на угрозы ответили угрозами. Соглашение вновь не было достигнуто, но теперь перед радой панов Литвы открылась куда более грустная политическая перспектива. Династические притязания Ягеллонов, которые воплощала личность Казимира и которые прозорливая группировка Иоанна Гаштольда до поры использовала в качестве литовского политического орудия, превратились в обособленный политический фактор. Этот фактор расколол единый фронт польской аристократии, но и оказался вне контроля рады панов Литвы. С начала пятидесятых годов в странах, управляемых Ягеллонами, наблюдалось непростое распределение политических сил. Как в Польше, так и в Литве вокруг монарха сплотились выдвинутые им люди, а влияние лагерей Иоанна Гаштольда и Збигнева Олесницкого постоянно слабело, что вызывало неминуемую взаимную конфронтацию этих лагерей.
На Серадзийском съезде Польскому коронному совету удалось вырвать у Казимира тайное обещание – подтвердить привилеи Польскому королевству. Политика Ольшанского съезда, до той поры осуществляемая вполне успешно, испытала первый серьезный удар. /316/ Группировка Иоанна Гаштольда болезненно реагировала на действия Казимира и склонялась к выдвижению нового великого князя. Эти планы не получили завершения, названный кандидатом Радзивилл Остикович слабо выглядел в качестве антимонарха, не было прояснено отношение к Казимиру (устранять его окончательно или позволить претендовать на роль субмонарха в Литве). Однако против Польши были предприняты определенные шаги: в начале 1453 г. Радзивилл отправился к Сеид-Ахмету, чтобы уговорить его направить силы на Червонную Русь, откуда исходила наибольшая опасность для Волыни. Это был рискованный шаг, ибо реакцию бывших союзников Михаила Сигизмундовича мало кто мог предсказать. Дезавуировать миссию Радзивилла Казимиру помог его верный соратник Хаджи-Гирей. Он изгнал Сеид-Ахмета, а Радзивилл попал в руки крымских татар и позднее, когда обстоятельства переменились, был отпущен. В этом случае Иоанна Гаштольда не поддержал Вильнюсский епископ Матфей, однако ядро Ольшанской группировки все же решилось на конфликт с государем. Весной 1453 г, когда Казимир находился в Литве, люди Иоанна Гаштольда начали силой устранять поляков, сопровождавших великого князя. Во время стычки был ранен даже сам монарх. В мае месяце умер епископ Матфей, авторитет которого удерживал от крайних мер как Казимира, так и Иоанна Гаштольда. И все-таки действия литовцев произвели впечатление на Казимира. Он уже не мог до конца примириться с Иоанном Гаштольдом, однако стал четко разделять личные и государственные интересы. Ягеллон опирался на лично приверженных ему дворян, с учетом настроений всей рады панов, заставлявшей его решительнее обращаться с поляками.