Інокентій VIII не припиняє працювати над створенням ліги проти Туреччини, а Баязид снує плани проти Угорщини й Венеції. У всьому цьому особа Джема відіграє значну роль. Султан шле Папі «спис, яким був пронизаний Христос на хресті» й інші дорогоцінні мощі, просячи в нього тільки одне: тримати в ув’язненні Джема й не передавати його нікому іншому.
А Папа вимагає від Баязида не нападати на християнські країни, інакше він використає Джема й поставить його на чолі великого походу проти Туреччини.
На цьому помирає й Папа Інокентій VIII. За час, поки відбувалися вибори нового Папи, Джем задля більшої певності ув’язнений у Замку св. Ангела. Новим Папою обрано дотеперішнього кардинала Родріґо Борджіа, відомого як Папа під іменем Олександра VI.
Виглядало на те, що для вельможного в’язня настали кращі часи. Він заприятелював із синами Папи, мав більшу свободу пересування, брав участь в урочистостях. У хроніках і листах, як і на картинах сучасників Джем зображений як тридцятирічний чоловік, хоча насправді виглядав він на сорок років. Товстий, смаглявий, з повністю опущеною повікою на лівому оці, він скидався на «людину, що цілиться». Похмурий і боязкий, немилосердний до прислуги, він тонув у розвагах і насолодах, особливо в пияцтві, бо шукав у ньому сон і забуття.
У той час між християнськими правителями настали нові великі чвари. Молодий французький король Карл VIII виступає з військом на Італію, щоб захопити Неаполітанське королівство, на яке він заявляє свої права, і, як стверджує, звідти повести армію християнської ліги у хрестовий похід проти Туреччини. Папа робить усе, щоб завадити йому ввійти в Італію. У цей час Олександр VI веде переговори з Баязидом і просить у нього підтримки проти французького короля. Баязид надсилає йому домовлену суму в 40 000 венеційських дукатів за річне утримання Джема, а в окремому особистому листі пропонує йому 300 000 дукатів, якщо той видасть труп Джема. Цю переписку перехопили супротивники Папи в Італії й надали їй розголосу.
Карл VIII вдирається в Італію. Він швидко захоплює місто за містом і в останній день 1494 року вступає в Рим. Папі не залишається нічого іншого, крім як шукати з молодим підкорювачем порозуміння ціною якнайменших втрат. Одна із вимог Карла була такою: Папа має передати йому «султанового брата», якого й він хотів використати у боротьбі проти Баязида. Погодилися на тому, що Карл забере Джема з собою у похід на Неаполь і згодом на Туреччину. Але Папа просив гарантій, що король Франції після закінчення війни поверне йому дорогоцінного заручника. Так само Папа закріпив в угоді, що тих 40 000 дукатів, які йому регулярно надсилає султан, і надалі залишає за собою.
Під час урочистої аудієнції перед багатьма свідками Папа передав фрацузькому королю Джема і його зовсім уже нечисленну свиту. Коли Папа повідомив про це рішення Джему, той заявив, що він є рабом, тож йому все одно, хто тримає його в рабстві — Папа чи французький король.
Папа намагався красивими словами переконати і втішити Джема, а Карл VIII був до нього уважним і ставився до нього як до правителя.
Коли Карл VIII вирушив далі, на неаполітанського короля, він забрав з собою Джема зі свитою і Папиного сина Чезаре, кардинала з Валенсії, в якості заручника. Але в дорозі лукавий Чезаре втік, а Джем розхворівся. Хворів він усього кілька днів. Помер у Капуї, ще перш ніж вони прибули до Неаполя.
Прибічникам зі своєї свити, які провели разом з ним усі роки рабства, він наказав, щоб його тіло за будь-яку ціну перевезли в Туреччину, щоб невірні не використовували його ще й мертвого. Він надиктував і листа до брата Баязида, в якому просив дозволу його родині повернутися в Стамбул і бути милостивим до тих, що були його вірними послідовниками в довгому рабстві.
Карл VIII розпорядився забальзамувати тіло Джема й покласти в свинцеву труну.
Відразу ж пішла чутка, що Папа отруїв Джема і вже отруєного передав королю. Венеційський Сенат поспішив блискавично сповістити султана Баязида про Джемову смерть, бажаючи бути першим, хто всесильному султану повідомить цю приємну звістку.