Немцы заключили десятилетнее перемирие в 1482 году; когда срок приблизился к концу, в 1492 году, Иоанн велел заложить на границе против Нарвы каменную крепость с высокими башнями и назвал ее по своему имени Иван-городом. Немцы, однако, предложили возобновить перемирие еще на десять лет, и договор был заключен в 1493 году; грамота дошла до нас: в ней говорится, что по божьей воле и повелению великого государя, царя русского, приехали в Великий Новгород к великому князю, наместникам, боярам, житым, купцам и ко всему Великому Новгороду (старинная форма еще сохранилась!) послы немецкие, добили челом великокняжеским наместникам и заключили с ними перемирие за всю Новгородскую державу. Земле и воде Великого Новгорода с князем мистром старый рубеж: из Чудского озера стержнем Наровы-реки в Соленое море; церкви русские в мистрове державе, в архиепископской державе и в бискупских державах — повсюду держать по старине, а не обижать; если немчин у новгородца бороду выдерет и по суду, по исправе немчин окажется виноватым, то отсечь ему руку за бороду и проч. Но в том же году начались неприятности: по немецким известиям, в Ревеле сожгли одного русского, уличенного в гнусном преступлении, а когда другие русские жаловались на это, то ревельцы отвечали им: «Мы сожгли бы вашего князя, если бы он у нас сделал то же». Эти слона были перенесены Иоанну и сильно раздражали его против немцев. Русский летописец говорит, что ревельцы купцам новгородским многие обиды чинили и поругания, некоторых живых в котлах варили без обсылки с великим князем и без обыску; также было поругание и послам великокняжеским, которые ходили в Рим и Немецкую землю; да и старым купцам новгородским много было обид и разбоев на море. Иоанн требовал, чтоб ливонское правительство выдало ему ревельский магистрат, и получил отказ; в то же время Иоанн заключил союз с королем датским, врагом Ганзы, который, предлагая помощь в войне против Швеции, уступая Москве важную часть Финляндии, требовал, чтоб Иоанн за это действовал против ганзейских купцов в Новгороде. Вслед за известием о возвращении русских послов из Копенгагена вместе с датским послом и о привезении ими докончальных грамот встречаем известие, что великий князь в 1495 году под предлогом неисправления ревельцев велел схватить в Новгороде всех немцев-купцов, которых было там 40 человек из 13 городов, посадить их в тюрьмы, гостиные дворы и божницу отнять, товары переписать и отвезти в Москву.
Московский великий князь только что заключил тогда выгодный мир и союз, политический и родственный, с великим князем литовским, с Данией был также в союзе, и потому Орден не осмелился вооруженной рукой мстить ему за купцов своих, он только чрез послов своих упрашивал о их освобождении вместе с послами городов ганзейских и великого князя литовского; Иоанн велел освободить купцов, но товаров им не отдали. Орден молчал, хотя видел страшную опасность, которой грозила ему Москва; кенигсбергский командор писал к своему магистру: «Старый государь русский вместе с внуком своим управляет один всеми землями, а сыновей своих не допускает до правления, не дает им уделов; это для магистра ливонского и Ордена очень вредно: они не могут устоять пред такою силою, сосредоточенною в одних руках». Вследствие этого сознания своей слабости Орден не мог ничего предпринять до самого того времени, когда новый разрыв между Литвою и Москвою дал ему надежду на возможность успеха в войне с последней. В 1501 году магистр Вальтер фон Плеттенберг заключил союз с Александром литовским и объявил московскому государю войну тем, что задержал в своих владениях псковских купцов; псковичи послали гонца в Москву с этим известием, и великий князь выслал к ним на помощь воевод — князей Василия Шуйского и Данила Пенко. В 10 верстах за Изборском встретились русские воеводы с Плеттенбергом; псковичи первые схватились с неприятелем и первые побежали, потерявши посадника; немцы, говорит летописец, напустили ветер на русскую силу и пыль из пушек и пищалей; когда после бегства псковичей немцы обратили пушки и пищали на московскую силу, то была туча велика, грозна и страшна от стуку пушечного и пищального, что заставило и москвичей обратиться также в бегство. Из этого рассказа ясно видно, что дело было решено немецкою артиллериею, с которой тогдашний русский наряд не мог соперничать.
На другой день немцы пошли к Изборску, но изборяне сами сожгли свой посад и отбились; счастливее был Плеттенберг под Островом: ему удалось взять и сжечь город, причем погибло 4000 русских. От Острова немцы возвратились к Изборску, ночевали под ним одну ночь и отступили, оставив засаду. Когда на другой день изборяне пришли в неприятельский стан и рассеялись по нем, немцы выскочили из засады и перебили их или перехватали. Но Плеттенберг не мог воспользоваться этою удачею: он поспешил назад, потому что в полках его открылся кровавый понос, от которого занемог и сам магистр. Сильно загоревали ливонцы, когда узнали о возвращении больного магистра с больною ратью: они боялись мести от Москвы, и не напрасно. Великий князь выслал новую рать с князем Александром Оболенским и отряд татарский; под городом Гелмедом встретилось московское войско с немцами, и, несмотря на то, что в первой схватке убит был воевода Оболенский, русские остались победителями и десять верст гнали немцев; по словам псковского летописца, из неприятельской рати не осталось даже и вестоноши (вестника), который бы дал знать магистру об этом несчастье; ожесточенный пскович пишет, что москвичи и татары секли врагов не саблями светлыми, но били, как свиней, шестоперами. По словам немецкого летописца, потеря русских в этом сражении простиралась до 1500 человек, но он же говорит, что тогда Ливония лишилась 40000 жителей, убитых и взятых в плен русскими.
Между тем Плеттенберг оправился и в том же году явился с пятнадцатитысячным войском под Изборском; немцы приступили к городу усердно, но, простояв под ним только одну ночь, отошли и осадили Псков; псковичи сами зажгли предместья и отбивались до тех пор, пока Плеттенберг, заслышав о приближении московских воевод, князей Данилы Щени и Василия Шуйского, отступил от города. На берегах озера Смолина настигли его эти воеводы и принудили к битве; битва была одна из самых кровопролитных и ожесточенных: небольшой в сравнении с русскими войсками отряд немцев бился отчаянно и устоял на месте.
Со славою отступил Плеттенберг к своим границам, но со славою бесполезною: Орден, могший бороться со Псковом, не мог теперь бороться с Московским государством, даже и в союзе с Польшею и Литвою, который оказался бесполезным. Великий магистр прусский писал к папе, что русские хотят или покорить всю Ливонию, или если не смогут этого по причине крепостей, то хотят вконец опустошить ее, перебивши или отведши в плен всех сельских жителей, что они уже проникли до половины страны, что магистр ливонский не в состоянии противиться таким силам, от соседей же плохая помощь; что христианство в опасности и потому святой отец должен провозгласить или крестовый поход, или юбилей. Александр литовский должен был просить мира у тестя, но, по договору, он не мог мириться без Ливонии, и в январе 1503 года Иоанн дал опасный лист немецким послам в такой форме: «Иоанн, божьею милостию царь и государь всея Руси и великий князь (следует обычный титул), и сын его, князь великий Василий Иванович, царь всея Руси, магистру Ливонской земли, архиепископу и епископу юрьевскому и иным епископам и всей земле Ливонской. Присылали вы бить челом к брату нашему и зятю, Александру, королю польскому и великому князю литовскому, о том, что хотите к нам слать бить челом своих послов. И мы вам на то лист свой опасный дали». Послы немецкие приехали вместе с литовскими и ждали до тех пор, пока кончились переговоры с последними насчет шестилетнего перемирия. Когда грамоты были написаны, канцлер Сапега сказал дьякам, чтоб князь великий велел теперь говорить с немцами, потому что до тех пор литовским послам нельзя будет запечатать грамот, пока не будет разговора G немцами о перемирье. На другой день великий князь велел немецким послам быть у себя на дворе и выслал к ним бояр и дьяков для переговоров; на третий день после этих переговоров посол венгерский подал Иоанну следующую записку: «Послы князя мистра ливонского были вчера у меня и объявили, что бояре вашей милости, разговаривая с ними, господаря их и их самих позорили и многие неприличные слова говорили; я, государь, очень удивляюсь, если это случилось с позволения твоей милости? Прошу, пресветлый великий князь, положить конец всем этим делам, которые мешают действиям христианских государей против неверных, потому что послам королевским нельзя ни на что решиться без ливонских».