Основываясь на результатах своей поездки в Сибирь в качестве «особенного чиновника», Селифонтов выступил с предложением об организации здесь в дополнение к Иркутской и Тобольской губерниям Томской губернии. Решение об этом было принято государем 6 июня 1803 года. 26 февраля 1804 года император Александр издал Указ «Об учреждении Томской губернии», гласивший: «Повелеваем: 1. Все пространство, составляющее ныне Тобольскую губернию, разделить… на две части, из коих первая, из девяти уездов, составлять будет губернию Тобольскую, а вторая, из восьми уездов, составит губернию Томскую».
Создание министерств по Указу от 8 сентября 1802 года привело к возникновению в местном управлении административных органов, подотчетных соответствующим министерствам и не подчинявшихся генерал-губернатору. Это порождало условия для конфликтов между двумя ветвями власти. Особенно остро подобные конфликты должны были протекать в Сибири, где генерал-губернатор считался «хозяином» и обладал самой широкой властью.
И первый крупный конфликт такого рода разразился в 1804 году, когда генерал-губернатор Селифонтов захотел удалить из своего края строптивого иркутского прокурора С. А. Горновского. На защиту последнего встал министр юстиции П. В. Лопухин, заявивший: «Я с моей стороны никак не позволю себе располагать участью чиновников, мне вверенных, при всем уважении к донесениям управляющих губерний, по одному их взгляду, по одному поверхностному обозрению». Министр внутренних дел В. П. Кочубей, которому непосредственно подчинялся Селифонтов, в ответ выразил мнение, что генерал-губернатор «есть первый и главный прокурор вверенных ему губерний». Одновременно он пояснил П. В. Лопухину: «Составляя в министерстве одно целое, мы не можем действовать раздельно, и как нет в губерниях ни ваших, ни моих чиновников, а все они служат равно Государю и Отечеству».
Стремление генерал-губернатора Селифонтова усилить свою власть и распространить ее на все сферы сибирского общества превратило его правление в борьбу всех против всех. Раздорами были охвачены даже его отношения с губернаторами. Особенно сильно конфликтовал он с руководителями Иркутской губернии, поскольку именно в Иркутске находилась резиденция генерал-губернатора. С 1802 по 1806 год на должности иркутскою губернатора побывало шесть человек.
Император Александр всерьез обеспокоился состоянием дел в Сибирской администрации в начале 1805 года. 20 мая указанного года его величество направил отправлявшемуся в Китай главе российского посольства графу Ю. А. Головкину секретное письмо, в котором сообщил, что до него дошли вести о беспорядках и злоупотреблениях в Иркутске. Государь поручил Головкину понаблюдать за действиями сибирского генерал-губернатора. В своих инструкциях ревизору Александр I заявлял: «Отдаленность сего края и особенные местные его положения делают весьма уважительными все способы, кои могут представиться к точнейшему познанию его нужд и к лучшему его устройству».
Ознакомившись на месте с деятельностью сибирской администрации, Ю. А. Головкин пришел к выводу о том, что Сибирью невозможно управлять на основании «Учреждений для управления губерний Всероссийской империи» и что поэтому этот край должен стать «отдельною и особливою частию в общем государственном управлении». По его мнению, Сибирью необходимо управлять не как губернией, а в качестве казенного поместья.
Данный вывод был сделан на основе весьма поверхностного обозрения Сибирского края и под влиянием бытовавших тогда в столичном обществе убеждений, согласно которым этот край населен отсталыми в своем развитии народами.
Недостатки сибирского управления связывались в донесении Головкина с личностью генерал-губернатора. Поверив данному донесению, император Александр не мог найти ничего лучшего для исправления недостатков, как отстранение И. О. Селифонтова от должности за допущенные им злоупотребления своей властью.
Между тем злоупотребления властью со стороны сибирского генерал-губернатора были при тех условиях неизбежными. Назначенный управлять огромным краем, он не имел четких инструкций, определявших его полномочия. Он не обладал правом издавать имевшие юридическую силу на вверенной ему в управление территории постановления или инструкции, изменять численность штатов административных органов, распоряжаться финансовыми средствами. Поэтому даже в «чистых» делах ему приходилось нарушать законы. А без их нарушения управлять было невозможно.