Помимо широкой сети информаторов, начальник Третьего отделения имел в своем распоряжении еще и корпус жандармов – несколько тысяч дюжих молодцов, легко узнаваемых в толпе по белоснежным перчаткам и синим накидкам, задачей которых была охрана государственной безопасности. Однако в сравнении с КГБ Третье отделение было небольшой организацией. К моменту смерти Николая I в 1855 году его первоначальный аппарат, состоявший из шестнадцати служащих, вырос лишь на двадцать четыре человека. В отличие от своих предшественников, руководители Третьего отделения не отличались особой жестокостью. Лидер политического инакомыслия после декабристов Александр Герцен говорил, что он «готов поверить в то, что… Бенкендорф сотворил не все то зло, которое он мог бы сотворить будучи главой этой страшной полиции, находящейся вне и над законом и имеющей право вмешиваться во все и вся… Но и хорошего он ничего не совершил. Для этого у него не было ни воли, ни энергии, ни сердца.» Когда Герцен предстал перед Бенкендорфом в 1840 году, он увидел человека с «изнуренным, уставшим» лицом, на котором было «обманчиво добродушное выражение, часто встречающееся у непредсказуемых, апатичных людей». Граф Алексей Орлов, сменивший Бенкендорфа после его смерти в 1844 году, был братом одного из руководителей декабристов, генерала Михаила Орлова. Трудно себе представить, чтобы сто лет спустя Сталин последовал этому примеру и разрешил кому-либо из родственников Троцкого или Бухарина стать даже простым членом, не говоря уж руководителем НКВД.
Из 290.000 осужденных на ссылку в Сибирь или исправительные работы в период с 1823 по 1861 год только пять процентов были признаны виновными в совершении политических преступлений, причем многие из них были даже не русскими инакомыслящими, а польскими патриотами, выступавшими против российского правления. Внутри России политическое инакомыслие практически сводилось лишь к небольшой группе образованной аристократии. Тем не менее, именно при правлении Николая I политическому преступлению было дано юридическое определение. Уголовный кодекс 1845 года устанавливал строжайшее наказание всем, кто был признан «виновным в написании или распространении рукописных или печатных работ или заявлений, целью которых является возбуждение неуважения к Державной власти или личным качествам Самодержца или его правительства». По словам Ричарда Пайпса, этот кодекс для тоталитаризма был тем, чем «Хартия Свободы» была для независимости». С 1845 по 1988 год, за исключением короткого периода времени после неудавшейся революции 1905 года и захвата власти большевиками в октябре 1917 года, ставить под сомнение правильность политического порядка считалось уголовным преступлением в России. Уголовный кодекс 1960 года устанавливал наказание сроком до семи лет тюремного заключения с последующей ссылкой до пяти лет за «агитацию или пропаганду, направленную на подрыв или ослабление Советской власти». Большевизм унаследовал от царизма и политическую культуру, и правовую систему, при которой права были исключительной прерогативой государства.
Третье отделение гордилось тем, что в течение всего 1848 года, который стал пиком революционной активности в Западной Европе, Россия оставалась «дремлющей и спокойной». Брожение на селе, за которым последовало освобождение крепостных крестьян указом царя Александра II (1855—1881) в 1861 году, убедило новое поколение молодых аристократов-народников в том, что крестьяне наконец-то созрели для революции. Однако неудавшийся «поход в народ», предпринятый в 1874 году убежденными радикалами-идеалистами с целью поднять крестьян на борьбу с царизмом, привел к тому, что некоторые разочаровавшиеся народники стали террористами. Сторонники террора утверждали, что покушения на царскую знать будут способствовать как деморализации самого режима, так и демонстрации уязвимости царизма в доступной простому крестьянину форме. В 1879 году террористическая группа, состоящая из тридцати человек, организовала так называемый Исполнительный комитет «Народной Воли». Несмотря на свою малочисленность, всего за три года – с 1878 по 1881 год – эта группа своими террористическими действиями смогла довести царский режим до состояния, близкого к панике, тем самым показав неэффективность работы Третьего отделения. В 1878 году генерал Мезенцов, глава жандармерии и главный куратор Третьего отделения, был убит среди бела дня ударом ножа на одной из центральный улиц Санкт-Петербурга. Его охранник, подполковник Макаров, был совершенно не готов к подобной акции. Единственное, что он смог сделать, – это ударить нападающего своим зонтиком. Террорист благополучно скрылся. После нескольких террористических актов и покушений на жизнь царя, заочно приговоренного к смерти «Народной Волей», было проведено специальное расследование деятельности Третьего отделения, в результате которого выяснилось, что царская служба безопасности была настолько плохо организована, что царь «не мог чувствовать себя в безопасности даже в своей собственной резиденции».
В августе 1880 года скомпрометировавшее себя Третье отделение было распущено. Вместо него был создан Департамент государственной полиции, переименованный в 1883 году просто в Департамент полиции, на который была возложена задача охраны государственной безопасности. При полицейском управлении был создан Особый отдел для борьбы с политическими преступниками. Кроме того, была организована целая региональная сеть Охранных отделений, первое из которых начало свою деятельность в 1881 году. В дальнейшем вся система политической полиции стала называться «охранкой». Но несмотря на все реорганизации, в 1881 году Александр II был убит взрывом ручной гранаты, изготовленной террористами кустарным способом.
По полноте данной ей власти и масштабам деятельности «охранка» в то время была уникальным явлением в Европе. В европейских странах полиция действовала в рамках закона. «Охранка» же сама по себе была законом. Что касалось политических преступлений, она имела полное право сама решать, кого обыскивать, кого посадить в тюрьму, а кого сослать. Как писал в 1903 году отошедший от марксизма либерал Петр Струве, главное различие между Россией и Европой заключалось в «безграничной власти политической полиции», от которой зависело само существование царизма. Несмотря на это, царская Россия так и не стала полицейским государством в полном смысле этого слова. По советским меркам, данная «охранке» огромная власть практически не использовалась. Даже во время репрессий 1880-х годов было казнено только семнадцать политических преступников, главным образом тех, кто совершил или пытался совершить то или иное покушение. Среди взошедших на эшафот террористов был и Александр Ульянов, приговоренный к смертной казни за участие в неудавшемся покушении на Александра III. Заговорщики намеревались убить царя 1 марта 1887 года, в день шестой годовщины покушения на жизнь Александра II. Брат Александра Ульянова семнадцатилетний Владимир (позднее ставший известным под именем Ленин) поклялся отомстить царскому режиму за смерть брата. К 1901 году в царской ссылке находилось 4.113 русских политических заключенных, 180 из них были сосланы на тяжелые работы.
В царской России самым большим гонениям подвергались евреи. Широкий антисемитизм, поощряемые государством погромы, ограничительные законы и разнообразные формы дискриминации, процветающие во время правления Александра III (1881—1894) и Николая II (1894—1917), привели к тому, что несколько миллионов российских евреев вынуждены были эмигрировать за границу, главным образом, в Соединенные Штаты. Пришедшая на смену царизму власть продолжила давнюю традицию отводить от себя народный гнев, используя евреев в качестве козлов отпущения. Поспешная высылка почти 30.000 евреев из Москвы в 1891 году послужила примером для более масштабных депортаций национальных меньшинств во времена Сталина. И хотя «охранка» не являлась инициатором государственного антисемитизма, она, тем не менее, помогала проведению этой политики. Сотрудник «охранки» Комиссаров был награжден премией в 10.000 рублей за то, что его памфлеты, напечатанные в типографии полицейского департамента, вызвали антиеврейские выступления. Последний руководитель «охранки» А.Т. Васильев лицемерно называл «подлой клеветой» «возмущенные газетные статейки» в западной прессе, обвинившей царское правительство и «охранку» в потворстве погромам. В своих мемуарах он писал, что «корень зла» заключается в том, что «евреи, к несчастью, не способны к здоровому, продуктивному труду».