Но самым главным препятствием на пути внедрения расового порядка в жизнь стали сами жители колоний - их инициативы по использованию пространства, которое колониальные режимы не могли контролировать, их способность по-своему использовать возможности, которые предоставляли имперские связи. Колониальным правительствам бросали вызов еще до их укрепления, и не только восстания, но и тихие действия школьного учителя, жившего неподалеку от африканской миссионерской станции, который записывал традиции своей общины на европейском языке и тем самым отказывался от дихотомии европейского модерна и африканской традиции, сторонников реформированного индуизма или модернизирующегося ислама, христиан в Западной Африке, которые основывали собственные церкви, чтобы иметь возможность исповедовать религию, которую они изучали, без контроля со стороны белых миссионеров. Как только миссионерские общества и колониальные правительства начинали готовить достаточное количество африканцев или азиатов для работы на младших должностях, эти посредники размывали границы, которые пытались создать колониальные режимы. Образованные представители коренной элиты знали о культурных ресурсах Европы и осознавали, с какими исключениями они сталкиваются; их присутствие усложняло колониальный дуализм, а их устные и письменные выступления обеспечивали критику колониального правления, как в собственных терминах колонизаторов, так и через языки и сети их собственных сообществ.
Идеологии расизма был брошен вызов и в глобальном масштабе империй, когда, например, в 1900 году в Лондоне состоялась первая Панафриканская конференция, собравшая активистов из Африки, Европы, США, и Вест-Индии, чтобы обсудить общий опыт дискриминации и угнетения и начать борьбу против них. Афроамериканский мыслитель и политический лидер У.Э.Б. Дюбуа прозорливо и точно написал в 1903 году: "Проблема двадцатого века - это проблема цветовой линии". Различие между белыми и черными было и будет оставаться не данностью современности, а предметом сомнений, споров, мобилизации, а порой и насилия.
Если раса была скорее предметом споров, чем последовательной идеологией правления, то практика управления европейцев в XIX и XX веках отличалась от практики прошлого не так резко, как хотели признать современники (или более поздние ученые). Проблема империй XIX века заключалась не в отсутствии новых технологий наблюдения и контроля, а в том, чтобы применить их к большому населению на огромных пространствах при низких затратах . В большей части Африки первые переписи населения - самая элементарная форма получения информации о населении - были проведены только в конце 1940-х годов - примерно через два тысячелетия после того, как китайские чиновники начали собирать такие данные, и почти через столетие после того, как британцы начали делать это в Индии. Колониальные государства - за исключением тех случаев, когда ставки были исключительно высоки, - не выделяли ни финансовых средств, ни рабочей силы, ни желания доводить до логического предела ни грубую эксплуатацию, ни сложную социальную инженерию. Европейцы могли управлять шахтой, планировать город, в котором поселенцы могли бы чувствовать себя как дома, управлять армией и тюрьмой. Но технологии и социальная инженерия породили разрозненные общества, а не систему надежного контроля над телами и умами "колонизированных".
Оказавшись между желанием управлять и эксплуатировать "африканцев" или "индейцев" и необходимостью работать через посредников, колониальные империи создали видение племен и общин, каждая из которых могла быть понята в своей специфике и управляться через вертикальные линии власти, сходящиеся на вершине. Колониальные правительства не хотели признавать, что их подданные способны сотрудничать друг с другом, образуя крупномасштабный политический организм. Таким образом, имперское воображение постоянно возвращалось к патримониальным стратегиям, использовавшимся предыдущими империями, и уходило от развивавшихся в Европе представлений о гражданах, которые избирают своих представителей, а также являются объектом социальных программ и наблюдения.
Новейшим фактором в конституции империи стал способ управления ею внутри страны. В XIX веке было сложнее, чем в XVII, воспринимать власть сверху вниз как естественную, где бы она ни осуществлялась. Колониальное правление стало определяться и защищаться как отдельный набор практик, а также стало объектом критики и нападок. Идеал народного суверенитета в европейских странах не был применен к колониям, но он стал ориентиром для образованных азиатов и африканцев - тем, о чем они знали, но не могли иметь.