После восстания 1830–1831 годов Комитет Западных губерний, помимо прочего, занялся решением проблем шляхетского сословия. 19 октября 1831 года был издан закон «О разборе шляхты в Западных губерниях и об упорядочении такого рода людей». Всех шляхтичей, не способных подтвердить свое дворянство документами, зачисляли в специально созданные сословия однодворцев и граждан (горожан) Западных губерний. Шляхетства лишались и те польские шляхтичи, которые не имели земли или, имея землю, не имели крепостных. При этом к православной шляхте подход был гораздо более либеральным. Для подтверждения шляхетства принимались и явно фальшивые дипломы, которые в массовом количестве изготовлялись за умеренную плату на украинских и белорусских землях. В частности, большое количество таких поддельных дипломов было предъявлено во второй половине XVIII века, когда в дворяне старались записаться бывшие украинские вольные казаки. Так, отец писателя Николая Гоголя Василий Яновский имел диплом о даровании шляхетства Могилевскому полковнику Остапу Гоголю в 1674 году польским королем Яном Казимиром. Герольдию, в отличие от последующих исследователей, не смутило, что Ян Казимир отрекся от престола еще в 1668 году.
Указом 19 января 1866 года сословия однодворцев и граждан Западных губерний были упразднены и все польские шляхтичи, не доказавшие своего дворянства, записывались крестьянами либо мещанами. Сам Константин Константинович был записан мещанином. Можно предположить, что предки Рокоссовского лишились шляхетства еще в 1840-х годах, поскольку они жили на территории царства Польского. Скорее всего, они не смогли представить бумаг, подтверждающих их шляхетство, и были записаны в граждане, а потом и в мещане.
По семейному преданию, Ян Винценты рассорился с сыном Ксаверием Юзефом, будущим отцом нашего героя, потому что тот десятилетним мальчишкой сбежал из дома, чтобы принять участие в январском восстании 1863 года за возрождение независимой Польши, и отец с трудом разыскал его в районе Люблина. Сам Ян Винценты, впрочем, тоже не избежал заключения в Варшавской цитадели за сочувствие повстанцам.
Матерью Ксаверия и бабушкой Константина Константиновича была Констанция Холевицкая, состоявшая в родстве со знаменитой солисткой балета Варшавской оперы Хеленой Холевицкой. Можно предположить, что семья Яна Винценты Рокоссовского была достаточно состоятельной. Ксаверий, родившийся в 1853 году, по воспоминаниям его дочери Хелены, был мужчиной среднего роста, худощавым, но физически сильным. Он женился в конце 1880-х или в самом начале 1890-х годов, в возрасте около сорока лет, на учительнице Антонине (Атониде) Овсянниковой, из мещан местечка Телеханы Пинского уезда Минской губернии, которая, скорее всего, была значительно младше супруга. Она была русской и православной. Вероятно, тот факт, что Ксаверий Юзеф женился на русской, отдалил его от его польской родни.
Позднее, уже в советское время, Константин Константинович писал в анкетах и автобиографиях, что его отец был железнодорожным машинистом. Например, в автобиографии, написанной сразу после освобождения из заключения, Рокоссовский написал: «Родился в г. Варшаве в 1896 г. в рабочей семье. Отец — рабочий машинист на Риго-Орловской, а затем Варшавско-Венской железной дороге. Умер в 1905 г. Мать — работница на чулочной фабрике. Умерла в 1910 году… Окончил четырехклассное городское училище в 1909 г. в г. Варшаве (предместье Прага)».