На рукояти меча некогда имелась серебряная пластинка, ныне утраченная, на которой было выгравировано имя первоначального владельца — некоего князя по имени Болеслав. Точная копия Щербеца, долгое время хранившаяся в замке князей Радзивиллов в Несвиже (Белоруссия) и ныне также утраченная, донесла до нас текст этой надписи: «Болеслав, князь Польши, Мазовии и Ленчицы». Эта надпись, казалось бы, должна многое прояснить, однако она еще больше запутывает дело: в средневековой Польше никогда не было князя с подобным титулом. Гипотетически претендовать на эту роль могут князья из династии Пястов Болеслав IV Кудрявый (правил в 1146–1173 гг.) и Болеслав V Стыдливый (1243–1279), а также Болеслав I Мазовецкий (1229–1248) и Болеслав Набожный, князь Великопольский (1239–1247); как видим, круг претендентов достаточно широк, так что проблема происхождения меча остается нерешенной до сих пор.
Впервые меч был употреблен в качестве коронационного в 1320 году, при восшествии на престол Владислава Локотка, воссоединившего большую часть польских земель. Возможно, он унаследовал Щербец от своего дяди — Болеслава I Мазовецкого — или от своего тестя — Болеслава Набожного; если же меч принадлежал одному из двух других Болеславов, столицей которых был Краков, то Владислав Локоток мог просто найти его в королевской сокровищнице на Вавеле.
С этих пор Щербец стал неотъемлемой частью коронных драгоценностей и до 1764 года использовался при коронации всех польских монархов за исключением Владислава II Ягелло (1386), Стефана Батория (1576), Станислава I Лещинского (1705) и Августа III Сильного (1734). Во время ритуала коронации королю вручали меч после его помазания, но прежде возложения короны на голову. Глава польской церкви, архиепископ Гнезненский, торжественно брал в руки лежащий на алтаре обнаженный меч и вручал его стоящему на коленях королю.
При этом он произносил традиционную формулу, в шторой перечислялись обязанности монарха: он должен был использовать этот меч, чтобы править справедливо, защищать Церковь, бороться со злом, оберегать вдов и сирот и «восстанавливать то, что повреждено, поддерживать то, что восстановлено, мстить за то, что несправедливо». Приняв из рук архиепископа меч, король передавал его коронному мечнику, который вкладывал оружие в ножны. Примас, которому помогали два мечника — коронный и литовский, — прикреплял ножны к поясу короля. После этого король поднимался с колен и, повернувшись лицом к зрителям, обнажив меч, трижды осенял себя крестным знамением, после чего вновь вкладывал меч в ножны.
Вместе с другими королевскими регалиями Щербец хранился в Краковском кафедральном соборе, а позже был перенесен в коронную сокровищницу в Вавельском замке. За всю свою долгую историю он лишь несколько раз покидал стены Вавеля. В 1370 году венгерский король Лайош I, избранный на польский трон под именем Людовика I, вывез коронные драгоценности наряду с мечом в Буду. Его преемник на венгерском троне Сигизмунд (Жигмонд) I вернул их в Краков только в 1412 году. Дважды — в середине XVII и в начале ХVIII столетия — Щербец и другие коронные сокровища вывозили в Силезию, чтобы спасти их от вторгшихся шведских армий. В 1733 году, во время «войны за польское наследство», сторонники короля Станислава Лещинского выкрали коронные драгоценности и в течение трех лет прятали их в разных местах, стремясь не допустить коронации своего противника, Августа III Саксонского. В 1764 году Щербец участвовал в церемонии возведения на престол последнего польского короля, Станислава Августа Понятовского.
В 1795 году, когда королевская сокровищница была разграблена пруссаками, меч вывезли в Германию. В 1809–1811 годах большая часть польских коронных драгоценностей была уничтожена, а некоторые предметы, включая Щербец, выставлены на продажу. В 1819 году меч оказался в руках князя Дмитрия Лобанова-Ростовского, российского министра юстиции, который предпринял попытку продать Щербец Винценту Красинскому, спикеру польского сейма и известному в ту пору коллекционеру старинного оружия. Истинного происхождение меча Лобанов-Ростовский не раскрывал, утверждая, что это трофей недавней русско-турецкой войны (1806–1812 гг.). Красинский, подозревая, что это все же Щербец, но не будучи уверенным в его подлинности, обратился за консультацией к Себастьяну Кампи, профессору Варшавского университета. Изучив присланную ему литографию меча, Кампи заподозрил подделку. Таким образом, сделка сорвалась, и в итоге Лобанов-Ростовский продал меч в коллекцию А.Н. Демидова, князя Сан-Донато. Более полувека меч хранился на его вилле близ Флоренции, а в 1870 году его приобрел за 20 000 франков А.П. Базилевский, российский посол во Франции. В 1878 году Щербец демонстрировался на Всемирной выставке в Париже, где впервые был опознан как древний коронационный меч польских королей. В 1884 году вся коллекция Базилевского была куплена императором Александром III для Эрмитажа. Споры по поводу подлинности меча не утихали еще долгие годы; так, на Международном музейном конгрессе, состоявшемся в Петербурге в 1913 году, он был объявлен точной копией XVII столетия.