Имея обязанности перед властью, кагал получил право распоряжаться невежественной массой, и чем строже была его ответственность, тем больше он проявлял свой произвол по отношению к бесправным своим членам. Кагал тщательно ограждал народ от умственных веяний извне, совершенно обезличил и лишил его свободы во имя неприкосновенности религиозно-бытовых порядков. Произвол же кагала при взыскании податей для государства и сборов для покрытия общинных расходов вызывал неприязненное к нему отношение со стороны рядовых членов общины. Власть кагальных мироедов и «благодетелей» не знала границ. Имея на своей стороне задобренное начальство и поддержку зависящих от них раввинов и клера («клей-кодеш»), они не только ворочали общественными делами по своему усмотрению, но и властвовали над совестью, помыслами и личными делами своих беспомощных, запуганных собратьев. Горе тому, кто восстановил против себя кагальных заправил! Гнев последних грозил рекрутчиной, разорением и многими другими карами.
Виленский губернатор Фризель в своем донесении правительству писал: «Старшины кагала столько взяли власти и такое возымели влияние над простым их народом, что они принуждены к покорности без роптания и в глубочайшем молчании нести их тяжкие налоги, обращаемые старшинами в свою лишь пользу». Фризель предложил реформу еврейского быта, чтобы «уничтожить кагалы, а с ними и тысячи несправедливостей».
Державин, посетивший Белоруссию в начале 19-го века, писал «Бедная их чернь (евреев) находится в крайнем изнурении и нищете. Напротив, кагальные богаты и живут в изобилии. Управляя властью, в руках их утвержденной, имеют великую силу над их народом. Сим средством содержат они его в великом порабощении и страхе».
И Державин, и губернатор Фризель, напуганные суровой властью кагала над невежественной массой, настаивали на его уничтожении, видя в кагале силу, будто бы опасную и для государства. Неблагоприятны отзывы о кагальных руководителях встречаются и у еврейских авторов. Они говорят о кагальных заведующих податями, которые тайно и открыто набивают свои карманы. Кагальные верховоды были подкупны, жадны, жестоки. Особенная же ненависть к кагалу стала проявляться, когда после введения натуральной рекрутской повинности его руководители еще неумолимее стали злоупотреблять своей властью.
Клеветали, конечно, антисемиты, обвинявшие кагал в стремлении эксплуатировать христиан. Не для них он был вреден, а для самих евреев, в особенности для бедных. Возложенная на него обязанность фискального свойства отвлекала кагал от исполнения своей основной задачи — регулировать внутреннюю жизнь еврейской общины. Со временем кагал выродился в деспотическое правление в лице его исполнительной власти — старост. У бедняков не было ни досуга, ни опыта для занятия общественными делами. На руководящие должности избирались только состоятельные лица, которые и выдвигали из своей среды кагальных старост, а старосты отстаивали, конечно, интересы богачей и действовали в ущерб массам. Деятельность кагальных старост временами носила открыто преступный характер. Добиваясь отмены контроля над сборами, они распоряжались общественными деньгами по своему усмотрению. Расходов же у кагала было много. Кроме общегосударственных, земских и городских надо было покрывать расходы по содержанию религиозных и общественных учреждений и их служителей. Надо было оказывать помощь неимущим, переселенцам и т. п. Бывали и экстренные расходы по непредвиденным обстоятельствам. Сборы денег — свечной, коробочный (с кошерного мяса) и подати были недостаточны, и кагалы постоянно нуждались в деньгах. По этой причине они часто прибегали к незаконному средству: устанавливали монополии на торговлю разными предметами, как например, свечами, дрожжами и прочими. Подобные монополии отдавались в откуп за соответствующую ежегодную плату в пользу кагала. Но как сберегать монополистов от ввоза в город монопольных товаров контрабандным путем из других мест? Стражи для недопущения ввоза ведь не было. В таких случаях кагал пользовался «херемом», то есть анафемой.