Его посадили за избиение местного сутенера, собиравшего дань с должников Дылды. Этот сутенер совершил страшную ошибку, забрав себе собранные деньги. Дылда преподал ему урок: он избил его дубинкой, сломав при этом три лицевые кости и превратив все его тело в сплошной синяк. Сутенеру повезло. Дылда сказал, что пожалел его, потому что тот был негр, оттого и не убил. Дылду признали виновным в нанесении тяжких телесных повреждений и приговорили к шестимесячному заключению.
В тюремной камере у Дылды был телефон, к заключенному пускали посетителей в любое время, а еду приносили особую.
Друг Цвиллмана Ицик Голдстейн вспоминает, как стоял на углу Принсесс и Спрингфилд-авеню однажды весной в четыре часа утра, а рядом «остановилась машина, и из нее вышел Дылда с двумя парнями. Тут я сообразил, что ему полагалось быть в тюрьме, в Колдуэлле. Я говорю: „Господи, да он. же должен быть в Колдуэлле“. И спрашиваю его: „Дылда, ты что здесь делаешь?“ А он отвечает: „Меня выпустили на пару часов“. В тюрьме Дылда обычно целыми днями отсыпался, а ночью выходил развлекаться. Так проходило его заключение».
Дылда отсидел три месяца. Выходя из тюрьмы, он одарил деньгами надзирателей, а одному из начальников подарил автомобиль.
Несмотря на репутацию гангстера, Дылда всегда трепетно относился к своему еврейскому происхождению. Когда его хороший друг Хайми Кугел умер, Цвиллман отказался войти в часовню, где стоял гроб. Сын Хайми Джерри не мог этого понять. Ему было обидно, ведь он знал, что покойный любил Цвиллмана. После церемонии прощания он подошел к Дылде, стоявшему на улице, и спросил, почему тот не вошел внутрь, Чтобы почтить память друга.
«Я не могу, Джерри, — ответил Дылда. — Я коэн».
Джерри оставался в недоумении, пока кто-то из стоящих рядом не объяснил ему, что, будучи коэном, то есть потомком древнееврейского рода священников, Дылда не имел права находиться в одной комнате с трупом. Даже близкое знакомство и дружба Цвиллмана с отцом Джерри и его семьей не смогли заставить его нарушить ритуальный запрет.
Вероятно, самая таинственная история о Дылде связана с актрисой Джин Харлоу, секс-символом 30-х годов. Судя по всему, Дылда познакомился с ней в 1930 году, когда она была неискушенной девятнадцатилетней девушкой. В то время у Харлоу был контракт с Говардом Хьюзом, она только что снялась в его фильме «Ангелы ада». Хьюз разглядел потенциал Харлоу и отправил ее в турне по всей стране, чтобы рекламировать фильм. Одним из пунктов этого турне был Ньюарк.
Друг Дылды Док Стэчер пошел в кинотеатр «Адамс» на просмотр фильма. Перед началом показа выступала Харлоу. Стэчер был очарован ее внешностью и взахлеб рассказывал о ней Дылде. Цвиллман никогда не слышал, чтобы Стэчер так восторженно говорил о женщине, и решил посмотреть на нее. Один взгляд — и он был покорен.
Цвиллман познакомился с Харлоу. Симпатия оказалась взаимной, они стали любовниками. Он взял Харлоу под свою опеку, учил ее красиво ходить, говорить, одеваться и вести себя в свете. Он даже изобрел новое словосочетание для описания ее внешности: «платиновая блондинка». Все источники утверждают, что и Харлоу любила Дылду. Их роман продолжался до того, как Джин переехала в Голливуд и стала звездой кинокомпании «Метро-Голдвин-Майер».
Нелегальной торговлей спиртным в Филадельфии времен сухого закона руководил Макс Хофф по кличке «Бу-Бу». Он родился в Филадельфии в 1893 году в семье евреев — выходцев из России и был прозван «Бу-Бу», когда ребенком играл на шумных улицах Южной Филадельфии. Когда мать кричала ему: «Бо!», что на иврите означает «Иди сюда!», ирландские и итальянские мальчишки, его товарищи по играм, думали, что она говорит «бу-бу».
Хофф зарабатывал свои первые доллары, разнося газеты, затем служил в табачной лавке, а потом открыл игорный дом с высокими ставками под прикрытием политического клуба пятого избирательного округа Филадельфии.
Вскоре он стал менеджером боксеров, организовывал бои за деньги и стал знаменит в спортивной среде. По-настоящему он впервые проявил себя с введением сухого закона, возглавив весьма опасную банду молодых еврейских головорезов, которая контролировала солидную часть нелегальной торговли спиртным в Филадельфии, игорный бизнес и другие виды противозаконной деятельности. Он был крупнейшим в городе покупателем пулеметов и пуленепробиваемых жилетов и находил им достойное применение при выяснении отношений с конкурентами.
Хофф поддерживал постоянную связь с еврейской мафией Нью-Йорка и Ньюарка и, по словам свидетелей, был на короткой ноге с Аль Капоне. К 1927 году он стал признанным королем бутлегеров Филадельфии.