Однако даже самый опытный и квалифицированный пилот был не в состоянии длительное время вести самолёт на малой высоте над неровной местностью при ограниченной видимости. Для этого требовалась автоматическая система следования рельефу местности. Уровень техники того времени не позволял объединить функции обзора и следования рельефу в одном радиолокаторе (в США это было в полной мере достигнуто лишь после создания импульсно-доплеровской РЛС Вестингауз AN/APQ-164 для В-1В). Требовалась дополнительная РЛС, которая при элементной базе тех лет не могла быть малогабаритной, а плотная компоновка В-58 не допускала размещения крупноразмерных систем. Предлагалось несколько решений (в том числе установка контейнерной РЛС следования рельефу местности в обтекателе на носке крыла), но ни одно не «довели до ума». Телевизионная (для низких уровней освещённости) и инфракрасная системы переднего обзора даже не рассматривались, так как не могли служить основным датчиком для столь скоростной машины. Кроме того, уже разработанное для самолёта оборудование явно не рассчитывалось на большие перегрузки, характерные для полёта в условиях турбулентности. Можно вспомнить, например, что опытные В-58 легко совершали «бочки» (в феврале 1958 г. были выполнены подряд три полные фигуры при М=0,93 на. высоте 7620 м), но на серийных самолётах выполнение этих фигур запрещалось из опасения вызвать повреждения навигационно-бомбардировочной системы (считается, что катастрофа В-58 на авиационной выставке в Ле Бурже в 1961 г. произошла из-за нарушения этого запрета: лётчик не смог восстановить управляемость после выполнения «бочки»). Все эти трудности привели к тому, что возможность маловысотных операций на В-58 была признана ограниченной, а приспособление самолёта к маловысотному полёту — нецелесообразным.
САК не испытывало большой любви к «Хаслеру» и из-за значительных эксплуатационных трудностей. Строгость самолёта в пилотировании проявилась ещё во время испытаний, но если в первые два года серьёзных происшествий удалось избежать, то за полтора последующих (с декабря 1958 г. по июнь 1960 г.) произошло восемь катастроф, в которых погибли 11 человек и ещё несколько получили тяжёлые травмы, а к январю 1964 г. разбились ещё три машины. Во второй половине 1960-х годов аварийность несколько снизилась, но всё же оставалась достаточно «ощутимой». К моменту снятия В-58 с вооружения из 116 выпущенных «Хаслеров» 26(!) было безвозвратно потеряно в результате лётных происшествий. Ниже приведён список аварий и катастроф В-58.
16.12.1958 г. в 50 км от а/б Кэнон, штат Нью-Мексико, самолёт с б/н 58-1008 потерял управление из-за отказа автоматики при следовании на автопилоте. Пилот Р.Д.Смит погиб, бомбардир Дж. А.Грэйдел и оператор Д.Дж. Холланд спаслись.
14.05.1959 г. на а/б Карсуэлл, Техас, самолёт с б/н 58-1012 загорелся на стоянке из-за утечки топлива из баков. Погибло два человека наземного персонала.
16.09.1959 г. на а/б Карсуэлл у самолёта с б/н 58-1017 на взлёте разорвались пневматики на основной стойке шасси. Взлёт был прерван неудачно. Пилот К.К.Льюис выжил, бомбардир У.А.Эджкомб и оператор Л.Н.Барнет погибли.
В-58А борт 61-2058 из состава 305-го БАК проходит обслуживание на авиабазе Форбс (штат Канзас), сентябрь 1960 г. Самолёт оснащён стандартным подфюзеляжным контейнером TCP и четырьмя подкрыльевыми пилонами для термоядерных боеприпасов Мк.43.
27.10.1959 г. над окрестностями г. Геттисберг, штат Массачусеттс, потерял управление в ручном режиме пилотирования самолёт с б/н 55-669. Пилот Э.Л.Уилер и бомбардир М.Ф.Келлер спаслись, оператор Х.Н.Блоссер погиб.
07.11.1959 г. к северу от г. Лоутон, штат Оклахома, в ходе испытательного полёта был по невыясненной причине потерян самолёт с б/н 55-664. Пилот Р. Фитцжеральд и бортинженер Д.А.Сидофф погибли, третьего члена экипажа на борту не было.
22.04.1960 г. северо-западнее г. Огден, штат Юта, из-за отказа системы обработки данных о числе М и воздушной скорости потерял управление в ручном режиме полёта самолёт с б/н 58-1023. Пилот Р.Е.Тенхофф и бортинженер фирмы Конвэр У.Саймон погибли, инженер по испытаниям К.Дж. Симпсон выжил.
04.06.1960 г. юго-восточнее г. Лаббок, штат Техас, из-за сильной атмосферной турбулентности потерял управление самолёт с б/н 55-667, после чего экипаж покинул самолёт на сверхзвуковой скорости полёта. Пилот Дж. Л.Болдбридж и инженеры по лётным испытаниям Х.Д.Коулман и Ч.Т.Джонс погибли.
03.06.1961 г. во время показательного полёта на авиационной выставке в Ле Бурже, Франция, при попытке совершить «бочку» на малой высоте разбился самолёт с б/н 59-2451. Погиб весь экипаж: пилот Э.Е.Мерфи, бомбардир Ю.Ф.Мозес и оператор Д.Ф.Дикерсон.
27.12.1961 г. в окрестностях г. Коул Кэмп, штат Монтана, загорелся двигатель у самолёта с б/н 58-1020. Весь экипаж — пилот К.Л.Монтгомери, бомбардир Л.Н.Хьюз и оператор Дж. Н.Родди — спасся.
15.02.1962 г. к востоку от г. Лоутон, штат Оклахома, из-за отказа системы обработки данных о числе М и воздушной скорости потерял управление самолёт с б/н 59-2447. Весь экипаж — пилот Дж. С.Ирвин, бомбардир Дж. С.Фуллер и оператор Д.Дж. Эваллон — спасся.
05.03.1962 г. на а/б Карсуэлл во время взлёта самолёта с б/н 59-2459 произошла механическая поломка в системе управления. Весь экипаж — пилот Р.Е.Хартер, бомбардир Дж. Д.В.Джонс и оператор Дж. Т.МакКензи — погиб.
12.04.1962 г. после взлёта с а/б Банкер Хилл, штат Индиана, произошла поломка в системе управления самолёта с б/н 59-2462. Пилот У.Е.Хэйл и оператор Дж. П.О'Коннор спаслись, бомбардир Д.Д.Дики погиб.
14.09.1962 г. в окрестностях г. Батлервилл, штат Индиана, из-за отказа системы управления вышел на недопустимую перегрузку и разрушился в воздухе самолёт с б/н 61-2057. Весь экипаж — пилот Дж. Дж. Тревизани, бомбардир А.И.Фрид и оператор Р.П.Мур — погиб.
26.08.1963 г. на а/б Банкер Хилл в результате грубой посадки разрушился самолёт с б/н 61-2063. Пилот У.Е.Брандт спасся, бомбардир У.Л.Берри и оператор У.М.Бергдолл погибли.
08.12.1964 г. на а/б Банкер Хилл во время рулёжки взорвались пневматики основной стойки шасси на самолёте с б/н 60-1116. Пилот Л.Дж. Джонсон и оператор Р.Л.Холл спаслись, бомбардир М.Сервантес погиб.
20.05.1965 г. на а/б Литтл Рок, штат Арканзас, в результате грубой посадки разрушился самолёт с б/н 58-1016. Пилот Р.Л.Семанн и оператор Р.Т.Сметек спаслись, бомбардир С.Кихлер погиб.
15.06.1965 г. на авиационной выставке в Ле Бурже, Франция, в результате захода на посадку ниже глиссады разбился самолёт с б/н 59-2443. Пилот Ч.Д.Таббс погиб, бомбардир Х.М.Ковингтон и оператор В.С.Караба выжили.
22.07.1965 г. на а/б Банкер Хилл в результате неудачно выполненного «конвейера» выкатился за пределы полосы и разрушился самолёт с б/н 60-1128. Весь экипаж — пилот Дж. П.Нунан, бомбардир Л.Н.Арундел и оператор К.Лезербэрроу — спасся.
12.12.1966 г. в окрестностях г. МакКинни, штат Кентукки, столкнулся с землёй во время захода на маловысотное бомбометание самолёт с б/н 60-1119. Весь экипаж — Пилот Р.Ф.Блэйксли, бомбардир Ф.Е.Эккер и оператор К.Д.Лант — погиб.
23.02.1967 г., во время руления на а/б Литтл Рок произошло разрушение конструкции носовой части самолёта с б/н 59-2454. Самолёт был отремонтирован, экипаж — Пилот Б.А.Эллис, бомбардир Р.А.Хендриксон и оператор А.У.Ролл — не пострадал.
14.06. 1967 г. в окрестностях г. Даррозетт, штат Техас, под влиянием турбулентности произошло разрушение конструкции самолёта с б/н 61-2061. При покидании самолёта капсула бомбардира У.Р.Беннетта не сработала и он погиб. Пилот К.Р.Бризендайн и оператор Г.М.Сеччетт спаслись.