Объемное компьютерное зрение
Компьютерное зрение (иначе техническое зрение) — теория и технология создания машин, которые могут производить обнаружение, отслеживание и классификацию объектов.
Нами эта задача решена путем построения объемной модели (голограммы) по исходному изображению (патент РФ 2 607 977). Дальнейшие вычисления происходят только с объемной моделью, минуя исходный снимок.
Для начала предлагаем ознакомиться с существующими разработками по этой теме:
На третьем слайде представлена карта глубин - области разных оттенков – обозначают объекты (препятствия) сгруппированные по степени их удаления от зрителя.
А так «видит» дорожную ситуацию современный автомобильный лидар.
А теперь представляю вам результаты работы программы «Сканер пространства» - нашего решения проблемы объемного искусственного зрения:
Исходный снимок
Для удобства демонстрации трехмерной сцены на плоском экране, модель разбита на слои (срезы пространства), где объекты окрашены в разные цвета в зависимости от степени их удаленности от наблюдателя. На представленной модели слоев значительно больше, и детализация выше, чем на примерах, приведенных выше. Опытным путем установлено, что оптимальное количество слоев: 100. Их количество может быть изменено программным способом в рамках одной 3D модели. На данный момент количество слоев доведено до тысячи.
Здесь показаны несколько срезов пространства, выделенных белым цветом. Обращаю Ваше внимание, что данное ПО может различать не только обобщенные очертания, но и отдельные объекты (ветви) размерами до 1 сантиметра на расстоянии до 10 метров от зрителя (в данной конфигурации, с использованием обычной камеры на 15 МП). При улучшении разрешающей способности используемой камеры этот показатель будет расти.
Использование слоев дает следующие преимущества:
Легкость разделения объекта и фона в ситуациях когда объект сливается с фоном по цвету, решение задач целеудержания.
Возможность работы только в заданном диапазоне, игнорирование объектов, которые по причине удаленности или чрезмерной приближенности не представляют интереса.
Сканер пространства позволяет различать объекты сквозь незначительные препятствия. Здесь представлено исходное фото и модуляция объектов, скрытых от зрителя кроной дерева.
Следующие изображения так же не являются фотографиями. Это все та же объемная модель с программным наведением на резкость (фокусом) в области заданного слоя; 10 сантиметров, 1 метр, 5 метров и бесконечность.
Для наглядности ниже приведена еще одна 3D сцена.
На данный момент минимальное расстояние восприятия объектов объемным компьютерным зрением от десяти сантиметров, максимальное – до двух километров (объекты, расположенные дальше представлены как бесконечно удаленные).
Построение модели возможно в реальном времени (зависит от вычислительных мощностей и требуемого качества). Соответственно, сканер пространства может быть использован, как текущее зрение с задержкой на обработку данных в 1 сотую долю секунды
Задача решена не только для оптического диапазона. В качестве средства получения данных подходит как обычная камера, так и радар, эхолот, сонар или геолокатор. Как пример приводим графическую трехмерную интерполяцию подземных месторождений нефти. Плоскостями обозначены контакты различных сред. Глубина залегания слоев в данном случае – 4 километра. Для большей наглядности рельефа, слои растянуты в вертикальной плоскости.
Данная разработка открывает следующие возможности:
Объемное картографирование местности в течении полета с точностью до 10 сантиметров.
Снижение аварийности за счет более точной оценки качества дорожного покрытия для беспилотных автомобилей. В данный момент бортовые системы воспринимают дорожное покрытие как плоскость, сканер пространства позволяет различать на его поверхности любые незначительные препятствия и неровности.
Снижение аварийности при посадке БПЛА за счет объемной оценки поверхности посадочных полос.
Решение проблемы ориентации в пространстве беспилотных автомобилей и БПЛА.
При использовании совместно с системой автономного принятия решений (отдельный программный продукт «искусственная интуиция»):
Реагирование на ситуацию.
Избегание препятствий, оценка и предотвращение аварийной ситуации, построение и выбор оптимального маршрута
Так же возможно создание автопилота на базе объемного зрения (для этого необходим доступ к данным с датчиков беспилотного средства, а так же доступ к системам управления, возможность взаимодействия с бортовыми системами и считывание сигналов «умной» инфраструктуры).