Метод корреляционного вычисления параллакса и камуфляж
06.08.2009
Известно, что при обнаружении скрытых либо камуфлированных объектов на местности бывает полезным анализ стереоизображений, т.е. в первую очередь, оценка дальности до объектов. Однако, в том случае, когда объекты не идентифицируются визуально, оператор не обращает на них внимания и оценка дальности с помощью естественного параллакса зрительного анализатора не проводится. Этот эффект обусловлен конструкцией компандера (сетчатка - зрительный нерв - зрительный анализатор).
Рис 1. Примеры эффективного камуфляжа. В обоих случаях для опознания объектов было бы полезно получить данные о расстоянии до них относительно подстилающей местности. Использованы изображения с сайтов www.kulturologia.ru, www.hyperstealth.com.
Очевидно также, что идеальным камуфляжем будет псевдошумовая фактура на псевдошумовом фоне при равных размерах пикселов и коэффициенте их яркости/цветности. Действительно, при близкой к нулю марковости шумоподобных сигналов, требования к пропускной способности компандера возрастают до шенноновских величин. Несомненно, что оператор такие сигналы визуально разрешать не может.
Эксперименты с псевдошумовыми изображениями проводились советским исследователем восприятия Б.Н. Компанейским еще в конце 1930-х годов и американским ученым Julesz.
Рис. 2. показан пример созданных Юлезом случайно-точечных стереограмм. Для создания стереограмм использовалась матрица размером 100x100, ячейки которой случайно заполнялись с вероятностью 50%. Обе стереограммы идентичны за исключением небольшого центрального участка квадратной формы, который несколько смещен в сторону в одной из них. Из-за бесконтурности изображений и совпадения статистических характеристик текстур увидеть этот диспаратный участок при обычном рассматривании стереограмм практически невозможно. Однако если они предъявляются с помощью стереоскопа, независимо левому и правому глазу, можно увидеть участок квадратной формы, выступающий из окружающего фона.
Рис. 3. Пример случайно-точечных стереограмм из работ Юлеза и схематическое пояснение способа их построения.
Считается, что восприятие объектов или, по крайней мере, контуров в монокулярных полях зрения является предпосылкой бинокулярного восприятия пространства. В случайно-точечных стереограммах порядок событий оказывается прямо противоположным (NB!) — пространственная локализация служит предпосылкой идентификации объектов.
Проведем эксперимент с обнаружением параллакса на псевдошумовых изображениях (Рис.4.). Параллакс присутствует, что видно по смещению центральной линии. Автоматический анализ будет проведен по колонке 32-48-й пиксел, т.е. по 16-ти точкам в строке. Как видно из результатов анализа в окне «detection» параллакс не только обнаруживается, но и четко фиксируется его дискретность.
Рис. 4. Автоматическое обнаружение параллаксов в псевдошумовых изображениях, т.е. при идеальном камуфляже.
Т.е. в данном случае не просто измеряются параллаксы и вычисляются расстояние до объектов. Проводится корреляционный анализ стереоизображения следующим образом: для каждой строки совмещенных изображений (32-48-й пиксел) вычисляется коэффициент взаимной корреляции по формуле Пирсона.
При этом максимум корреляции позволяет определить параллакс (в виде величины смещения строк изображений по оси Х). Величина смещения при корреляции может быть много меньше одного пиксела.
Пояснение: При величине смещения, равной элементу матрицы, мы получим грубость оценки, определяемую дискретностью данных в матрице (хотя и подавим в корень квадратный из количества сравниваемых пикселов флюктуации, обусловленные стохастическими процессами, погрешностями сканирования и дискретизации).
Если же мы переходим к передискретизации, т.е. "растягиваем" матрицу при заполнении вновь образовавшихся элементов линейно аппроксимированными данными соседей, то при сохранении величины сдвига корреляции разрешение будет расти пропорционально передискретизационному коэффициенту. Граница повышения разрешения будет определяться соотношением сигнал/шум изображения и количеством исходных элементов. Кроме того, снижение разрешения по азимуту будет повышать разрешение по параллаксу.
Т.о. метод даст возможность вычислять дальности при малом параллаксе весьма точно. Но главное не это. Важнейшим будет нахождение частных экстремумов корреляционной функции. Т.е. если, например, камуфлированное здание будет присутствовать на середине расстояния до горизонта, то график смещений изображения по оси Х раздвоится - одна линия пойдет асимптотически до нуля, как и следует при удалении от наблюдателя, а вторая будет стоять пока "высота взгляда" не уйдет выше крыши здания. В результате удастся получить не только график смещения строки изображения в зависимости от дальности, но и получить профиль местности, а также обнаружить все не распознаваемые никакими прочими методами анализа объекты в пространстве от наблюдателя до горизонта (и указать дальность до них, азимут и угол места их границ).
Оценим применимость предлагаемого метода для анализа синтезированных стереоизображений.
Пусть есть объект в виде прямоугольной призмы высотой 2.8м, находящийся в 100м от наблюдателя на всхолмленной равнине с расстоянием до гребня ближайшего холма 500м. Съемка производится с параллаксом 1м. (Рис.5).
Рис.5. Корреляционное вычисление параллакса для обнаружения объекта. Стрелками указан соответствующий участок кривой.
Очевидно, что в данном случае нет нужды прибегать к анализу стереоизображений т.к. объект прекрасно обнаруживается визуально. Однако для случая камуфляжа того же объекта, визуальное распознавание и даже обнаружение его будет затруднено чрезвычайно, что иллюстрируется Рис.6.
Рис.6. Прямоугольная призма камуфлирована на местности. Обнаружение и распознавание объекта затруднено.
Тем не менее, методом анализа стереоизображений объект обнаруживается (Рис.7).
Рис.7. Камуфлированный объект обнаруживается так же эффективно, как и контрастный по цвету.
Сравним кривые, вычисленные корреляционным способом для визуально наблюдаемого и камуфлированного объектов.
Рис.8.Отсутствие разницы в выходном сигнале коррелятора, несмотря на камуфляж, примененный для одной пары из стереоизображений.
Разумеется, что оценка реальных изображений значительно сложнее, чем пейзажей, синтезированных средствами трехмерной графики. На рис.9 представлены совмещенные по фарам грузовика снимки с параллаксом около 50 см (съемка «с руки»)
Рис.9. Достаточно сложная для анализа кривая. Тем не менее, хорошо определяются параллаксы характерных фрагментов изображения: радиатора, капота, ветрового стекла, расположенного сзади ствола дерева и даже нависающей кроны дерева.
Применим предлагаемый метод для обнаружения реальных камуфлированных объектов. На Рис. 10 представлены снимки термосной упаковки без камуфляжа и с ним. Съемка производилась «с руки» при параллаксе около 15 см. Совмещение изображений выполнено по объекту. Следует заметить, что для данного метода не существенна точка совмещения изображений: оптические оси объективов могут быть параллельны или совмещены на объекте, находящемся в середине глубины изображения.
Рис.10. Открыто расположенный и камуфлированный объекты одинаково эффективно обнаруживаются по характерному признаку: плоской вертикальной передней поверхности.
Разумеется, во всем изложенном нет никакой новизны для специалистов в области разработки систем автоматического зрения. Но в качестве дополнения к визуальной оценке изображений, т.е. варианте полуавтомата, данный метод может оказать существенную помощь оператору.
Если представить себе цифровую приставку к биноклю, которая автоматически рассчитывает корреляции и строит линии параллаксов для всех фрагментов изображения (т.е. позволяет определять дальность, азимут и угол места объекта), то можно ожидать получения следующих полезных дополнительных функций:
- Автоматическое обнаружения движения (при анализе последовательных кадров);
- Обнаружение плоских камуфлированных поверхностей, стен, плоскостей и т.п. (актуально для объектов типа бронетехники и зданий)
- Обнаружение камуфлированных объектов, силуэт которых приподнят над подстилающей поверхностью.
- Обнаружение разрывов параллакса, т.е. ям, низин, промоин, оврагов.
- Построение профиля местности по параллаксу.
- Обнаружение в пассивном режиме зеркал, линз, рефлекторов и т.п. объектов, обеспечивающих короткие разрывы кривой параллакса (по выбросам производной)
- Построение (в перспективе) трехмерной синтезированной картины (пассивный трехмерный сканер).
Разумеется, для выполнения указанных функций в реальном времени, вычислительная мощность предлагаемого устройства должна быть достаточно высокой, а алгоритмы работы оптимизированы по скорости. Но в случае успеха работы, отказаться от подобного бинокля потенциальному пользователю будет трудно.
Также небезынтересным может оказаться применение предлагаемого метода для вскрытия фальсификаций изображений, в частности, - панорам, где задний план выполнен в виде плоского или сферического экрана.
Действительно, любая панорама, имеющая плоский задний план и небесконечный радиус, должна дать резкий перегиб кривой параллакса и выход ее в вертикальную прямую, а для случая сферического экрана – кривую с отклонением назад. Можно попробовать применить указанный метод для анализа лунных изображений НАСА в рамках распространившегося в последние годы в Интернете спора «летали или не летали», называемого в просторечии «луносрачем».
Наиболее проработанное предположение о конструкции необходимой для съемок панорамы изложено в обсуждении http://ligaspace.my1.ru/news/2008-1-30-29-0-3 . Приводимый авторами рисунок позволяет методами трехмерного моделирования воспроизвести данную панораму и проанализировать ее предлагаемым в данной статье методом.
Рис. 11. Предполагаемая авторами рисунка схема фальсификации лунных снимков НАСА
Проверим данную гипотезу: возьмем изображения http://history.nasa.gov/alsj/a15/AS15-82-11124.jpg, http://history.nasa.gov/alsj/a15/AS15-82-11123.jpg, проанализируем методом корреляционного вычисления параллаксов и получим кривую, описывающую характерные особенности данных изображений.
Следует учитывать, что фотографии, полученные фотоаппаратом «Хассельблад» (примененным в лунной миссии) представляют изображение в перспективной проекции, потому совмещение по двум точкам или по максимуму корреляции заднего плана будет приводить к мнимым дисторсиям.
Для того чтобы не допустить возникновения мнимых дисторсий, следует переводить изображения в равноугольную проекцию с учетом фокусного расстояния объектива и размеров кадра пленки. Выполнить это можно с помощью специального программного обеспечения (например, PTGui).
В качестве забавного казуса можно привести анимацию совмещенных снимков НАСА № 15-87-11849 и 15-87-11850.
Рис. 12 (слева). Неверное совмещение без учета перспективных искажений.
Рис. 13 (справа). Правильное совмещение с переводом изображений в равноугольную проекцию.
Рис. 13 (справа). Правильное совмещение с переводом изображений в равноугольную проекцию.
Рис 14 и 15. Взятые для анализа изображения НАСА 15-82-11123 и 15-82-11124.
На приведенных фотографиях отсутствуют глубокие выемки, высота поверхности плавно увеличивается с возрастанием дальности от точки съемки потому кривая, описывающая текущий параллакс, не должна иметь разрывов. Этот рельеф противоречит конструкции панорамы, представленной на Рис.16.
Рис. 16 Реконструкция панорамы, предназначенной для фальсификации лунных изображений.
Очевидно, что при исследовании параллаксов предлагаемым способом, кривая будет скачком превращаться в вертикальную линию по достижении границы платформы. Проанализируем представленные лунные фотографии и проверим, произойдет ли предсказанное изменение кривой.
Рис.17. Кривая ведет себя так, как и следует из рельефа изображенной поверхности.
Для более детального изучения кривой представим фрагмент изображения и масштабированную и фильтрованную кривую на Рис.18.
Рис. 18. Детальное исследование соответствия рельефа местности полученной кривой, описывающей параллаксы, вычисленные корреляционным способом.
В результате проверки гипотезы о съемках кадров лунных миссий с помощью искусственно созданной панорамы можно сделать следующие заключения:
- Гипотеза о съемке всех лунных кадров в искусственной панораме неверна, т.к. по меньшей мере, данные снимки выполнены на местности, профиль которой соответствует изображению.
- Исследование подобным способом других снимков, на которых встречаются объекты, удаленные на десятки километров, невозможно вследствие широкоугольной оптики, погрешностей дискретизации и jpeg-сжатия. Добавим, что никакое исследование параллаксов для подобных снимков не может быть плодотворным. Как ни банально это звучит, но оптика должна соответствовать поставленной задаче.
- Полученные результаты ни в какой мере не означают, что исследованные фотографии получены именно на Луне (хотя и трудно представить себе масштаб и стоимость требуемого для них полигона, а особенно – искусственного осветителя соответствующей мощности).
- Предлагаемый метод корреляционного вычисления параллаксов может быть применен для анализа фальсификаций фотографической продукции.
Приложение 1: parallax_algorithm.zip - алгоритм вычисления параллакса корреляционным методом и его реализация для псевдошумовых изображений(см. Рис. 4) на языке Borland C 3.11.
Категории:
- Войдите, чтобы оставлять комментарии
|
|
|
Комментарии
Лысый
30.01.2011 - 19:24
Постоянная ссылка (Permalink)
как художник художнику вежливо поправлю, что в биологических системах отождествление точек предшествует распознаванию.
Честное благородное слово. За свои слова готов нести ответственность по всей строгости.
Александр
31.01.2011 - 12:09
Постоянная ссылка (Permalink)
Да мы, вроде бы, и не утверждали обратного... В радиотехнических системах, например, обнаружение цели также предшествует ее распознаванию.
Не могли бы Вы несколько более подробно изложить свои замечания?