Может ли программное обеспечение исправить неисправный объектив камеры

Современные камеры могут делать впечатляющие вещи.

Снижение шума может сделать темное изображение чище. Алгоритмы искусственного интеллекта могут обострять края. Программное обеспечение может корректировать искажения, корректировать цвет и даже создавать недостающие детали.

Поэтому, естественно, кто-то в конце концов спрашивает:

Если программное обеспечение становится настолько хорошим, нужен ли нам дорогой объектив для камеры?

Короткий ответ:

Да. Очень даже.

Программное обеспечение способно улучшить посредственное изображение.

Он не может надежно превратить плохую оптическую информацию в хорошую оптическую информацию.

И это различие важно как никогда, поскольку камеры используются для распознавания ИИ, робототехники, наблюдения, автомобильной визуализации и машинного зрения.

Программное обеспечение очень хорошо помогает навести порядок

Давайте сначала отдадим должное программному обеспечению.

Современная обработка изображений может многое.

Если изображение содержит шум, алгоритмы могут его уменьшить.

Если искажение объектива предсказуемо, программное обеспечение может исправить геометрию.

Если изображение имеет слегка слабый контраст, повышение резкости и локальное усиление контраста могут улучшить его вид.

Обработка цвета также может компенсировать определенные характеристики системы обработки изображений.

Это невероятно полезно.

На самом деле, современные камеры были бы намного хуже без компьютерной обработки изображений.

Но есть важное ограничение:

Программное обеспечение может обрабатывать информацию. Он не может полностью восстановить информацию, которую оптическая система никогда не фиксировала.

Вот здесь и приходит на помощь линза.

Вы не можете отточить то, что никогда не было решено

Представьте себе, что вы фотографируете номерной знак на расстоянии.

Сенсор имеет достаточное количество пикселей.

Камера экспонирована правильно.

Но объектив не может четко различить мелкие символы.

Персонажи попадают на датчик в виде размытых фигур.

Теперь примените резкость.

Края могут выглядеть более прочными.

Примените улучшение ИИ.

Результат может выглядеть еще более убедительным.

Но есть проблема.

Исходные мелкие детали никогда не были должным образом записаны.

Программное обеспечение оценивает, как могли бы выглядеть детали.

Для случайной фотографии это вполне приемлемо.

Для таких приложений, как распознавание номерных знаков, распознавание лиц, промышленный контроль или машинное зрение, «выглядит правдоподобно» и «содержит достоверную информацию» — не обязательно одно и то же.

Эта разница важна.

MTF – это место, где спор становится серьезным

Это одна из причин, по которой инженеры-оптики обращают внимание наMTF (функция передачи модуляции).

MTF описывает, насколько эффективно объектив сохраняет контраст на разных уровнях детализации.

Линза с плохими характеристиками на высоких частотах может с трудом воспроизводить очень тонкие структуры.

Никакая постобработка не сможет волшебным образом заставить этот объектив вести себя как принципиально лучшая оптическая система.

Программное обеспечение может увеличить видимую резкость.

Он не может изменить физическую разрешающую способность объектива.

Вот почему камера с 8-мегапиксельной матрицей все равно может выдавать неудовлетворительные детали, если оптическая система не способна использовать преимущества этих пикселей.

У вас может быть восемь миллионов пикселей.

Вы не можете заставить размытую линзу передать восемь миллионов полезных деталей.

А как насчет улучшения изображения с помощью ИИ?

Здесь все становится особенно интересно.

Улучшение изображений с помощью искусственного интеллекта иногда может дать удивительно убедительные результаты.

Но есть тонкое различие между:

восстановление информации

и

генерирование вероятного результата.

ИИ может выводить закономерности на основе того, что он узнал.

Это может сделать изображение значительно лучше для зрителя.

Но если камера используется для принятия объективного решения, инженерам следует быть осторожными.

Например, если система искусственного интеллекта идентифицирует транспортное средство, читает текст или проверяет производственный дефект, искусственно созданные детали не всегда могут отражать то, что на самом деле присутствовало на сцене.

Другими словами:

Красивое изображение не обязательно является надежным.

Об этом отличии стоит помнить при разработке систем машинного зрения на базе искусственного интеллекта.

Есть некоторые проблемы, которые программное обеспечение просто не может устранить

Рассмотрим несколько распространенных оптических проблем.

Плохое разрешение

Если объектив не может разрешить мелкие детали, программное обеспечение имеет ограниченную реальную информацию для работы.

Недостаточный свет

Медленный объектив в темноте может привести к тому, что датчик будет работать с высоким коэффициентом усиления, создавая шум и снижая полезную детализацию.

Программное обеспечение может уменьшить шум, но агрессивное шумоподавление также может удалить важную информацию.

СерьезныйХроматическийАберрация

Программное обеспечение может исправить некоторую предсказуемую цветовую окантовку, но серьезные оптические аберрации по-прежнему означают, что исходное качество изображения будет нарушено.

Плохая краевая производительность

Если углы широкоугольного изображения сильно размыты, цифровая резкость может сделать их более контрастными, не восстанавливая недостающие детали.

Вспышка и ореолы

Сильные отражения внутри оптической системы могут испортить изображение. Как только нежелательный свет смешивается с захваченным сигналом, возможности программного обеспечения очень ограничены в его идеальном разделении.

Вот почему оптический дизайн по-прежнему важен.

Лучшая камера использует как оптику, так и программное обеспечение

Настоящий ответ не таков:

Оптика против программного обеспечения.

Это:

Оптика+программное обеспечение.

Хорошо спроектированная камера является хорошей отправной точкой для программного обеспечения.

Объектив обеспечивает:

Достаточное разрешение

 Адекватная светопроницаемость

Контролируемые искажения

Хороший контраст

Стабильная производительность

Соответствующее соответствие датчика

Затем обработка изображений может взять на себя эту прочную оптическую основу и сделать окончательное изображение еще лучше.

Это гораздо эффективнее, чем просить программное обеспечение спасти фундаментально слабую оптическую систему.

Думайте об этом как о приготовлении пищи.

Программное обеспечение — это приправа.

Хороший алгоритм может сделать хорошее изображение лучше.

Но если ингредиенты уже подгорели, добавление приправ, вероятно, не является решением.

Это имеет еще большее значение для камер с искусственным интеллектом

Для традиционной фотографии слегка неидеальное изображение может быть просто непривлекательным.

Для видения ИИ последствия могут быть более серьезными.

Алгоритмы искусственного интеллекта зависят от визуальных функций, таких как:

 Края

Формы

Текстуры

Контраст

Цвет

Границы объектов

Если оптическая система уничтожает эти элементы до того, как они достигнут датчика, система искусственного интеллекта получает более плохие входные данные.

Это может повлиять на производительность обнаружения и распознавания.

Вот почему оптический дизайн все чаще следует рассматривать как часть системы искусственного интеллекта, а не просто как компонент, прикрепленный к передней части камеры.

Итак, может ли программное обеспечение исправить плохой объектив?

Это зависит от того, что вы подразумеваете под «исправить».

Программное обеспечение может корректировать определенные предсказуемые оптические характеристики.

Это может улучшить контраст.

Это может уменьшить шум.

Он может повысить резкость изображений.

Он может исправить искажения.

Но программное обеспечение не может полностью заменить:

Хорошее оптическое разрешение.

Хорошая светопроницаемость.

Хорошее оптическое выравнивание.

Хороший контроль аберраций.

Лучший в мире алгоритм обработки изображений по-прежнему нуждается в фотонах.

И эти фотоны сначала должны пройти через линзу.

В Boshi Optics мы подходим к разработке объективов для фотоаппаратов с этой отправной точки: оптическая система должна предоставлять полезную информацию до того, как программное обеспечение начнет ее обрабатывать. Обладая возможностями оптического проектирования, производства, сборки и оптических испытаний, Boshi Optics разрабатывает линзы для таких приложений, как камеры видеонаблюдения, машинное зрение, автомобильная визуализация, дроны, медицинская визуализация и другие системы камер.

Потому что, в конце концов, программное обеспечение может улучшить изображение.

Но объектив решает, какая информация попадет туда в первую очередь.