Почему камеры с искусственным интеллектом меняют способ проектирования объективов

Долгое время разработка камеры следовала довольно простой логике:

Лучший сенсор → более высокое разрешение → лучшая камера.

Затем на сцену вышел ИИ.

Внезапно камера перестала просто фиксировать происходящее.

Ожидалось, что это поймут.

Камере видеонаблюдения может потребоваться отличить человека от транспортного средства. Роботу может потребоваться распознать препятствие. Дрону может потребоваться понимание окружающей среды при движении на высокой скорости.

И это создает проблему, которой не уделяется достаточно внимания:

ИИ может работать только с той визуальной информацией, которую дает ему камера.

Блестящий алгоритм не может восстановить детали, которые оптическая система не уловила.

Вот почему ИИ незаметно меняет способ проектирования объективов камер.

ИИ не избавит плохую оптику от исчезновения

Заманчиво думать, что более мощные модели искусственного интеллекта компенсируют посредственные камеры.

Иногда может помочь компьютерная фотография.

Снижение шума может улучшить изображение.

Заточка может сделать края более прочными.

Улучшения искусственного интеллекта могут реконструировать визуально правдоподобные детали.

Но есть разница между улучшением изображения и получением более реальной информации.

Если объект сильно размыт из-за плохого оптического разрешения, программное обеспечение не может достоверно воссоздать исходные мелкие детали.

Если ночное изображение почти не содержит полезного сигнала, алгоритм не может просто создать надежные визуальные доказательства.

Это особенно важно для приложений безопасности и промышленности, где изображение не просматривается для развлечения.

Его используют для принятия решений.

Производительность при слабом освещении становится требованием ИИ

Одной из самых больших проблем для камер с искусственным интеллектом является слабое освещение.

Люди часто могут принимать разумные суждения в темноте.

Системы компьютерного зрения менее снисходительны.

При уменьшении освещенности камеры обычно обращены к:

Повышенный шум датчика

Низкая контрастность

Размытие в движении

Потеря цветовой информации.

Уменьшенная четкость краев

Эти проблемы могут напрямую повлиять на обнаружение и классификацию ИИ.

Представьте себе человека, идущего ночью по парковке.

В яркой сцене ИИ может иметь четкую информацию о контуре человека, одежде, движениях и окружении.

В плохо освещенной сцене один и тот же человек может превратиться в шумный силуэт.

Алгоритм не стал вдруг глупым.

Введенные данные просто стало гораздо труднее интерпретировать.

Это одна из причин, по которой оптические конструкции с большой апертурой и слабым освещением становятся все более актуальными для систем машинного зрения с искусственным интеллектом.

Меньшие пиксели создают большие оптические требования

Современные сенсоры продолжают увеличивать плотность пикселей.

Это создает больше данных изображения, но также предъявляет более высокие требования к объективу.

Для пикселей меньшего размера может потребоваться оптическая система для разрешения более мелких пространственных деталей.

Если объектив не справляется с этой задачей, добавление пикселей приводит к уменьшению отдачи.

Это особенно важно для камер с искусственным интеллектом, поскольку система может зависеть от относительно небольших визуальных функций.

Человек может узнать объект по его общей форме.

Модель ИИ может опираться на тонкие узоры, края, текстуры или цветовые отношения.

Поэтому объектив должен обеспечивать достаточно чистое изображение, чтобы эти функции выдержали весь конвейер обработки изображений.

Это одна из причин, по которой оптический дизайн и выбор сенсора все чаще должны осуществляться вместе.

Широкоугольные объективы создают интересный компромисс для искусственного интеллекта

Камерам с искусственным интеллектом часто требуется широкое поле зрения.

Роботы должны понимать свое окружение.

Дронам нужна ситуационная осведомленность.

Камеры видеонаблюдения должны охватывать большие территории.

Так почему бы просто не сделать объектив шире?

Потому что широкоугольная оптика создает свои проблемы.

По мере увеличения поля зрения дизайнерам приходится:

Искажение

 Краевое разрешение

Относительная освещенность.

Хроматическая аберрация

Геометрия изображения

Очень широкоугольный объектив может захватить большую часть окружающей среды, но качество изображения по краям будет хуже.

Для человеческого просмотра это может быть приемлемо.

Для ИИ все может стать сложнее.

Если объекты вблизи края изображения сильно искажены или размыты, алгоритму предлагается интерпретировать визуальную информацию, которая уже ухудшена.

Это создает фундаментальный компромисс в дизайне:

Больше поля зрения и больше полезных деталей.

Правильный ответ зависит от приложения.

Робототехника: линзы становятся частью системы восприятия

Появление воплощенного ИИ еще больше продвигает эту проблему.

Робот не может позволить себе роскошь спрашивать:

«Кто-нибудь может включить свет?»

Он должен действовать в той среде, которая ему дана.

Эта среда может содержать:

Тени

Неравномерное освещение.

Отражающие поверхности.

Узкие места

Перемещение людей

Объекты на разном расстоянии.

Таким образом, камера является частью системы восприятия робота.

Для роботизированного зрения при проектировании линз необходимо учитывать:

 Поле зрения

Искажение

Производительность при слабом освещении

Разрешение

Требования к восприятию глубины

Размер и вес.

Объектив, создающий красивое лабораторное изображение, не обязательно подойдет для движущегося робота.

Реальная надежность важнее, чем идеальная демонстрация.

БПЛА и дронам нужен другой оптический баланс

Дроны создают еще одну интересную задачу.

Для камеры дрона может потребоваться:

Широкое поле зрения + малый вес + хорошее разрешение + возможность работы в условиях низкой освещенности.

Это сложная комбинация.

Широкое поле зрения помогает дрону лучше понимать окружающую среду.

Малый вес способствует эффективности полета.

Хорошее разрешение помогает идентифицировать объекты.

Производительность при слабом освещении становится важной на рассвете, в сумерках, при полете в помещении или в сложных погодных условиях.

К системам FPV добавляется еще одно требование:

Изображение должно быть мгновенным.

Размытие изображения, плохая экспозиция или чрезмерное искажение изображения могут негативно повлиять на зрительное восприятие пилота.

Вот почему дизайн объектива для дронов все чаще становится проблемой оптимизации, а не просто выбором фокусного расстояния.

Наблюдение с помощью искусственного интеллекта переходит от обнаружения к пониманию

Камеры видеонаблюдения представляют собой один из самых ярких примеров этого перехода.

Традиционное наблюдение спросило:

«Что-то сдвинулось?»

Современное наблюдение с использованием искусственного интеллекта требует:

Кто переехал?

Что это за машина?

 В каком направлении он движется?

Какой предмет несут?

Поведение необычное?

Что произошло до и после события?

Чем более продвинутой становится аналитика, тем более ценным становится исходное изображение.

Вот почему полноцветные изображения при слабом освещении привлекают внимание.

Цвет может предоставить полезную информацию для:

Классификация транспортных средств

Идентификация одежды.

Распознавание объектов

Понимание сцены

Инфракрасное излучение остается чрезвычайно полезным в очень темных условиях, но когда доступен видимый окружающий свет, оптическая система с большой апертурой может помочь сохранить информацию, которая в противном случае исчезла бы, когда камера переключится на монохромный режим ночного видения.

Объектив становится компонентом качества данных

Это, пожалуй, самое большое изменение, которое ИИ привносит в оптическую технику.

Исторически сложилось так, что линзы часто рассматривались как компоненты изображения.

Теперь их следует все чаще рассматривать как компоненты качества данных.

Камера фиксирует данные.

Объектив определяет, сколько полезной оптической информации попадает на сенсор.

Датчик преобразует эту информацию в электрические сигналы.

Интернет-провайдер обрабатывает его.

Модель ИИ интерпретирует это.

Если первый этап слабый, на каждом последующем этапе приходится работать усерднее.

Это не всегда хорошая стратегия.

Обычно лучше сначала получить более качественную информацию, чем тратить огромные вычислительные ресурсы, пытаясь потом ее восстановить.

Что это значит для дизайна линз?

Будущие объективы для камер с искусственным интеллектом, вероятно, будут все больше разрабатываться с учетом требований приложений, а не отдельных спецификаций.

Инженерам, возможно, придется учитывать:

Оптическая конструкция, специфичная для датчика

Вместо того, чтобы просто поддерживать формат сенсора, объективы должны соответствовать реальным характеристикам сенсора.

Улучшенная производительность при слабом освещении

Системы искусственного интеллекта нуждаются в полезной визуальной информации даже при ограниченном освещении.

Более стабильная производительность

Широкоугольным системам нужна полезная информация по всему изображению, а не только в центре.

Контролируемыйискажение

Некоторые приложения могут допускать искажения. Другие не могут.

Термическая стабильность

Роботы, транспортные средства, дроны и уличные камеры могут работать в широком диапазоне температур.

Оптимизация для конкретного приложения

Идеальная защитная линза не обязательно является идеальной линзой для робототехники.

Будущее принадлежит оптическим системам, созданным специально для той работы, которую они должны выполнять.

Чему мы учимся в Боши Оптика

ВБоши ОптикаМы работаем в сфере видеонаблюдения, автомобильной визуализации, медицинской визуализации, интеллектуальных устройств и других оптических приложений. Этот диапазон применений делает одну вещь особенно очевидной:

Универсального определения «хорошего объектива» не существует.

Широкоугольный объектив может отлично подходить для одной камеры и совершенно не подходить для другой.

Линза высокого разрешения может быть ненужной для недорогой системы мониторинга, но необходима для машинного зрения.

Объектив с большой апертурой может иметь решающее значение для ночного наблюдения, но менее важен в контролируемой промышленной среде.

Этот подход, ориентированный на приложения, становится все более важным, поскольку камеры становятся частью систем искусственного интеллекта.

Объектив должен быть спроектирован с учетом информации, которую должен получить ИИ, а не просто исходя из характеристик, которые впечатляюще выглядят в описании продукта.

Будущее: от «ясного видения» к «видению с пользой»

ИИ меняет назначение камер.

Камера больше не существует просто для создания привлекательного изображения.

Он существует для предоставления информации.

Это меняет оптические приоритеты.

Вопрос уже не просто в следующем:

«Насколько резкий этот объектив?»

Это становится:

«Предоставляет ли этот объектив надежную визуальную информацию для реальной задачи системы?»

В целях безопасности это может означать сохранение внешнего вида человека в ночное время.

Для робототехники это может означать сохранение распознавания объектов в широком поле зрения.

Для дронов это может означать баланс между широкоугольным восприятием и производительностью при слабом освещении.

Для промышленного видения это может означать последовательное устранение мелких дефектов.

Революция искусственного интеллекта может быть вызвана алгоритмами, но алгоритмам все равно нужно на что-то обращать внимание.

И именно поэтому будущее ИИ-видения также будет определяться оптикой.