Удивительный новый искусственный интеллект от Google проливает свет на тьму и многое другое
27 августа 2022 г.Возможно, вскоре фотографы смогут эффективно "видеть в темноте" после того, как Google Research добавила в свои MultiNeRF проект.
Программа RawNeRF может считывать изображения, используя искусственный интеллект для повышения уровня детализации (и гораздо меньше неприглядных артефактов) на фотографии, сделанные в более темных условиях и при слабом освещении. По словам команды, стоящей за проектом, он работает лучше, чем любой другой инструмент шумоподавления.
«При оптимизации для множества зашумленных необработанных входных данных NeRF создает настолько точное представление сцены, что его визуализированные новые представления превосходят специализированные одно- и многокадровые глубокие необработанные шумоподавители, работающие на тех же широких базовых входных изображениях», < href="https://arxiv.org/abs/2111.13679" target="_blank">объяснение исследователей в статье Корнельского университета.
Что такое NeRF?
NeRF – это синтезатор представлений – инструмент, способный сканировать тысячи фотографий для воссоздания точных 3D-рендеринга.
По словам Бена Милденхолла, одного из исследователей проекта, NeRF лучше всего работает с хорошо освещенными фотографиями и низким уровнем шума. Другими словами, он создан для дневной съемки.
Съемка при слабом освещении и в ночное время оказалась проблематичной: детали скрывались в тенях или становились более шумными при увеличении яркости при постобработке. Проблема, которую Милденхолл и команда обнаружили, заключалась в том, что инструменты шумоподавления могут несколько уменьшить шум, но за счет качества изображения.
С появлением RawNeRF искусственный интеллект должен приглушать шум, не удаляя детали, что позволяет жучкам "видеть в темноте".
В видеодемонстрация, NeRF in the Dark, первоначально опубликовано в мае. 2022 год, и в то время он оставался практически незамеченным - Милденхолл берет сотовый телефон, освещенный только свечами. RawNeRF «способен комбинировать изображения, снятые с разных точек зрения камеры, для совместного устранения шума и реконструкции сцены», — объясняет исследователь Google.
Реконструированные изображения отображаются в линейном цветовом пространстве HDR, что позволяет пользователям дополнительно управлять углами, экспозицией, тональной компрессией и фокусировкой. В своем видео Милденхолл отмечает, как сочетание каждого из них «создает атмосферный эффект, который может привлечь внимание к различным областям сцены».
Хотя это все еще находится на стадии исследования и официально не поддерживается продуктом Google ( тем не менее), RawNeRF предлагает дразнящий взгляд на то, как искусственный интеллект может помочь креативщикам лучше отражать окружающий их мир.
- Вдохните новую жизнь в свои изображения с помощью лучшие фоторедакторы
Оригинал