Искусственный интеллект устраняет цифровой шум, глядя на фотографии с шумом

Что если бы вы могли автоматически устранять шумы и артефакты с фотографий, сделанных в условиях слабого освещения? Или вы хотите убрать зернистость и пикселизацию с изображений из своей фотогалереи? Новый метод, основанный на алгоритмах глубокого обучения, научился улучшать качество фотографий, просто глядя на примеры фотографий с дефектом.

Этот проект был выполнен исследователями из NVIDIA, Университета Аалто и Массачусетского технологического института (MIT) и представлен на Международной конференции по машинному обучению в Стокгольме (ICML, Швеция).

В предыдущих проектах в этой области нейросеть обучалась восстанавливать фотографии, определяя разницу между парными изображениями – с шумом и без. Новый метод отличается тем, что нейросети «скармливаются» только изображения с шумом или зерном.

Этой нейросети никогда не показывали, как выглядит чистое изображение, но она способна устранять артефакты, шум, зерно, и автоматически улучшать качество фотографий.

“ИИ можно научить восстанавливать сигналы, даже без сравнения их с чистыми аналогами, причем с бОльшей скоростью, чем в случае использования исключительно чистых образцов, - утверждают исследователи в своей работе. – Созданная нейросеть не уступает методам, в которых нейросеть учится на основе чистых образцов, — она использует тот же самый метод и не уступает ни по времени обучения, ни по результатам работы”.

Команда проекта обучила свою систему на 50 000 изображениях из набора ImageNet с помощью графических процессоров NVIDIA Tesla P100 с фреймворком глубокого обучения TensorFlow с ускорением cuDNN.

Чтобы протестировать систему, были выбраны три разных набора изображений.

Данный метод может использоваться не только для домашнего фотоархива, но и для улучшения МРТ-снимков, что должно значительно усовершенствовать качество визуализации в медицине.



“В обычной жизни есть ряд ситуаций, когда действительно сложно получить чистые образцы для обучения нейросети: фотографии в условиях низкой освещенности (например, астрономические снимки), физически корректный рендеринг и магнитнорезонансная визуализация, - объясняют разработчики. – Наши демонстрации позволяют потенциально получить весомые преимущества в данных областях, устраняя необходимость в зачастую трудоемком процессе получения чистых данных. Конечно, здесь есть свои ограничения. Мы не можем воссоздать объекты, которые отсутствуют в наборе для обучения. Но это ограничение относится в равной степени и к обучению на основе чистых изображений”.