Cимфония северного сияния на базе искусственного интеллекта

После выхода на рынок флагманского смартфона HUAWEI Mate 20 Pro, компания HUAWEI совместно с международной творческой командой взяли на себя задачу продемонстрировать широту возможностей мобильного искусственного интеллекта и передать звучание северного сияния. Объединяя технологии и искусство, этот проект трансформирует удивительное природное явление в совершенно новую форму музыкального искусства.

«Симфония света» («Sound of Light») — международный проект, целью которого была проверка возможности обучения искусственного интеллекта созданию звуковых фрагментов на основе визуального ряда. Команда художников поставила перед собой задачу запечатлеть норвежское северное сияние, научить специально созданный для смартфона HUAWEI Mate 20 Pro интеллектуальный алгоритм распознавать ключевые особенности этого светового явления и превращать их в музыкальные фрагменты. Эти фрагменты впоследствии были использованы при написании симфонии. Финальной целью творческого коллектива было создание мультисенсорного произведения, сочетающего в себе инновационные достижения в сфере искусственного интеллекта с классической оркестровой музыкой.

От первых кадров до финального оркестра

Неподалёку от норвежского города Тромсе, охотник за северным сиянием Кетил Скольи запечатлел на камеру это атмосферное явление. Отснятые видеоролики были отправлены в звуковую лабораторию, где обладатель многочисленных наград, композитор Марк Сайфритц (Mark Sayfritz) работал со специально созданной для HUAWEI Mate 20 Pro системой искусственного интеллекта и написал «симфонию северного сияния».



Когда все музыкальные фрагменты были составлены, один из лучших аранжировщиков и дирижёров мира, Джеймс Ширман (James Shearman) превратил их в оркестровую композицию «Симфония света», которая была исполнена в знаменитом Брамсовском зале в Вене.

Роль HUAWEI Mate 20 Pro в создании симфонии

Чтобы написать «Симфонию света» требовалось мощное вычислительное устройство. Смартфон HUAWEI Mate 20 Pro стал подходящим инструментом для этого проекта. Многие из его функций оказались незаменимы для эффективной работы системы искусственного интеллекта иреализации проекта. .

Перед инженерами была поставлена задача создания уникальной интеллектуальной системы, способной обучиться распознаванию и анализу различных характеристик видеоряда. Затем искусственный интеллект научили сопоставлять музыкальные фрагменты и детали видеозаписи северного сияния.

Композитор Марк Сайфритц отметил: «Внедрение искусственного интеллекта в мою музыку открывает целый ряд новых творческих возможностей. Теперь я могу загрузить в систему видеозапись северного сияния, и она проанализирует целый набор характеристик, таких как: цвет, размер, форма и скорость изменения. Затем система сгенерирует на основе этих данных вариации из моих музыкальных фрагментов. Например, если система распознает особенно драматические моменты светового шоу, она создаст звуки, которые отражают эти эмоции в музыкальной композиции. Я смогу использовать эти музыкальные фрагменты в своем произведении».

Обычно для создания музыкальных фрагментов, пригодных для живого исполнения, требуются мощные компьютеры. Однако благодаря специально разработанной интеллектуальной системе, команда смогла превратить в такой компьютер смартфон HUAWEI Mate 20 Pro. Во время живого исполнения конвертированные данные поступали прямо со смартфона на электронные инструменты, которые отвечали за музыкальные акценты в шоу.



«Искусственный интеллект уже долгое время является приоритетным направлением исследований HUAWEI. Как и многие другие инновационные технологии, он позволяет преодолеть ограничения, чтобы добиться результатов, которые ранее считались недостижимыми. Проект «Симфония света» очень точно иллюстрирует эту идею», — прокомментировал президент HUAWEI Consumer Business Group в Центральной, Восточной и Северной Европе, Ван Янмин.

Живой концерт в Вене

Аудиовизуальное представление при поддержке искусственного интеллекта состоялось в Брамсовском зале Венского Общества любителей музыки Musikverein 28 ноября 2018 г. в присутствии более 300 слушателей, среди которых были представители прессы и специально приглашённые гости. «Симфония света» была исполнена оркестром Synchron Stage под руководством Джеймса Ширмана. В программу также вошел фильм Genesis, рассказавший о процессе создания произведения, от съёмки норвежского неба до финального представления.