Вашингтонський університет розробив технологію Audeo – це програмне забезпечення зі штучним інтелектом, яка може розпізнати та відтворити зіграну на фортепіано мелодію після аналізу руху рук музиканта – про це повідомляє видання TNW.
Нейромережу навчали на відеозаписах піаніста Пола Бартона, який грає Моцарта і Баха. Штучний інтелект зміг визначити, які клавіші та в якому порядку натискаються – так він зчитує ноти.
Також алгоритм враховує час утримання і силу натиснення. Так визначається інтенсивність і тривалість. Потім Audeo передає зібрані дані на синтезатор, який переводить їх у звук.
Точність відтвореної нейромережею музики вчені оцінили у застосунках Shazam і SoundHound (обидва дозволяють визначити, що за пісня грає в цей момент). Додатки розпізнали мелодії у 86% випадків. Це всього на 7% менше показників вихідного відео Пола Бартона.
"Audeo може бути розширений до віртуального піаніно з камерою, що записує тільки руки людини. Якщо ми помістимо камеру поверх справжнього піаніно, Audeo потенційно може допомогти в навчанні музикантів-початківців, відстежуючи положення їх рук", – заявив старший автор дослідження Елі Шлізерман.
Розробники також дослідили використання Audeo для зміни стилю музики. Шлізерман заявив, що система може показати, як музика, відтворена на фортепіано, звучить при грі на трубі. Він сподівається, що дослідження відкриє нові способи взаємодії людей з музикою.
Між іншим, Пол Бартон веде свій ютуб-канал, у нього півмільйона підписників. Раніше піаніст грав для літніх слонів, які постраждали від жорстокого поводження – наприклад, для сліпого Лам Дуана. Це також була своєрідна реабілітація тварин.
Читайте також
Музикант з Душанбе випустив мініальбом, в основі якого – звуки війни на Донбасі
Сила мистецтва чи наука? Як впливає на людину класична музика
Наука логіки Бетховена. Музикознавець Микола Ковалінас прочитає цикл лекцій до 250-річчя композитора
