MyHeritage, який допомагає людям відтворити генеалогічне дерево, представив на своєму сайті нову функцію – Deep Nostalgia. Вона "оживляє" людей на статичних знімках за допомогою машинного навчання і технології комп'ютерного зору. Спочатку її позиціювали як технологію для анімації старих фотографій родичів і "вивчення сімейної історії", але користувачі почали використовувати нейромережу для обробки знімків історичних особистостей, картин, пам’ятники і, звичайно ж, створення "живих" мемів. Розповідаємо, як все влаштовано і як нові технології впливають на культуру.
1 мільйон "живих" фото за 2 дні
Найближча аналогія, яка спливає у свідомості – це магічні фото і картини зі всесвіту "Гаррі Поттера", де персонажі на газетних знімках рухаються, посміхаються чи плачуть, а герої картин можуть піти геть у своїх справах. Аналогія зрозуміла, надто ж ефект від "живих" фотографій Deep Nostalgia чарівний.
Якщо кілька років тому штучне створення 15-секундної лицьової анімації займало години на потужному комп'ютері, то тепер той самий ефект ви отримаєте на телефоні безплатно і швидко. Через 2 дні після запуску MyHeritage відзвітували про 1 мільйон фотографій, оживлених за допомогою їх сервісу – і очікують багаторазового збільшення статистики найближчим часом.
У соцмережах відразу стали ділитися фото з результатами. Багато хто оживляє світлини родичів або померлих знаменитостей. Інтернет-користувачі з'ясували, чи може нейромережа змусити рухатися портретний живопис, малюнки та усе, що схоже на обличчя людини. Деякі використовували сервіс для оживлення давніх статуй, картин і навіть мемів.
Як користуватися
На відміну від подібної функції на iPhone, який записує 1,5 секунди до і після знімка для створення "живого" ефекту, Deep Nostalgia використовує заздалегідь підготовлені записи можливих послідовностей жестів. Для цього нейромережа аналізує орієнтацію голови та напрямок очей людини на знімку, автоматично вибирає ролик, що найбільше пасує, і застосовує його до зображення.
Умовно-безкоштовний сервіс доступний на сайті MyHeritage, але для цього потрібно зареєструватись (пробний період – 14 днів) і погодитися з його умовами та політикою конфіденційності. Користувачі з платною підпискою (від 5 до 11 доларів) можуть анімувати необмежену кількість знімків і отримувати їх без водяних знаків з логотипом сайту в правому нижньому кутку.
Процес обробки фото повністю автоматизований, займає 10-20 секунд і до всього покращує якість оригінального знімка. Після обробки фото перетворюється в 15-секундне відео, яке можна завантажити, зберегти або поділитися результатом в соцмережах. Технологія однаково добре працює як з чорно-білим, так і з кольоровим зображенням.
"Деякі люди люблять функцію "Deep Nostalgia" і вважають її чарівною, тоді як іншим вона здається моторошною, – розповідають у MyHeritage про свою технологію. – Дійсно, результати можуть бути суперечливими, і до цієї технології складно залишатися байдужим. Ця функція призначена для ностальгічного використання, тобто для повернення до життя улюблених предків. Наші відеоролики не містять запису мовлення, щоб запобігти створенню deep fake з живими людьми".
Звичайно, частина анімованих знімків виглядає неприродно. Нейромережа ще погано обробляє фото не у фас, волосся, що потрапило на обличчя, нахил голови спідлоба або впівоберта, перепади світла і тіні на обличчі. Але сам розвиток технології в цьому напрямку з одного боку викликає справедливі побоювання (все-таки не зовсім зрозуміло, як регулювати використання deep fake технологій), але з іншого – створює відчуття, що майбутнє вже настало, і що незабаром такий формат впровадять у повсякденний побут.
Чи є ризики
Побоювання викликає (як і завжди з додатками на кшталт FaceApp) конфіденційність даних. MyHeritage повідомляє, що не володіє результатами опрацьованих фото і відео, а сайт зберігає їх виключно для зручності користувачів. Анімація та поліпшення відбувається на серверах MyHeritage, а доступ до фото і відео не надається будь-яким стороннім особам чи компаніям.
Але у 2018 році MyHeritage повідомила, що понад 92 мільйонів облікових записів користувачів були розкриті в результаті витоку даних, і, як повідомляється, пізніше ці дані були виставлені для продажу в DarkNet.
А у 2020 році Норвезька рада споживачів повідомила про MyHeritage національним органам із захисту прав споживачів і даних, оскільки вважала, що компанія "недбала у поводженні з конфіденційними даними користувачів".
Тому якщо ви особливо стурбовані безпекою своїх даних, то краще уважно вчитуватися між рядків в призначеній для користувача угоді та двічі подумати, перш ніж оживляти фотографії улюблених родичів.
Вплив технології Deep Fake на культуру і мистецтво
Технологія Deep Fake пропонує нові потенційні способи дослідження і розваг у світі мистецтва та популярної культури. Тим паче у сьогоденні, коли музеям доводиться конкурувати за увагу і лояльність з боку споживача. Культурні організації змушені мислити нестандартно, щоб аудиторія не тільки пройшла через вхідні двері музею, але й отримала стільки емоцій та вражень, щоб повернутися в майбутньому.
Уявіть, що при відвідуванні музею вам вдасться поговорити з художником або зустріти давно померлого історичного персонажа. Наприклад, на виставці "Життя Далі" техніка редагування і рендерингу відео з використанням ШІ (штучного інтелекту) була використана для відтворення самого Сальвадора з тисяч годин архівних відеозаписів.
Кілька художників першими почали використовувати діпфейки для творчого просування, зокрема британська художниця Джилліан Уерінг. У межах своєї виставки в Художньому музеї Цинциннаті вона підготувала фальшивий "рекламний ролик", в якому на екрані з'являється низка людей з обличчям Уеррінг.
Хоч це і не справжня реклама, а частина виставки, концептуально її можна частково вважати інструментом для реклами, а частково – художнім твором. Уерінг стверджує, що використання Deep Fake є актуальним і креативним способом просування своєї роботи на ринку.
Також технологію Deepfake можна використовувати як соціальний коментар. Художники Білл Постерс і Деніел Хоу створили deepfake-відео Марка Цукерберга в межах концептуальної артінсталяції під назвою Spectre. Відео є критикою безпеки даних у світі Big Data через реалістичне зображення творця Facebook.
Як і інші нові технології, такі як штучний інтелект і доповнена реальність, використання deepfake як інструменту для художньої творчості все ще перебуває в зародковому стані – проте, швидше за все, буде процвітати в найближчі роки.
Вальтер Бенджамін, німецький культурний критик, що жив на початку 1900-х років, писав про те, як технологічні досягнення його часу змінили мистецтво і культуру. У своєму есе 1935 року "Твір мистецтва в епоху механічного відтворення" Бенджамін стверджував, що мистецтво – це продукт діалогу між технологіями та суспільством.
Він писав, що вплив технологій на мистецтво є складним процесом, і суспільство має відіграти важливу роль при прийнятті нової форми мистецтва, має покладатися на вчених і кураторів, які запропонують контекст відтворення цієї технології на користь суспільства. Без довіри до певних інститутів цей процес руйнується.
Використання просунутого ШІ для копіювання творів мистецтва або воскресіння давно померлих акторів для головних ролей в нових фільмах (як у випадку з кількома акторами в недавніх фільмах "Зоряних воєн") – це інноваційний спосіб використання технології на користь мистецтву. А Deep Nostalgia є не новою сторінкою в розвитку цієї технології, але черговим етапом її популяризації в масовій культурі.
Читайте також
Мистецтво, створене для Інтернету та з Інтернету: що ми знаємо про нет-арт
Замість підсумків: що відбувалось з мистецтвом в Україні у коронавірусну кризу 2020 року
Куди піти дивитись сучасне мистцетво: виставкові простори в Україні