Компанія Google представила експериментальний сервіс під назвою Move Mirror. Він дозволяє побачити власне «відображення» на знімках інших людей. Сервіс використовує відео із веб-камери ноутбука для розпізнавання пози користувача, шукає людей в такому самому положенні в базі даних та створює спільну GIF-анімацію із цих даних.
Про це повідомляють розробники.
В основі сервісу лежать два алгоритми, один з яких розпізнає позу людини і створює спрощену модель його скелета, а другий шукає максимально схожу позу на безлічі інших знімків. За розпізнавання пози відповідає відкритий алгоритм PoseNet, розроблений раніше фахівцями з Google.
Одна з його особливостей полягає в тому, що він використовує бібліотеку TensorFlow.js, завдяки чому користувачеві не потрібно встановлювати на комп’ютер додаткові програми, оскільки всі обчислення проводяться через браузер на комп’ютері користувача. Варто зазначити, що для нормальної роботи сервісу потрібна сучасна відеокарта, інакше сервіс буде обробляти всього кілька кадрів в секунду.
Приклад моделі тіла, складеної алгоритмом PoseNet
Другий алгоритм приймає створену модель тіла користувача і шукає максимально схожу модель в наборі фотографій інших людей. Розробники створили з безлічі відеозаписів 80 тисяч знімків і за допомогою того ж алгоритму PoseNet розмітили на кожному знімку модель тіла людини.
Презентація нового сервісу Move Mirror – дивіться відео
Для того, щоб пошук збігів по такій кількості знімків був швидким, розробники використовували VP-дерево. В результаті на досить потужному комп’ютері пошук людей в схожих позах відбувається за десятки мілісекунд, завдяки чому відображення схожих фотографій в сервісі відбувається в реальному часі. Результат роботи сервісу можна записати у вигляді GIF-анімації і завантажити до себе на комп’ютер.
Варто зазначити, що розробники з Google не вперше використовують алгоритми машинного навчання для створення незвичайних візуальних експериментів. Наприклад, в 2016 році вони представили сервіс Land Lines. У ньому користувач малює лінію, після чого сервіс знаходить об’єкт схожою форми на супутникових знімках, наприклад, звивистий берег або дорожню розв’язку.