Группа исследователей из Вашингтонского университета разработали новую технологию Background Matting V2, сообщается на сайте учебного заведения. Они сумели добиться более качественной замены фона на видео, чем в приложениях по типу Zoom. Особенно сильно разница бросается в глаза в фрагментах с волосами и очками.
Обратите внимание, как качественно «вырезаны» отдельные локоны волос / Источник: Вашингтонский университет
Инструмент способен заменять фон в 4К-видео при 30 к/сек и в HD-видео при 60 к/сек. В основу разработки легла технология background matting. Её суть заключается в использовании двух вариантов одного и того же кадра: с человеком и без него.
Чтобы добиться итогового результата, исследователи использовали две нейросети. Одна занималась вычислением результатов с низким разрешением, а итог её работы уточняла вторая нейросеть, работавшая с материалами высокого качестве на выборочных участках.
У проекта имеется своя страница на GitHub. Для использования инструмента, необходимо иметь достаточно современное железо. Речь идёт как минимум о видеокарте уровня NVIDIA RTX 2080 Ti и выше.
Источник: Вашингтонский университет
Источник: