Udacity учит нейросеть генерировать видеолекции по аудио

Оставить комментарий
Udacity учит нейросеть генерировать видеолекции по аудио

Создание контента — особенно профессиональных лекций — для платформ массовых онлайн-курсов занимает достаточно много ресурсов и времени. Поэтому исследователи популярной площадки Udacity решили создать фреймворк машинного обучения, автоматически генерирующий видеоролики на основе начитанного материала, пишет VentureBeat.

В работе на Arxiv.org учёные представили ИИ-систему LumièreNet, которая синтезирует видео любой продолжительности с инструктором почти в полный рост на основе аудио и соответствующих визуальных материалов.

Модель содержит компонент для определения положения тела, который генерирует изображения лектора, опираясь на кадры из тренировочного датасета. Второй компонент — двунаправленная сеть долгой краткосрочной памяти (BLSTM network) — принимает входное аудио и устанавливает связь между ним и визуальными элементами.

Для тестирования LumièreNet исследователи сняли 8 часов лекцию в студии Udacity. По их словам, результат ИИ получился «убедительным»: отмечаются плавная жестикуляция и реалистичные причёски, но в целом обмануть человеческий глаз искусственным видеороликам не удастся. К примеру, нейросеть не улавливает такие детали, как движения глаз, губ, волос и одежды, поэтому люди на сгенерированных видео почти не моргают и мимика выглядит неестественно. Иногда глаза смотрят в разные стороны, а руки — расплывчаты.

Учёные планируют усовершенствовать систему, добавив больше лицевых точек и обучив её отдельно генерировать различные элементы. 

Хотите сообщить важную новость? Пишите в Телеграм-бот.

А также подписывайтесь на наш Телеграм-канал.

Горячие события

Gismart Online Meetup
9 декабря

Gismart Online Meetup

Минск

Читайте также

Появилась нейросеть, которая распознаёт сарказм
Появилась нейросеть, которая распознаёт сарказм
Появилась нейросеть, которая распознаёт сарказм
Появилось приложение для видеозвонков, которое превращает пижаму в костюм, а пользователя — в кого угодно
Появилось приложение для видеозвонков, которое превращает пижаму в костюм, а пользователя — в кого угодно
Появилось приложение для видеозвонков, которое превращает пижаму в костюм, а пользователя — в кого угодно
2 комментария
Папа римский призвал молиться, чтобы AI и роботы служили человечеству
Папа римский призвал молиться, чтобы AI и роботы служили человечеству
Папа римский призвал молиться, чтобы AI и роботы служили человечеству
13 онлайн-платформ для обучения программированию
13 онлайн-платформ для обучения программированию
13 онлайн-платформ для обучения программированию

Обсуждение

Комментариев пока нет.
Спасибо! 

Получать рассылки dev.by про белорусское ИТ

Что-то пошло не так. Попробуйте позже