Udacity учит нейросеть генерировать видеолекции по аудио

Оставить комментарий
Udacity учит нейросеть генерировать видеолекции по аудио

Создание контента — особенно профессиональных лекций — для платформ массовых онлайн-курсов занимает достаточно много ресурсов и времени. Поэтому исследователи популярной площадки Udacity решили создать фреймворк машинного обучения, автоматически генерирующий видеоролики на основе начитанного материала, пишет VentureBeat.

В работе на Arxiv.org учёные представили ИИ-систему LumièreNet, которая синтезирует видео любой продолжительности с инструктором почти в полный рост на основе аудио и соответствующих визуальных материалов.

Модель содержит компонент для определения положения тела, который генерирует изображения лектора, опираясь на кадры из тренировочного датасета. Второй компонент — двунаправленная сеть долгой краткосрочной памяти (BLSTM network) — принимает входное аудио и устанавливает связь между ним и визуальными элементами.

Для тестирования LumièreNet исследователи сняли 8 часов лекцию в студии Udacity. По их словам, результат ИИ получился «убедительным»: отмечаются плавная жестикуляция и реалистичные причёски, но в целом обмануть человеческий глаз искусственным видеороликам не удастся. К примеру, нейросеть не улавливает такие детали, как движения глаз, губ, волос и одежды, поэтому люди на сгенерированных видео почти не моргают и мимика выглядит неестественно. Иногда глаза смотрят в разные стороны, а руки — расплывчаты.

Учёные планируют усовершенствовать систему, добавив больше лицевых точек и обучив её отдельно генерировать различные элементы. 

Хотите сообщить важную новость?

Пишите в наш Телеграм

Читайте также

В Англии спущен на воду автономный корабль под управлением AI
В Англии спущен на воду автономный корабль под управлением AI
В Англии спущен на воду автономный корабль под управлением AI
3 комментария
Китай составил «черный список» технологий на экспорт
Китай составил «черный список» технологий на экспорт
Китай составил «черный список» технологий на экспорт
Школьник нашёл способ обойти AI-алгоритм и получать 10 из 10 на тестах
Школьник нашёл способ обойти AI-алгоритм и получать 10 из 10 на тестах
Школьник нашёл способ обойти AI-алгоритм и получать 10 из 10 на тестах
AI нашёл 50 новых планет в датасете NASA
AI нашёл 50 новых планет в датасете NASA
AI нашёл 50 новых планет в датасете NASA

Обсуждение

Комментариев пока нет.
Спасибо! 

Получать рассылки dev.by про белорусское ИТ

Что-то пошло не так. Попробуйте позже