Udacity учит нейросеть генерировать видеолекции по аудио

Оставить комментарий
Udacity учит нейросеть генерировать видеолекции по аудио

Создание контента — особенно профессиональных лекций — для платформ массовых онлайн-курсов занимает достаточно много ресурсов и времени. Поэтому исследователи популярной площадки Udacity решили создать фреймворк машинного обучения, автоматически генерирующий видеоролики на основе начитанного материала, пишет VentureBeat.

В работе на Arxiv.org учёные представили ИИ-систему LumièreNet, которая синтезирует видео любой продолжительности с инструктором почти в полный рост на основе аудио и соответствующих визуальных материалов.

Модель содержит компонент для определения положения тела, который генерирует изображения лектора, опираясь на кадры из тренировочного датасета. Второй компонент — двунаправленная сеть долгой краткосрочной памяти (BLSTM network) — принимает входное аудио и устанавливает связь между ним и визуальными элементами.

Для тестирования LumièreNet исследователи сняли 8 часов лекцию в студии Udacity. По их словам, результат ИИ получился «убедительным»: отмечаются плавная жестикуляция и реалистичные причёски, но в целом обмануть человеческий глаз искусственным видеороликам не удастся. К примеру, нейросеть не улавливает такие детали, как движения глаз, губ, волос и одежды, поэтому люди на сгенерированных видео почти не моргают и мимика выглядит неестественно. Иногда глаза смотрят в разные стороны, а руки — расплывчаты.

Учёные планируют усовершенствовать систему, добавив больше лицевых точек и обучив её отдельно генерировать различные элементы. 

Хотите сообщить важную новость? Пишите в Телеграм-бот.

А также подписывайтесь на наш Телеграм-канал.

Горячие события

Открытая технологическая конференция ISsoft Insights 2021
19 июня

Открытая технологическая конференция ISsoft Insights 2021

Читайте также

Нелицеприятный прогноз. Как AI заставляют угадывать имена людей по фото
Нелицеприятный прогноз. Как AI заставляют угадывать имена людей по фото
Нелицеприятный прогноз. Как AI заставляют угадывать имена людей по фото
ЕС предлагает запретить искусственный интеллект, несущий угрозу людям
ЕС предлагает запретить искусственный интеллект, несущий угрозу людям
ЕС предлагает запретить искусственный интеллект, несущий угрозу людям
Twitter изучит предвзятость и влияние предрассудков на алгоритм соцсети
Twitter изучит предвзятость и влияние предрассудков на алгоритм соцсети
Twitter изучит предвзятость и влияние предрассудков на алгоритм соцсети
Топ-10 айтишных профессий, где нужно машинное обучение
Топ-10 айтишных профессий, где нужно машинное обучение
Топ-10 айтишных профессий, где нужно машинное обучение

Обсуждение

Комментариев пока нет.
Спасибо! 

Получать рассылки dev.by про белорусское ИТ

Что-то пошло не так. Попробуйте позже