Udacity учит нейросеть генерировать видеолекции по аудио

Оставить комментарий
Udacity учит нейросеть генерировать видеолекции по аудио

Создание контента — особенно профессиональных лекций — для платформ массовых онлайн-курсов занимает достаточно много ресурсов и времени. Поэтому исследователи популярной площадки Udacity решили создать фреймворк машинного обучения, автоматически генерирующий видеоролики на основе начитанного материала, пишет VentureBeat.

В работе на Arxiv.org учёные представили ИИ-систему LumièreNet, которая синтезирует видео любой продолжительности с инструктором почти в полный рост на основе аудио и соответствующих визуальных материалов.

Модель содержит компонент для определения положения тела, который генерирует изображения лектора, опираясь на кадры из тренировочного датасета. Второй компонент — двунаправленная сеть долгой краткосрочной памяти (BLSTM network) — принимает входное аудио и устанавливает связь между ним и визуальными элементами.

Для тестирования LumièreNet исследователи сняли 8 часов лекцию в студии Udacity. По их словам, результат ИИ получился «убедительным»: отмечаются плавная жестикуляция и реалистичные причёски, но в целом обмануть человеческий глаз искусственным видеороликам не удастся. К примеру, нейросеть не улавливает такие детали, как движения глаз, губ, волос и одежды, поэтому люди на сгенерированных видео почти не моргают и мимика выглядит неестественно. Иногда глаза смотрят в разные стороны, а руки — расплывчаты.

Учёные планируют усовершенствовать систему, добавив больше лицевых точек и обучив её отдельно генерировать различные элементы. 

Читайте также

Нейросеть в реальном времени стирает людей с видео
Нейросеть в реальном времени стирает людей с видео

Нейросеть в реальном времени стирает людей с видео

А что, если бы Нео выбрал синюю таблетку? Нейросеть переписала «Матрицу»
А что, если бы Нео выбрал синюю таблетку? Нейросеть переписала «Матрицу»

А что, если бы Нео выбрал синюю таблетку? Нейросеть переписала «Матрицу»

1 комментарий
Microsoft обучила крупнейшую языковую модель на базе архитектуры Transformer
Microsoft обучила крупнейшую языковую модель на базе архитектуры Transformer

Microsoft обучила крупнейшую языковую модель на базе архитектуры Transformer

Facebook опубликовала библиотеку PyTorch3D для обучения нейросетей на 3D-данных
Facebook опубликовала библиотеку PyTorch3D для обучения нейросетей на 3D-данных

Facebook опубликовала библиотеку PyTorch3D для обучения нейросетей на 3D-данных

1 комментарий

Обсуждение

Комментариев пока нет.