Udacity учит нейросеть генерировать видеолекции по аудио

Оставить комментарий
Udacity учит нейросеть генерировать видеолекции по аудио

Создание контента — особенно профессиональных лекций — для платформ массовых онлайн-курсов занимает достаточно много ресурсов и времени. Поэтому исследователи популярной площадки Udacity решили создать фреймворк машинного обучения, автоматически генерирующий видеоролики на основе начитанного материала, пишет VentureBeat.

В работе на Arxiv.org учёные представили ИИ-систему LumièreNet, которая синтезирует видео любой продолжительности с инструктором почти в полный рост на основе аудио и соответствующих визуальных материалов.

Модель содержит компонент для определения положения тела, который генерирует изображения лектора, опираясь на кадры из тренировочного датасета. Второй компонент — двунаправленная сеть долгой краткосрочной памяти (BLSTM network) — принимает входное аудио и устанавливает связь между ним и визуальными элементами.

Для тестирования LumièreNet исследователи сняли 8 часов лекцию в студии Udacity. По их словам, результат ИИ получился «убедительным»: отмечаются плавная жестикуляция и реалистичные причёски, но в целом обмануть человеческий глаз искусственным видеороликам не удастся. К примеру, нейросеть не улавливает такие детали, как движения глаз, губ, волос и одежды, поэтому люди на сгенерированных видео почти не моргают и мимика выглядит неестественно. Иногда глаза смотрят в разные стороны, а руки — расплывчаты.

Учёные планируют усовершенствовать систему, добавив больше лицевых точек и обучив её отдельно генерировать различные элементы. 

Горячие события

Конкурс EY Entrepreneur Of The Year 2020
31 мая — 31 мая

Конкурс EY Entrepreneur Of The Year 2020

GoWayFest 4.0
11 июля — 11 июля

GoWayFest 4.0

Минск

Читайте также

Huawei открыла фреймворк для разработки AI-приложений MindSpore
Huawei открыла фреймворк для разработки AI-приложений MindSpore

Huawei открыла фреймворк для разработки AI-приложений MindSpore

Uber и OpenAI представили фреймворк для распределённого обучения нейросетей
Uber и OpenAI представили фреймворк для распределённого обучения нейросетей

Uber и OpenAI представили фреймворк для распределённого обучения нейросетей

Полиция в Китае носит смарт-очки с термодатчиками, чтобы ловить заболевших
Полиция в Китае носит смарт-очки с термодатчиками, чтобы ловить заболевших

Полиция в Китае носит смарт-очки с термодатчиками, чтобы ловить заболевших

Google запустила ML-фреймворк для квантовых компьютеров
Google запустила ML-фреймворк для квантовых компьютеров

Google запустила ML-фреймворк для квантовых компьютеров

Обсуждение

Комментариев пока нет.