Google разработала алгоритм VideoBERT для предсказания событий на видео

Оставить комментарий
Google разработала алгоритм VideoBERT для предсказания событий на видео

Google создала самообучающуюся систему VideoBERT, которая по фрагменту видеоролика учится прогнозировать, что будет происходить дальше, сообщает SiliconANGLE.

Обучение даже простых AI-алгоритмов требует огромных наборов размеченных данных, которые исследователям приходится собирать вручную, а в случае с видео нужно описывать каждый кадр. Вместо этого разработчики VideoBERT решили прибегнуть к свободно доступным видеоинструкциям: в них рассказчик обычно даёт пошаговое объяснение своих действий, и именно это повествование использовали в качестве замены покадровым описаниям. Команда собрала более миллиона видеоинструкций по кулинарии, ремонту авто и садоводству. Их «скормили» системе, которая должна была научиться прослеживать развитие некоторых повседневных для человека задач.

После обучения систему испытали на незнакомой ей подборке видео. К примеру, «посмотрев» фрагмент, на котором демонстрируются тарелка с мукой и какао, VideoBERT делала предположение, что ингредиенты отправятся в духовку, где после выпечки превратятся в кекс или брауни. Также с помощью модели исследователи смогли извлечь рецепт стейка из видео, в котором объяснялся процесс его приготовления.

Как отмечает SiliconANGLE, метод тренировки VideoBERT может найти применение в намного более серьёзных сферах, например повысить безопасность беспилотных авто, которые смогут предсказывать поведение других участников дорожного движения, или же дронов и роботов, которые работают вблизи от человека.

Хотите сообщить важную новость? Пишите в Телеграм-бот.

А также подписывайтесь на наш Телеграм-канал.

Горячие события

Dell Technologies Forum CEE
26 ноября

Dell Technologies Forum CEE

HRgile.club
2 декабря

HRgile.club

Минск

Читайте также

Что гуглят во время пандемии. 13 графиков
Что гуглят во время пандемии. 13 графиков
Что гуглят во время пандемии. 13 графиков
Как коронавирус повлиял на поисковые запросы? Как менялся пользовательский интерес к тем или иным товарам и услугам? 13 графиков отвечают. Речь идёт об англоязычных запросах в Google с марта по ноябрь 2020 года. 
Youtube представил «бесконечный клип» на популярную песню
Youtube представил «бесконечный клип» на популярную песню
Youtube представил «бесконечный клип» на популярную песню
1 комментарий
Сколько платят работникам по визе H-1B Google, Apple и ещё 13 айтишных компаний
Сколько платят работникам по визе H-1B Google, Apple и ещё 13 айтишных компаний
Сколько платят работникам по визе H-1B Google, Apple и ещё 13 айтишных компаний
ЕС взялся за американский Big Tech. Разбор
ЕС взялся за американский Big Tech. Разбор
ЕС взялся за американский Big Tech. Разбор
Европейская комиссия предлагает серьёзно пересмотреть цифровое регулирование. Закон о цифровых услугах (DSA) должен быть представлен в начале декабря — для Европы он станет первым в своем роде с 2000 года. Изменения в случае принятия могут драматично повлиять на Big Tech.  Разберёмся, что предлагает изменить новый закон, как это связано с пользовательским контентом и почему это «удар под дых» для медиагигантов.
2 комментария

Обсуждение

Комментариев пока нет.
Спасибо! 

Получать рассылки dev.by про белорусское ИТ

Что-то пошло не так. Попробуйте позже