Amazon открыла речевой датасет Topical Chat

Оставить комментарий
Amazon открыла речевой датасет Topical Chat

В апреле Amazon пообещала открыть свободный доступ к собранному краудсорсерами набору фрагментов речи для обучения алгоритмов по обработке естественного языка. Компания опубликовала исходный код датасета Topical Chat на GitHub, пишет VentureBeat.

Датасет, изначально готовившийся для участников конкурса Alexa Prize Socialbot Grand Challenge, включает более 235 тысяч высказываний и свыше 4,7 млн слов, на основе которых можно создавать высококачественные, воспроизводимые диалоговые системы поиска.

Датасет призван способствовать инновационных исследований в области нейросетевых вопросно-ответных систем. По словам Amazon, он решает многие проблемы, которые не закрывают другие аналогичные датасеты, например, переход между темами естественным для человека образом, выбор и расширение знаний, интеграция фактов и мнений в диалог.

Для датасета было отобрано 300 объектов (люди, места или предметы) по 8 категориям, наиболее часто встречающимся в диалогах с ботами, разработанными в рамках Alexa Prize. Объекты были сгруппированы на основе их совместного употребления в информационных источниках, и для каждого объекта в таком кластере собирались дополнительные источники. Данные были обработаны в парах сотрудниками Amazon Mechanical Turk, после чего генерируемые диалоги прошли ручную и автоматизированную проверку.

Хотите сообщить важную новость?

Пишите в наш Телеграм

Читайте также

Amazon анонсировала игровой стриминговый сервис Luna
Amazon анонсировала игровой стриминговый сервис Luna
Amazon анонсировала игровой стриминговый сервис Luna
Джефф Безос запускает первый некоммерческий детский сад
Джефф Безос запускает первый некоммерческий детский сад
Джефф Безос запускает первый некоммерческий детский сад
В Германии разработали генератор текста, который превосходит GPT-3, но имеет в сотни раз меньше параметров
В Германии разработали генератор текста, который превосходит GPT-3, но имеет в сотни раз меньше параметров
В Германии разработали генератор текста, который превосходит GPT-3, но имеет в сотни раз меньше параметров
Amazon нанимает 33 тысячи сотрудников на фоне безработицы и массовых сокращений в США
Amazon нанимает 33 тысячи сотрудников на фоне безработицы и массовых сокращений в США
Amazon нанимает 33 тысячи сотрудников на фоне безработицы и массовых сокращений в США

Обсуждение

Комментариев пока нет.
Спасибо! 

Получать рассылки dev.by про белорусское ИТ

Что-то пошло не так. Попробуйте позже