В Германии разработали генератор текста, который превосходит GPT-3, но имеет в сотни раз меньше параметров

Двое исследователей искусственного интеллекта из Мюнхенского университета Людвига-Максимилиана (Ludwig Maximilian University, LMU) представили языковую модель, которая бьёт GPT-3 на языковых бенчмарках, но для её обучения использовалось в несколько сотен раз меньше параметров, чем для топового генератора текстов от OpenAI, сообщает The Next Web.

Оставить комментарий
В Германии разработали генератор текста, который превосходит GPT-3, но имеет в сотни раз меньше параметров

Двое исследователей искусственного интеллекта из Мюнхенского университета Людвига-Максимилиана (Ludwig Maximilian University, LMU) представили языковую модель, которая бьёт GPT-3 на языковых бенчмарках, но для её обучения использовалось в несколько сотен раз меньше параметров, чем для топового генератора текстов от OpenAI, сообщает The Next Web.

GPT-3 способна порождать относительно естественно звучащие тексты и даже неделями дурачить тысячи ничего не подозревающих читателей интернет-блогов.

GPT-3 имеет колоссальные 175 млрд параметров. Для сравнения, учёные из LMU обучили свою AI-систему всего на 223 млн параметров. При этом немецкая модель показывает лучшие результаты в тестах на бенчмарке superGLUE для задачи общего понимания языка. Считается, что чем больше параметров имеет модель, тем выше её способности.

Тем не менее утверждать, что новая система «лучше» GPT-3, нельзя — как и то, что она окажется мощнее на каких-либо других бенчмарках, кроме SuperGLUE, который не отражает все возможности разработки OpenAI, отмечает TNW.

Для создания системы использовался метод тренировки под названием «pattern-exploiting training» и предобученная нейросеть Albert. В OpenAI говорят, что хотя немецкая разработка не сможет превзойти GPT-3 на всех задачах, она откроет новые перспективы для разработки искусственного интеллекта на более скромном оборудовании.

Подробности опубликованы в научной работе на arXiv.org.

Хотите сообщить важную новость? Пишите в Телеграм-бот.

А также подписывайтесь на наш Телеграм-канал.

Читайте также

Теперь ИИ-алгоритмы NVIDIA и AMD можно сравнить в одной игре. Результат — выигрывает машинное обучение
Теперь ИИ-алгоритмы NVIDIA и AMD можно сравнить в одной игре. Результат — выигрывает машинное обучение
Теперь ИИ-алгоритмы NVIDIA и AMD можно сравнить в одной игре. Результат — выигрывает машинное обучение
OpenAI распустила команду робототехники, потому что у нее недостаточно данных
OpenAI распустила команду робототехники, потому что у нее недостаточно данных
OpenAI распустила команду робототехники, потому что у нее недостаточно данных
Discord купил сервис Sentropy, который использует ИИ для модерации контента
Discord купил сервис Sentropy, который использует ИИ для модерации контента
Discord купил сервис Sentropy, который использует ИИ для модерации контента
1 комментарий
Банк отклоняет платежи «из-за ситуации в Беларуси» (скрин). Что будут делать получатель и отправитель
Банк отклоняет платежи «из-за ситуации в Беларуси» (скрин). Что будут делать получатель и отправитель
Банк отклоняет платежи «из-за ситуации в Беларуси» (скрин). Что будут делать получатель и отправитель
35 комментариев

Обсуждение

Комментариев пока нет.
Спасибо! 

Получать рассылки dev.by про белорусское ИТ

Что-то пошло не так. Попробуйте позже