В Германии разработали генератор текста, который превосходит GPT-3, но имеет в сотни раз меньше параметров

Двое исследователей искусственного интеллекта из Мюнхенского университета Людвига-Максимилиана (Ludwig Maximilian University, LMU) представили языковую модель, которая бьёт GPT-3 на языковых бенчмарках, но для её обучения использовалось в несколько сотен раз меньше параметров, чем для топового генератора текстов от OpenAI, сообщает The Next Web.

Оставить комментарий
В Германии разработали генератор текста, который превосходит GPT-3, но имеет в сотни раз меньше параметров

Двое исследователей искусственного интеллекта из Мюнхенского университета Людвига-Максимилиана (Ludwig Maximilian University, LMU) представили языковую модель, которая бьёт GPT-3 на языковых бенчмарках, но для её обучения использовалось в несколько сотен раз меньше параметров, чем для топового генератора текстов от OpenAI, сообщает The Next Web.

GPT-3 способна порождать относительно естественно звучащие тексты и даже неделями дурачить тысячи ничего не подозревающих читателей интернет-блогов.

GPT-3 имеет колоссальные 175 млрд параметров. Для сравнения, учёные из LMU обучили свою AI-систему всего на 223 млн параметров. При этом немецкая модель показывает лучшие результаты в тестах на бенчмарке superGLUE для задачи общего понимания языка. Считается, что чем больше параметров имеет модель, тем выше её способности.

Тем не менее утверждать, что новая система «лучше» GPT-3, нельзя — как и то, что она окажется мощнее на каких-либо других бенчмарках, кроме SuperGLUE, который не отражает все возможности разработки OpenAI, отмечает TNW.

Для создания системы использовался метод тренировки под названием «pattern-exploiting training» и предобученная нейросеть Albert. В OpenAI говорят, что хотя немецкая разработка не сможет превзойти GPT-3 на всех задачах, она откроет новые перспективы для разработки искусственного интеллекта на более скромном оборудовании.

Подробности опубликованы в научной работе на arXiv.org.

Хотите сообщить важную новость? Пишите в Телеграм-бот.

А также подписывайтесь на наш Телеграм-канал.

Читайте также

The Line. В Саудовской Аравии хотят построить AI-город за $200 млрд
The Line. В Саудовской Аравии хотят построить AI-город за $200 млрд
The Line. В Саудовской Аравии хотят построить AI-город за $200 млрд
2 комментария
DeepMind научили AI выигрывать игры, не зная правил
DeepMind научили AI выигрывать игры, не зная правил
DeepMind научили AI выигрывать игры, не зная правил
Топ-10 «подрывных» ИТ-навыков с самой большой прибавкой к зарплате
Топ-10 «подрывных» ИТ-навыков с самой большой прибавкой к зарплате
Топ-10 «подрывных» ИТ-навыков с самой большой прибавкой к зарплате
1 комментарий
Власти Германии второй раз за месяц остановили стройку гигафабрики Tesla
Власти Германии второй раз за месяц остановили стройку гигафабрики Tesla
Власти Германии второй раз за месяц остановили стройку гигафабрики Tesla
1 комментарий

Обсуждение

Комментариев пока нет.
Спасибо! 

Получать рассылки dev.by про белорусское ИТ

Что-то пошло не так. Попробуйте позже