В Германии разработали генератор текста, который превосходит GPT-3, но имеет в сотни раз меньше параметров

Двое исследователей искусственного интеллекта из Мюнхенского университета Людвига-Максимилиана (Ludwig Maximilian University, LMU) представили языковую модель, которая бьёт GPT-3 на языковых бенчмарках, но для её обучения использовалось в несколько сотен раз меньше параметров, чем для топового генератора текстов от OpenAI, сообщает The Next Web.

Оставить комментарий
В Германии разработали генератор текста, который превосходит GPT-3, но имеет в сотни раз меньше параметров

Двое исследователей искусственного интеллекта из Мюнхенского университета Людвига-Максимилиана (Ludwig Maximilian University, LMU) представили языковую модель, которая бьёт GPT-3 на языковых бенчмарках, но для её обучения использовалось в несколько сотен раз меньше параметров, чем для топового генератора текстов от OpenAI, сообщает The Next Web.

GPT-3 способна порождать относительно естественно звучащие тексты и даже неделями дурачить тысячи ничего не подозревающих читателей интернет-блогов.

GPT-3 имеет колоссальные 175 млрд параметров. Для сравнения, учёные из LMU обучили свою AI-систему всего на 223 млн параметров. При этом немецкая модель показывает лучшие результаты в тестах на бенчмарке superGLUE для задачи общего понимания языка. Считается, что чем больше параметров имеет модель, тем выше её способности.

Тем не менее утверждать, что новая система «лучше» GPT-3, нельзя — как и то, что она окажется мощнее на каких-либо других бенчмарках, кроме SuperGLUE, который не отражает все возможности разработки OpenAI, отмечает TNW.

Для создания системы использовался метод тренировки под названием «pattern-exploiting training» и предобученная нейросеть Albert. В OpenAI говорят, что хотя немецкая разработка не сможет превзойти GPT-3 на всех задачах, она откроет новые перспективы для разработки искусственного интеллекта на более скромном оборудовании.

Подробности опубликованы в научной работе на arXiv.org.

Хотите сообщить важную новость?

Пишите в наш Телеграм

Горячие события

MobileOptimized 2020 Online Edition Conference
6 ноября — 7 ноября

MobileOptimized 2020 Online Edition Conference

Читайте также

10 технологических профессий, которым можно не бояться AI и автоматизации
10 технологических профессий, которым можно не бояться AI и автоматизации
10 технологических профессий, которым можно не бояться AI и автоматизации
Google научила нейросеть превращать веб-страницы в видео
Google научила нейросеть превращать веб-страницы в видео
Google научила нейросеть превращать веб-страницы в видео
В MIT создали нейросеть, которая вычисляет бессимптомный COVID-19 по кашлю пациента
В MIT создали нейросеть, которая вычисляет бессимптомный COVID-19 по кашлю пациента
В MIT создали нейросеть, которая вычисляет бессимптомный COVID-19 по кашлю пациента
1 комментарий
Microsoft сделала бесплатное приложение для создания AI-моделей без строчки кода
Microsoft сделала бесплатное приложение для создания AI-моделей без строчки кода
Microsoft сделала бесплатное приложение для создания AI-моделей без строчки кода

Обсуждение

Комментариев пока нет.
Спасибо! 

Получать рассылки dev.by про белорусское ИТ

Что-то пошло не так. Попробуйте позже