В Германии разработали генератор текста, который превосходит GPT-3, но имеет в сотни раз меньше параметров

Двое исследователей искусственного интеллекта из Мюнхенского университета Людвига-Максимилиана (Ludwig Maximilian University, LMU) представили языковую модель, которая бьёт GPT-3 на языковых бенчмарках, но для её обучения использовалось в несколько сотен раз меньше параметров, чем для топового генератора текстов от OpenAI, сообщает The Next Web.

В Германии разработали генератор текста, который превосходит GPT-3, но имеет в сотни раз меньше параметров

Двое исследователей искусственного интеллекта из Мюнхенского университета Людвига-Максимилиана (Ludwig Maximilian University, LMU) представили языковую модель, которая бьёт GPT-3 на языковых бенчмарках, но для её обучения использовалось в несколько сотен раз меньше параметров, чем для топового генератора текстов от OpenAI, сообщает The Next Web.

GPT-3 способна порождать относительно естественно звучащие тексты и даже неделями дурачить тысячи ничего не подозревающих читателей интернет-блогов.

GPT-3 имеет колоссальные 175 млрд параметров. Для сравнения, учёные из LMU обучили свою AI-систему всего на 223 млн параметров. При этом немецкая модель показывает лучшие результаты в тестах на бенчмарке superGLUE для задачи общего понимания языка. Считается, что чем больше параметров имеет модель, тем выше её способности.

Тем не менее утверждать, что новая система «лучше» GPT-3, нельзя — как и то, что она окажется мощнее на каких-либо других бенчмарках, кроме SuperGLUE, который не отражает все возможности разработки OpenAI, отмечает TNW.

Для создания системы использовался метод тренировки под названием «pattern-exploiting training» и предобученная нейросеть Albert. В OpenAI говорят, что хотя немецкая разработка не сможет превзойти GPT-3 на всех задачах, она откроет новые перспективы для разработки искусственного интеллекта на более скромном оборудовании.

Подробности опубликованы в научной работе на arXiv.org.

Хотите сообщить важную новость? Пишите в Телеграм-бот.

А также подписывайтесь на наш Телеграм-канал.

Горячие события

HRgile.club 2021 Online
23 апреля

HRgile.club 2021 Online

Минск

Читайте также

Tesla раскритиковала немецкую бюрократию — не даёт запустить гигафабрику
Tesla раскритиковала немецкую бюрократию — не даёт запустить гигафабрику
Tesla раскритиковала немецкую бюрократию — не даёт запустить гигафабрику
AI написал песню в стиле Nirvana
AI написал песню в стиле Nirvana
AI написал песню в стиле Nirvana
Блогер обучил ИИ распознавать собак и кричать им комплименты
Блогер обучил ИИ распознавать собак и кричать им комплименты
Блогер обучил ИИ распознавать собак и кричать им комплименты
Apple стала рекордсменом по скупке AI-стартапов за последние пять лет
Apple стала рекордсменом по скупке AI-стартапов за последние пять лет
Apple стала рекордсменом по скупке AI-стартапов за последние пять лет
Спасибо! 

Получать рассылки dev.by про белорусское ИТ

Что-то пошло не так. Попробуйте позже