Российский «Сбер» представил русскоязычную версию модели для генерации текстов GPT-3

Оставить комментарий
Российский «Сбер» представил русскоязычную версию модели для генерации текстов GPT-3

«Сбер» выложил в открытый доступ русскоязычную версию алгоритма для генерации текстов GPT-3 Large с 760 млн параметров. Об этом сообщает N+1 со ссылкой на блог управляющего директора департамента SberDevices Сергея Маркова на «Хабре».

Для обучения модели был собран корпус текстов размером 600+ Гб. В него вошли произведения русской литературы, снапшоты русской и английской «Википедии», новостных и вопросно-ответных сайтов, публичные разделы Pikabu, публикации научно-популярного портала 22century.ru и банковского «Банки.ру», а также опенсорсного проекта Omnia Russica, содержащего 33 млрд слов русского языка. Чтобы научить GPT-3 обрабатывать программный код, в датасет включили данные GitHub и StackOverflow.

В проекте участвовали подразделения «Сбера» SberDevices, SberCloud и команда AI-разработчиков AGI NLP, которая провела работу по чистке и дедупликации данных, а также подготовила наборы для тестирования моделей.

При обучении оригинальной GPT-3 разработчики Open AI использовали 570 Гб текстов. И если в корпусе лаборатории присутствовали в основном материалы на английском языке — их соотношение к неанглоязычным составляло 93:7, то в датасете «Сбера» пропорция русского и других языков примерно 9:1.

OpenAI представила алгоритм для порождения текстов GPT-3 в мае 2020 года. Он умеет не только писать стихи, прозу и делать переводы, но также отвечать на вопросы по прочитанному материалу, решать арифметические примеры и программировать.

Бот на базе GPT-3 неделю выдавал себя за человека на Reddit
Бот на базе GPT-3 неделю выдавал себя за человека на Reddit
По теме
Бот на базе GPT-3 неделю выдавал себя за человека на Reddit

Хотите сообщить важную новость? Пишите в Телеграм-бот.

А также подписывайтесь на наш Телеграм-канал.

Читайте также

В московском метро появится система слежки за пассажирами, которые занимаются
В московском метро появится система слежки за пассажирами, которые занимаются "праздношатаниями"
В московском метро появится система слежки за пассажирами, которые занимаются "праздношатаниями"
Эстонские исследователи научили AI генерировать человеческую ДНК
Эстонские исследователи научили AI генерировать человеческую ДНК
Эстонские исследователи научили AI генерировать человеческую ДНК
14 курсов и сертификаций по ИИ для глубокого погружения в тему
14 курсов и сертификаций по ИИ для глубокого погружения в тему
14 курсов и сертификаций по ИИ для глубокого погружения в тему
Вместе с DigitalDefynd собрали курсы по искусственному интеллекту для тех, кто хочет изучить все возможности искусственного интеллекта и узнать, как его можно применить в работе.
Топ главных ИТ-специальностей и ИТ-навыков в 2021 году
Топ главных ИТ-специальностей и ИТ-навыков в 2021 году
Топ главных ИТ-специальностей и ИТ-навыков в 2021 году
Dice Insights ежегодно составляет перечень технологических профессий, которые ждёт рост или спад популярности в ближайшие 12 месяцев. За основу берут прогнозы консалтинговой компании Foote Partners. К примеру, в прошлом году оказались точны предсказания её аналитиков по большим данным, AI и опыту в кибербезопасности, востребованность которых увеличилась сильнее ожидаемого на фоне массового перехода на удалёнку.

Обсуждение

Комментариев пока нет.
Спасибо! 

Получать рассылки dev.by про белорусское ИТ

Что-то пошло не так. Попробуйте позже