Хотите дальше читать devby? 📝
Support us

Российский «Сбер» представил русскоязычную версию модели для генерации текстов GPT-3

Оставить комментарий
Российский «Сбер» представил русскоязычную версию модели для генерации текстов GPT-3

«Сбер» выложил в открытый доступ русскоязычную версию алгоритма для генерации текстов GPT-3 Large с 760 млн параметров. Об этом сообщает N+1 со ссылкой на блог управляющего директора департамента SberDevices Сергея Маркова на «Хабре».

Для обучения модели был собран корпус текстов размером 600+ Гб. В него вошли произведения русской литературы, снапшоты русской и английской «Википедии», новостных и вопросно-ответных сайтов, публичные разделы Pikabu, публикации научно-популярного портала 22century.ru и банковского «Банки.ру», а также опенсорсного проекта Omnia Russica, содержащего 33 млрд слов русского языка. Чтобы научить GPT-3 обрабатывать программный код, в датасет включили данные GitHub и StackOverflow.

В проекте участвовали подразделения «Сбера» SberDevices, SberCloud и команда AI-разработчиков AGI NLP, которая провела работу по чистке и дедупликации данных, а также подготовила наборы для тестирования моделей.

При обучении оригинальной GPT-3 разработчики Open AI использовали 570 Гб текстов. И если в корпусе лаборатории присутствовали в основном материалы на английском языке — их соотношение к неанглоязычным составляло 93:7, то в датасете «Сбера» пропорция русского и других языков примерно 9:1.

OpenAI представила алгоритм для порождения текстов GPT-3 в мае 2020 года. Он умеет не только писать стихи, прозу и делать переводы, но также отвечать на вопросы по прочитанному материалу, решать арифметические примеры и программировать.

Бот на базе GPT-3 неделю выдавал себя за человека на Reddit
Бот на базе GPT-3 неделю выдавал себя за человека на Reddit
По теме
Бот на базе GPT-3 неделю выдавал себя за человека на Reddit
Помогаете devby = помогаете ИТ-комьюнити.

Засапортить сейчас.

Читайте также
TinyML, No-code и обучение с подкреплением: новейшие тренды в машинном обучении
TinyML, No-code и обучение с подкреплением: новейшие тренды в машинном обучении
TinyML, No-code и обучение с подкреплением: новейшие тренды в машинном обучении
Пока 20% топ-менеджеров утверждают, что машинное обучение является существенной частью их бизнеса, неудивительно, что стоимость мирового рынка машинного обучения, по некоторым оценкам, достигнет $117 млрд к концу 2027 года. Мы перевели материал Udacity о семи самых обсуждаемых тенденциях в машинном обучении в 2022 году.
Нейросеть «оживляет» классические пиксельные игры
Нейросеть «оживляет» классические пиксельные игры
Нейросеть «оживляет» классические пиксельные игры
Meta разработала ИИ для «чтения мыслей»
Meta разработала ИИ для «чтения мыслей»
Meta разработала ИИ для «чтения мыслей»
«Сбер» попросил сотрудников удалить Telegram с рабочих гаджетов
«Сбер» попросил сотрудников удалить Telegram с рабочих гаджетов
«Сбер» попросил сотрудников удалить Telegram с рабочих гаджетов
1 комментарий

Хотите сообщить важную новость? Пишите в Telegram-бот

Главные события и полезные ссылки в нашем Telegram-канале

Обсуждение
Комментируйте без ограничений

Релоцировались? Теперь вы можете комментировать без верификации аккаунта.

Комментариев пока нет.