Microsoft обучила крупнейшую языковую модель на базе архитектуры Transformer

Подразделение Microsoft AI & Research представило, по его словам, крупнейшую в мире модель синтеза речи на основе нейронной архитектуры Transformer, сообщает VentureBeat.

Оставить комментарий

Подразделение Microsoft AI & Research представило, по его словам, крупнейшую в мире модель синтеза речи на основе нейронной архитектуры Transformer, сообщает VentureBeat.

Модель под названием Turing NLG содержит 17 млрд параметров — в два раза больше, чем Megatron от Nvidia, которая теперь стала второй по величине нейросетью с этой архитектурой, и в 10 раз больше, чем генератор новостей GPT-2.

Подобные модели умеют, например, сочинять рассказы, генерировать ответы в виде сложных предложений и резюмировать тексты. Как и в случае с чат-ботом Google Meena или алгоритмом OpenAI, доступ к Turing NLG «на пробу» пока предоставили только небольшому кругу внешних исследователей. 

Также разработчики Microsoft опубликовали библиотеку глубокого обучения DeepSpeed, которая упрощает распределенное обучение крупных нейросетей. Она поддерживает модели со 100 млрд или более параметров. Библиотека включает оптимизатор ZeRO для эффективного управления памятью при тренировке моделей и снижения расхода ресурсов. Оптимизатор использовался при обучении Turing NLG.

Хотите сообщить важную новость? Пишите в Телеграм-бот.

А также подписывайтесь на наш Телеграм-канал.

Горячие события

Gismart Online Meetup
9 декабря

Gismart Online Meetup

Минск

Читайте также

В России выпустили книгу о «замене человека роботом», переведя её через онлайн-переводчик
В России выпустили книгу о «замене человека роботом», переведя её через онлайн-переводчик
В России выпустили книгу о «замене человека роботом», переведя её через онлайн-переводчик
Искусственный интеллект DeepMind решил задачу, с которой учёные не могли справиться полвека
Искусственный интеллект DeepMind решил задачу, с которой учёные не могли справиться полвека
Искусственный интеллект DeepMind решил задачу, с которой учёные не могли справиться полвека
На продажу выставили базу с Microsoft-аккаунтами сотен топ-менеджеров
На продажу выставили базу с Microsoft-аккаунтами сотен топ-менеджеров
На продажу выставили базу с Microsoft-аккаунтами сотен топ-менеджеров
Осторожно, поддельные Обама и Ким Чен Ын. Как создаются дипфейки и почему они опасны
Осторожно, поддельные Обама и Ким Чен Ын. Как создаются дипфейки и почему они опасны
Осторожно, поддельные Обама и Ким Чен Ын. Как создаются дипфейки и почему они опасны
Дипфейки, которые появляются благодаря AI, становится все сложнее распознать. Решили разобраться, как их используют для создания различного контента — от развлекательного до политического и к чему это приводит.

Обсуждение

Комментариев пока нет.
Спасибо! 

Получать рассылки dev.by про белорусское ИТ

Что-то пошло не так. Попробуйте позже