Microsoft обучила крупнейшую языковую модель на базе архитектуры Transformer

Подразделение Microsoft AI & Research представило, по его словам, крупнейшую в мире модель синтеза речи на основе нейронной архитектуры Transformer, сообщает VentureBeat.

Оставить комментарий

Подразделение Microsoft AI & Research представило, по его словам, крупнейшую в мире модель синтеза речи на основе нейронной архитектуры Transformer, сообщает VentureBeat.

Модель под названием Turing NLG содержит 17 млрд параметров — в два раза больше, чем Megatron от Nvidia, которая теперь стала второй по величине нейросетью с этой архитектурой, и в 10 раз больше, чем генератор новостей GPT-2.

Подобные модели умеют, например, сочинять рассказы, генерировать ответы в виде сложных предложений и резюмировать тексты. Как и в случае с чат-ботом Google Meena или алгоритмом OpenAI, доступ к Turing NLG «на пробу» пока предоставили только небольшому кругу внешних исследователей. 

Также разработчики Microsoft опубликовали библиотеку глубокого обучения DeepSpeed, которая упрощает распределенное обучение крупных нейросетей. Она поддерживает модели со 100 млрд или более параметров. Библиотека включает оптимизатор ZeRO для эффективного управления памятью при тренировке моделей и снижения расхода ресурсов. Оптимизатор использовался при обучении Turing NLG.

Хотите сообщить важную новость? Пишите в Телеграм-бот.

А также подписывайтесь на наш Телеграм-канал.

Читайте также

Microsoft представила платформу Mesh для работы в смешанной реальности
Microsoft представила платформу Mesh для работы в смешанной реальности
Microsoft представила платформу Mesh для работы в смешанной реальности
Oyper запустил поиск и покупку обуви по фото и видео
Oyper запустил поиск и покупку обуви по фото и видео
Oyper запустил поиск и покупку обуви по фото и видео
Новый AI-сервис реалистично оживляет лица на старых фотографиях
Новый AI-сервис реалистично оживляет лица на старых фотографиях
Новый AI-сервис реалистично оживляет лица на старых фотографиях
Бигтех-компании работают над AR-технологиями на смену смартфонам
Бигтех-компании работают над AR-технологиями на смену смартфонам
Бигтех-компании работают над AR-технологиями на смену смартфонам
Впервые в истории продажи смартфонов падают два года подряд, сообщает Gartner. Некоторые специалисты делают неутешительный прогноз для производителей: мобильные телефоны — вчерашний день. CNBC выпустил материал про то, как технические гиганты готовят замену для смартфонов — AR-очки и гарнитуру. Именно этот девайс, по мнению футурологов, может стать следующим шагом эволюции виртуального общения, симбиозом технического развития и инженерных возможностей и решений.

Обсуждение

Комментариев пока нет.
Спасибо! 

Получать рассылки dev.by про белорусское ИТ

Что-то пошло не так. Попробуйте позже