Google открыла код техники предобучения NLP-моделей BERT

Оставить комментарий
Google открыла код техники предобучения NLP-моделей BERT

Google опубликовала исходный код методики Bidirectional Encoder Representations from Transformers, которая позволяет тренировать модели обработки естественного языка (NLP) за 30 минут на одном облачном TPU (тензорный процессор Google) или за несколько часов — на одном GPU, пишет VentureBeat.

Релиз доступен на Github и содержит уже обученные языковые модели (на английском языке), а также сам код, построенный на основе фреймворка машинного обучения от Google TensorFlow. Помимо этого, методику можно найти на Colab — бесплатном облачном сервисе Google для разработчиков ИИ.

По словам исследователей Google AI, BERT уникальна тем, что она использует метод двунаправленной обработки, то есть учитывает предыдущий и последующий контекст слова, а также применима к немаркированным и неклассифицированным данным.

В тестах на понимание прочитанного по датасету Стэнфордского университета SQuAD, который базируется на вопросах по статьям Википедии, методика достигла точности в 93,2 процента и превзошла результаты людей (91,2 процента). В испытаниях на платформе General Language Understanding Evaluation, которая включает набор ресурсов для тренировки и анализа NLP-систем, точность BERT превысила 80 процентов.

Ранее Google открыла исходный код инструмента AdaNet для комбинирования алгоритмов МО и проекта ActiveQA, задача которого — повысить качество ответов ИИ-агентов.

Хотите сообщить важную новость?

Пишите в наш Телеграм

Горячие события

Вебинар «Советы от рекрутеров: как найти квалифицированную работу в Европе»
4 июня

Вебинар «Советы от рекрутеров: как найти квалифицированную работу в Европе»

Тренинг Professional Scrum Master I (PSM I) Online
4 июня — 5 июня

Тренинг Professional Scrum Master I (PSM I) Online

Минск
 Туториал: новые фичи CatBoost
4 июня

Туториал: новые фичи CatBoost

Читайте также

Google получила иск на $5 млрд за отслеживание пользователей в режиме инкогнито
Google получила иск на $5 млрд за отслеживание пользователей в режиме инкогнито

Google получила иск на $5 млрд за отслеживание пользователей в режиме инкогнито

Google отложила релиз бета-версии Android 11 из-за протестов по США
Google отложила релиз бета-версии Android 11 из-за протестов по США

Google отложила релиз бета-версии Android 11 из-за протестов по США

Разработчики из AIMatter рассказали, чем занимаются в Google
Разработчики из AIMatter рассказали, чем занимаются в Google

Разработчики из AIMatter рассказали, чем занимаются в Google

В августе прошлого года СМИ сообщали: открытый проект Google помогает распознавать язык жестов с помощью смартфона. Сейчас команда готовится представить свой проект на технологической конференции Emerge, которая пройдет 1–3 июня. Накануне выступления разработчики Валентин Базаревский и Иван Грищенко рассказали Dev.by, как далеко зашло распознавание жестов, и может ли их нейросеть отличить жесты человека от жеста робота.
16 комментариев
Вышла Android Studio 4.0
Вышла Android Studio 4.0

Вышла Android Studio 4.0

Обсуждение

Комментариев пока нет.
Спасибо! 

Получать рассылки dev.by про белорусское ИТ

Что-то пошло не так. Попробуйте позже