Google выпустила библиотеку TensorFlow.Text для языковых ИИ-моделей

Оставить комментарий
Google выпустила библиотеку TensorFlow.Text для языковых ИИ-моделей

Google представила TensorFlow.Text — библиотеку для предобработки языковых моделей в TensorFlow, пишет VentureBeat. Опенсорсный фреймворк машинного обучения, созданный командой Google Brain, насчитывает свыше 41 млн скачиваний.

TensorFlow.Text можно установить с помощью PIP. Библиотека способна использовать токены для разбивки и анализа такой текстовой информации, как слова, числа и пунктуация.

Сейчас TensorFlow.Text может распознавать пробелы, скрипт unicode и заданные последовательности фрагментов слов, например суффиксов и префиксов, которые Google называет «wordpiece» и использует в технологиях вроде BERT.

Библиотека поддерживает нормализацию, n-граммы и многое другое. Токенизаторы TensorFlow.Text используют RaggedTensors — новый тип тензоров для распознавания текста.

Подробнее о библиотеке можно почитать на Medium и GitHub.

Хотите сообщить важную новость?

Пишите в наш Телеграм

Читайте также

В Англии спущен на воду автономный корабль под управлением AI
В Англии спущен на воду автономный корабль под управлением AI
В Англии спущен на воду автономный корабль под управлением AI
2 комментария
Китай составил «черный список» технологий на экспорт
Китай составил «черный список» технологий на экспорт
Китай составил «черный список» технологий на экспорт
Самые популярные сайты 1993-2020
Самые популярные сайты 1993-2020
Самые популярные сайты 1993-2020
1 комментарий
Google оставил пасхалку с рецептом торта для обновленной Android 11
Google оставил пасхалку с рецептом торта для обновленной Android 11
Google оставил пасхалку с рецептом торта для обновленной Android 11

Обсуждение

Комментариев пока нет.
Спасибо! 

Получать рассылки dev.by про белорусское ИТ

Что-то пошло не так. Попробуйте позже