Google выпустила библиотеку TensorFlow.Text для языковых ИИ-моделей

Оставить комментарий
Google выпустила библиотеку TensorFlow.Text для языковых ИИ-моделей

Google представила TensorFlow.Text — библиотеку для предобработки языковых моделей в TensorFlow, пишет VentureBeat. Опенсорсный фреймворк машинного обучения, созданный командой Google Brain, насчитывает свыше 41 млн скачиваний.

TensorFlow.Text можно установить с помощью PIP. Библиотека способна использовать токены для разбивки и анализа такой текстовой информации, как слова, числа и пунктуация.

Сейчас TensorFlow.Text может распознавать пробелы, скрипт unicode и заданные последовательности фрагментов слов, например суффиксов и префиксов, которые Google называет «wordpiece» и использует в технологиях вроде BERT.

Библиотека поддерживает нормализацию, n-граммы и многое другое. Токенизаторы TensorFlow.Text используют RaggedTensors — новый тип тензоров для распознавания текста.

Подробнее о библиотеке можно почитать на Medium и GitHub.

Хотите сообщить важную новость? Пишите в Телеграм-бот.

А также подписывайтесь на наш Телеграм-канал.

Горячие события

Gismart Online Meetup
9 декабря

Gismart Online Meetup

Минск

Читайте также

Американские власти обвинили Google в шпионстве за сотрудниками и незаконных увольнениях
Американские власти обвинили Google в шпионстве за сотрудниками и незаконных увольнениях
Американские власти обвинили Google в шпионстве за сотрудниками и незаконных увольнениях
Google огласила лучшие приложения и игры 2020 года
Google огласила лучшие приложения и игры 2020 года
Google огласила лучшие приложения и игры 2020 года
Искусственный интеллект DeepMind решил задачу, с которой учёные не могли справиться полвека
Искусственный интеллект DeepMind решил задачу, с которой учёные не могли справиться полвека
Искусственный интеллект DeepMind решил задачу, с которой учёные не могли справиться полвека
1995 — 2020: события, которые навсегда изменили ИТ-индустрию
1995 — 2020: события, которые навсегда изменили ИТ-индустрию
1995 — 2020: события, которые навсегда изменили ИТ-индустрию
Известный американский технический журнал Fast Company отмечает 25-летие. По этому поводу издание составило свой список важных событий в ИТ-сфере за четверть века, которые серьезным образом повлияли на развитие технологий. Выбрали самое интересное, некоторые пункты дополнили любопытными, на наш взгляд, фактами. 

Обсуждение

Комментариев пока нет.
Спасибо! 

Получать рассылки dev.by про белорусское ИТ

Что-то пошло не так. Попробуйте позже