Google выпустила библиотеку TensorFlow.Text для языковых ИИ-моделей

Оставить комментарий
Google выпустила библиотеку TensorFlow.Text для языковых ИИ-моделей

Google представила TensorFlow.Text — библиотеку для предобработки языковых моделей в TensorFlow, пишет VentureBeat. Опенсорсный фреймворк машинного обучения, созданный командой Google Brain, насчитывает свыше 41 млн скачиваний.

TensorFlow.Text можно установить с помощью PIP. Библиотека способна использовать токены для разбивки и анализа такой текстовой информации, как слова, числа и пунктуация.

Сейчас TensorFlow.Text может распознавать пробелы, скрипт unicode и заданные последовательности фрагментов слов, например суффиксов и префиксов, которые Google называет «wordpiece» и использует в технологиях вроде BERT.

Библиотека поддерживает нормализацию, n-граммы и многое другое. Токенизаторы TensorFlow.Text используют RaggedTensors — новый тип тензоров для распознавания текста.

Подробнее о библиотеке можно почитать на Medium и GitHub.

Хотите сообщить важную новость?

Пишите в наш Телеграм

Горячие события

Вебинар «Советы от рекрутеров: как найти квалифицированную работу в Европе»
4 июня

Вебинар «Советы от рекрутеров: как найти квалифицированную работу в Европе»

JSNation 2020 Amsterdam
3 июня — 5 июня

JSNation 2020 Amsterdam

Amsterdam
Бесплатные творческие лаборатории в ИТ-школе Адукар
3 июня — 7 июня

Бесплатные творческие лаборатории в ИТ-школе Адукар

Минск

Читайте также

Google отложила релиз бета-версии Android 11 из-за протестов по США
Google отложила релиз бета-версии Android 11 из-за протестов по США

Google отложила релиз бета-версии Android 11 из-за протестов по США

Microsoft заменяет журналистов искусственным интеллектом
Microsoft заменяет журналистов искусственным интеллектом

Microsoft заменяет журналистов искусственным интеллектом

2 комментария
Разработчики из AIMatter рассказали, чем занимаются в Google
Разработчики из AIMatter рассказали, чем занимаются в Google

Разработчики из AIMatter рассказали, чем занимаются в Google

В августе прошлого года СМИ сообщали: открытый проект Google помогает распознавать язык жестов с помощью смартфона. Сейчас команда готовится представить свой проект на технологической конференции Emerge, которая пройдет 1–3 июня. Накануне выступления разработчики Валентин Базаревский и Иван Грищенко рассказали Dev.by, как далеко зашло распознавание жестов, и может ли их нейросеть отличить жесты человека от жеста робота.
16 комментариев
Вышла Android Studio 4.0
Вышла Android Studio 4.0

Вышла Android Studio 4.0

Обсуждение

Комментариев пока нет.
Спасибо! 

Получать рассылки dev.by про белорусское ИТ

Что-то пошло не так. Попробуйте позже