Google открыла код парсера файлов robots.txt

Оставить комментарий
Google открыла код парсера файлов robots.txt

Google опубликовала под лицензией Apache 2.0 код С++ библиотеки для разбора файлов robots.txt, содержащих правила (REP, Robots Exclusion Protocol) для исключения контента из области индексации ботами поисковых систем, сообщает OpenNet.

Также Google выступила с инициативой продвижения протокола REP в качестве официального интернет-стандарта после 25 лет его существования в роли стандарта де-факто.

Библиотека развивается уже около 20 лет, соответствует стандарту C++11 и учитывает различные нюансы оформления, встречающиеся в обиходе. Вместе с библиотекой также предложен код утилиты для проверки правильности определения правил в robots.txt. Представленный код используется в рабочих системах Google, выполняющих обработку robots.txt.

Исходный код библиотеки доступен на GitHub.

Хотите сообщить важную новость?

Пишите в наш Телеграм

Читайте также

Microsoft открыла исходный код инструмента для поиска багов в Windows 10
Microsoft открыла исходный код инструмента для поиска багов в Windows 10
Microsoft открыла исходный код инструмента для поиска багов в Windows 10
1 комментарий
Самые популярные сайты 1993-2020
Самые популярные сайты 1993-2020
Самые популярные сайты 1993-2020
1 комментарий
Google оставил пасхалку с рецептом торта для обновленной Android 11
Google оставил пасхалку с рецептом торта для обновленной Android 11
Google оставил пасхалку с рецептом торта для обновленной Android 11
Google запустила платформу безкодовой разработки бизнес-приложений
Google запустила платформу безкодовой разработки бизнес-приложений
Google запустила платформу безкодовой разработки бизнес-приложений

Обсуждение

Комментариев пока нет.
Спасибо! 

Получать рассылки dev.by про белорусское ИТ

Что-то пошло не так. Попробуйте позже