Google открыла код парсера файлов robots.txt

Оставить комментарий
Google открыла код парсера файлов robots.txt

Google опубликовала под лицензией Apache 2.0 код С++ библиотеки для разбора файлов robots.txt, содержащих правила (REP, Robots Exclusion Protocol) для исключения контента из области индексации ботами поисковых систем, сообщает OpenNet.

Также Google выступила с инициативой продвижения протокола REP в качестве официального интернет-стандарта после 25 лет его существования в роли стандарта де-факто.

Библиотека развивается уже около 20 лет, соответствует стандарту C++11 и учитывает различные нюансы оформления, встречающиеся в обиходе. Вместе с библиотекой также предложен код утилиты для проверки правильности определения правил в robots.txt. Представленный код используется в рабочих системах Google, выполняющих обработку robots.txt.

Исходный код библиотеки доступен на GitHub.

Хотите сообщить важную новость? Пишите в Телеграм-бот.

А также подписывайтесь на наш Телеграм-канал.

Горячие события

Gismart Online Meetup
9 декабря

Gismart Online Meetup

Минск

Читайте также

1995 — 2020: события, которые навсегда изменили ИТ-индустрию
1995 — 2020: события, которые навсегда изменили ИТ-индустрию
1995 — 2020: события, которые навсегда изменили ИТ-индустрию
Известный американский технический журнал Fast Company отмечает 25-летие. По этому поводу издание составило свой список важных событий в ИТ-сфере за четверть века, которые серьезным образом повлияли на развитие технологий. Выбрали самое интересное, некоторые пункты дополнили любопытными, на наш взгляд, фактами. 
Великобритания создаёт орган по контролю за бигтехом
Великобритания создаёт орган по контролю за бигтехом
Великобритания создаёт орган по контролю за бигтехом
Google лишит веб-версию Google Play платежных функций и введет комиссию за переводы
Google лишит веб-версию Google Play платежных функций и введет комиссию за переводы
Google лишит веб-версию Google Play платежных функций и введет комиссию за переводы
Франция начала собирать налог с бигтех-компаний
Франция начала собирать налог с бигтех-компаний
Франция начала собирать налог с бигтех-компаний
5 комментариев

Обсуждение

Комментариев пока нет.
Спасибо! 

Получать рассылки dev.by про белорусское ИТ

Что-то пошло не так. Попробуйте позже