Основной поисковый робот Googlebot начинает работать по обновленному протоколу HTTP/2

Компания Google обновила 12 ноября Googlebot Developers Support Page (справочный раздел разработчиков в своей документации), для того чтобы проинформировать их о возможности сканирования своим поисковым роботом сайтов по HTTP/2.0 – новейшему протоколу передачи гипертекстовых документов в Интернет. 

Это обновление у компании Google было анонсировано еще в сентябре, так что оно не стало неожиданностью.

Однако у владельцев сайтов есть возможность все же отказаться от сервиса сканирования по этому новому протоколу, но им для этого нужно в настройках сервера настроить опцию отправки кода его ответа – 421.

Своим пользователям и разработчикам компания Google напоминает, что HTTP/2.0 (или просто HTTP/2) – это самый передовой протокол передачи информации между серверами и браузерами и поэтому он активно будет использоваться поисковым роботом Googlebot.

Для загрузки каждого отдельного файла данный протокол не создает отдельные соединения (как это реализовано в HTTP/1), а осуществляет их загрузку одним потоком – в параллельном режиме. Такой процесс называется мультиплексированием, т.к. он позволяет осуществлять сразу несколько запросов и ответов, при этом части одного сообщения могут смешиваться с частями других сообщений, передаваемых по сети.

За счет таких новых возможностей HTTP/2 будут снижаться нагрузки на сервера, что приведет к экономии их ресурсов, а это, в свою очередь, очень полезно для загрузки веб-сайтов. Случается, что сайт одновременно посещает не один только Googlebot, но и другие поисковые роботы, в результате чего сайт начинает плохо загружаться и расходует много серверных ресурсов.

По заявлению специалистов Google, работа Googlebot по HTTP/2 поможет существенно сэкономить ИТ-ресурсы серверов, сетевых приложений и Googlebot, и это никак не повлияет на ранжирование сайтов в поисковых системах и не ухудшит их поисковую индексацию.

Разработчики сайтов могут проверять соответствие их сайтов возможностям сканирования по HTTP/2 с помощью инструмента проверки данной функции в настройках Google.