Одна из неприятных проблем, с которыми часто сталкиваются веб-мастера, это ситуация, когда в индекс поисковой системы попадают не все страницы ресурса. Недавно, на специализированном форуме от Google разгорелась дискуссия, посвящённая вопросу частичной индексации содержимого сайта. В конечном итоге на вопрос одного из веб-мастеров начал отвечать представитель Google, Гэри Илльес (Gary Illyes).

По итогам данного разговора был создан целый материал с анализом высказанных мыслей. Главным образом, дискуссия касалась роли файла Sitemap в процессе индексации страниц в поисковой системе Google.

Вопрос веб-мастера звучал так: «Я создал файл Sitemap и поместил в него 40 000 ссылок на страницы своего сайта. Однако, на сегодняшний день, проиндексировано всего 100 из них. Затем, я сообщил в службу поддержки Google о наличии файла Sitemap на сайте, в надежде, что поисковик проиндексирует пропущенные страницы. Однако этого не произошло. Кто может пояснить причины, по которым Google отказывается индексировать указанные страницы, с учётом того, что файл Sitemap составлен верно?»

На это, Гэри Илльес ответил следующее: «Прежде всего, хочу обратить внимание на то, что наличие на сайте файла Sitemap не гарантирует того, что все указанные в нём ссылки на страницы обязательно будут проиндексированы поисковыми роботами Google. Файл Sitemap следует считать дополнительным способом, который помогает роботу Googlebot обнаруживать контент. Если ссылки на страницы сайта не будут помещены в файл Sitemap, то поисковым роботам потребуется больше времени для индексации ресурса. Или, другими словами, без Sitemap ваш сайт будет индексироваться ещё медленнее».

Ещё одно обстоятельство, на которое обратил внимание Гэри Илльес, заключается в том, что поисковые алгоритмы Google вполне способны принять решение не индексировать все ссылки на страницы вашего ресурса, помещённые в файл Sitemap. Это вполне обычная практика. Обычно, не индексируются страницы, на которых содержится контент с низкой ценностью.

Российским веб-мастерам также следует учитывать то обстоятельство, что «Яндекс» также индексирует страницы сайтов выборочно. Поисковые роботы «Яндекса» учитывают файл Sitemap, но ведущий российский поисковик не гарантирует того, что все ссылки на страницы, содержащиеся в нем, будут полностью проиндексированы.

Теги: CSS, Sitemap страницы файл ссылки Google