Что такое краулинг и индексирование?
Google находит новые страницы при помощи паука, который ползает по Всемирной паутине («краулинг» дословно означает «ползание») и добавляет страницы в свою базу данных — индекс. Этот паук называется поисковым роботом, а у робота Google есть собственное имя — Гуглбот (Googlebot).
Запутались? Давайте дадим определения основным терминам.
Когда вы ищете что-то в поисковике Google, он выдает все релевантные страницы из своей базы данных — индекса. Поскольку часто запросу могут соответствовать миллионы страниц, алгоритм ранжирования Google делает все возможное, чтобы отсортировать их так, чтобы первыми шли страницы, которые лучше всего отвечают запросу.
Тут важно понимать, что индексирование и ранжирование — это совершенно разные вещи.
Индексирование — это регистрация на участие в гонке, а ранжирование — это распределение призовых мест.
Нельзя победить в гонке, не зарегистрировавшись сперва.
Как узнать, есть ли ваш сайт в индексе Google
Откройте сайт Google и введите в поиск site:ваш_сайт.com
Это число примерно показывает, сколько страниц вашего сайта содержится в индексе Google.
Если вы хотите узнать состояние индексирования конкретного URL-адреса, используйте тот же самый оператор site:ваш_сайт.com/адрес_страницы.
Если результатов не будет, значит, страницы нет в индексе.
Стоит заметить, что если вы пользуетесь Google Search Console, то можете воспользоваться отчетом «Покрытие», чтобы получить более точные сведения о состоянии индексирования вашего сайта. Просто перейдите в раздел:
Google Search Console > Индексирование > Покрытие
Посмотрите на число действительных страниц (с предупреждениями и без).
Если эти числа в сумме отличаются от нуля, значит, по крайней мере, часть страниц вашего сайта содержится в индексе Google. Если же оба числа равны нулю, то у вас серьезная проблема, поскольку ни одна страница сайта не проиндексирована.
В Search Console можно также проверить, проиндексирована ли конкретная страница. Для этого вставьте ее URL-адрес в Инструмент проверки URL. Если страница проиндексирована, то сервис выдаст сообщение «URL есть в индексе Google». Если нет — то «URL нет в индексе Google».
Как сделать так, чтобы Google индексировал ваш сайт
Обнаружили, что Google не индексирует ваш сайт или страницу? Попробуйте следующее:
Это полезно делать, когда вы публикуете новую статью или страницу. Так вы напрямую сообщаете Google о том, что добавили что-то новое на свой сайт и что поисковику следует взглянуть на это.
Однако непосредственный запрос не поможет решить глубинные проблемы, которые препятствуют индексированию старых страниц. Если это ваш случай, то пройдитесь по приведенному ниже списку, чтобы диагностировать и решить проблему.
Индексирование и ранжирование — это разные вещи
Наличие вашего сайта в индексе Google не означает, что он будет попадать в выдачу и приносить трафик. Это разные вещи.
Индексирование означает только то, что Google известно о существовании вашего сайта. Это не означает, что ваш сайт будет показан в топе выдачи по подходящим запросам.
Тут-то и вступает в дело SEO — искусство оптимизации веб-страниц для попадания в топ выдачи по определенным запросам.
В общих чертах поисковая оптимизация (SEO) включает в себя:
Есть только две возможные причины, почему Google не индексирует ваш сайт или веб-страницу:
Вполне возможно, что имеют место обе эти проблемы. Но, по моему опыту, технические проблемы встречаются гораздо чаще. Технические проблемы также могут стать причиной автоматического создания индексируемого некачественного контента (например, проблемы с фасетной навигацией). Это нехорошо.
Но проход по приведенному выше списку в девяти случаях из десяти должен решить проблемы индексирования.
AVSEO настаивает, что индексирование и ранжирование — это разные вещи. Выполнение поисковой оптимизации по-прежнему жизненно необходимо, если вы хотите вывести свои страницы в топ выдачи по подходящим поисковым запросам и привлечь стабильный поток естественного трафика.