Действенные способы индексировать Ваш сайт с помощью Google

Что такое краулинг и индексирование?

Google находит новые страницы при помощи паука, который ползает по Всемирной паутине («краулинг» дословно означает «ползание») и добавляет страницы в свою базу данных — индекс. Этот паук называется поисковым роботом, а у робота Google есть собственное имя — Гуглбот (Googlebot).

Запутались? Давайте дадим определения основным терминам.

• Краулинг — процесс перехода по гиперссылкам в Интернете с целью нахождения нового контента.
• Индексирование — процесс сохранения каждой веб-страницы в обширной базе данных.
• Поисковый робот — Программа, которая выполняет краулинг.
• Googlebot — поисковый робот Google.

Когда вы ищете что-то в поисковике Google, он выдает все релевантные страницы из своей базы данных — индекса. Поскольку часто запросу могут соответствовать миллионы страниц, алгоритм ранжирования Google делает все возможное, чтобы отсортировать их так, чтобы первыми шли страницы, которые лучше всего отвечают запросу.

Тут важно понимать, что индексирование и ранжирование — это совершенно разные вещи.

Индексирование — это регистрация на участие в гонке, а ранжирование — это распределение призовых мест.

Нельзя победить в гонке, не зарегистрировавшись сперва.

Как узнать, есть ли ваш сайт в индексе Google

Откройте сайт Google и введите в поиск site:ваш_сайт.com

Это число примерно показывает, сколько страниц вашего сайта содержится в индексе Google.

Если вы хотите узнать состояние индексирования конкретного URL-адреса, используйте тот же самый оператор site:ваш_сайт.com/адрес_страницы.

Если результатов не будет, значит, страницы нет в индексе.

Стоит заметить, что если вы пользуетесь Google Search Console, то можете воспользоваться отчетом «Покрытие», чтобы получить более точные сведения о состоянии индексирования вашего сайта. Просто перейдите в раздел:

Google Search Console > Индексирование > Покрытие

Посмотрите на число действительных страниц (с предупреждениями и без).

Если эти числа в сумме отличаются от нуля, значит, по крайней мере, часть страниц вашего сайта содержится в индексе Google. Если же оба числа равны нулю, то у вас серьезная проблема, поскольку ни одна страница сайта не проиндексирована.

В Search Console можно также проверить, проиндексирована ли конкретная страница. Для этого вставьте ее URL-адрес в Инструмент проверки URL. Если страница проиндексирована, то сервис выдаст сообщение «URL есть в индексе Google». Если нет — то «URL нет в индексе Google».

Как сделать так, чтобы Google индексировал ваш сайт

Обнаружили, что Google не индексирует ваш сайт или страницу? Попробуйте следующее:

1. Откройте Google Search Console.
2. Перейдите в Инструмент проверки URL.
3. Вставьте в строку поиска URL-адрес, который вы хотите видеть в индексе Google.
4. Подождите, пока Google проверит адрес.
5. Нажмите кнопку «Запросить индексирование».

Это полезно делать, когда вы публикуете новую статью или страницу. Так вы напрямую сообщаете Google о том, что добавили что-то новое на свой сайт и что поисковику следует взглянуть на это.

Однако непосредственный запрос не поможет решить глубинные проблемы, которые препятствуют индексированию старых страниц. Если это ваш случай, то пройдитесь по приведенному ниже списку, чтобы диагностировать и решить проблему.

1. Удалите блокирующие условия из файла robots.txt
2. Удалите шальные теги noindex
3. Добавьте адрес страницы в файл sitemap
4. Удалите шальные теги canonical
5. Проверьте, не является ли страница сиротой
6. Почините внутренние nofollow-ссылки
7. Добавьте «сильные» внутренние ссылки
8. Убедитесь, что страница уникальна и обладает ценностью
9. Удалите некачественные страницы (чтобы оптимизировать «краулинговый бюджет»)
10. Получите качественные обратные ссылки

Индексирование и ранжирование — это разные вещи

Наличие вашего сайта в индексе Google не означает, что он будет попадать в выдачу и приносить трафик. Это разные вещи.

Индексирование означает только то, что Google известно о существовании вашего сайта. Это не означает, что ваш сайт будет показан в топе выдачи по подходящим запросам.

Тут-то и вступает в дело SEO — искусство оптимизации веб-страниц для попадания в топ выдачи по определенным запросам.

В общих чертах поисковая оптимизация (SEO) включает в себя:

• Определение тем, которые ищут ваши клиенты.
• Создание контента на эти темы.
• Оптимизацию созданных страниц под целевые ключевые фразы.
• Наращивание обратных ссылок.
• Постоянное поддержание контента в актуальном состоянии.

Есть только две возможные причины, почему Google не индексирует ваш сайт или веб-страницу:

1. Технические проблемы, которые не дают поисковому роботу сделать это.
2. Качество контента — Google считает ваш сайт или страницу некачественными и бесполезными для своих пользователей.

Вполне возможно, что имеют место обе эти проблемы. Но, по моему опыту, технические проблемы встречаются гораздо чаще. Технические проблемы также могут стать причиной автоматического создания индексируемого некачественного контента (например, проблемы с фасетной навигацией). Это нехорошо.

Но проход по приведенному выше списку в девяти случаях из десяти должен решить проблемы индексирования.

AVSEO настаивает, что индексирование и ранжирование — это разные вещи. Выполнение поисковой оптимизации по-прежнему жизненно необходимо, если вы хотите вывести свои страницы в топ выдачи по подходящим поисковым запросам и привлечь стабильный поток естественного трафика.