Если всеми сайт забыт, то вам нужен аудит!

Аудит сайта — анализ ресурса на соответствие требованиям, предъявляемым поисковыми системами для осуществления последующего поискового продвижения, а также оценка его удобства его использования и привлекательности для пользователей.

Как правило, аудит сайта включает в себя:

• Технический аудит
• SEO-аудит
• Usability-аудит
• Маркетинговый аудит

Технический аудит позволяет выявить ошибки связанные с работой хостинга и программного кода сайта. Решение технических проблем является фундаментом для последующего успешного поискового продвижения проекта.

Поисковый или SEO-аудит выполняется после проведения технического аудита и направлен на выявление и устранение ошибок внутренней оптимизации.

Юзабилити аудит позволяет обнаружить проблемы, препятствующие эффективному взаимодействию пользователей сайта с публикуемым контентом и работающим функционалом, и, направлен на повышение конверсии. Источник: beseller

Сегодня мы поговорим о техническом и SEO-аудите сайта

Технический аудит

Ошибки в коде HTML и CSS разметки

Ошибки в HTML и CSS приводят к неправильному отображению страниц сайта, потере позиций в поисковой выдаче и даже попаданию под фильтр поисковиков.

Самые распространенные ошибки в HTML и CSS:

• используется не рекомендованный тег;
• не рекомендованные символы в ссылках;
• не указан обязательный атрибут;
• не закрыт тег;

Сервисы для проверки HTML и CSS сканируют код и выдают подробный отчет на предмет ошибок.

• HTML Validator
• CSS Validator

Отправить код для проверки сервисами можно по ссылке, загрузить из файла или скопировать текст кода в соответствующее поле.

Корректность кодировки страниц сайта

Из-за некорректной кодировки контент сайта может отображаться неправильно. Помимо того, что посетителям это не понравится, сайт не проиндексируется или попадет под фильтр поисковиков.

Чтобы узнать кодировку, посмотрите ответы сервера в специальных сервисах.

О кодировке сообщает строка Content-Type.

Content-Type: text/html; charset=utf-8 — говорит о том, что у вас кодировка UTF-8.

Далее проверьте, соответствует ли кодировка, которую отправляет сервер, реальной кодировке сайта. Откройте исходный код страницы сайта и найдите строку, содержащую слово charset внутри тега head.

<meta http-equiv="Content-Type" content="text/html; charset=UTF-8"> — на странице сайта используется кодировка UTF-8.

Если такой строчки нет, вставьте строку с кодировкой между открывающим и закрывающим тегом head, чтобы указать кодировку сайта в файле шаблона сайта.

Кодировки Windows-1251 и UTF-8 правильно отображают сайт и поддерживают кириллические символы.

Ошибка 404 Not Found

Страница ошибки 404 отображается, когда посетитель сайта пытается попасть в несуществующую часть ресурса. Если у вас много страниц с ошибкой 404, ваш сайт будет раздражать пользователей и упадет в выдаче.

Почему пользователи попадают на несуществующую страницу:

• страница перемещена или удалена, но осталась в индексе поисковика и пользователь получил на нее ссылку в выдаче;
• страница перемещена или удалена, но на ресурсе остались внутренние ссылки на нее;
• страница перемещена или удалена, но на нее ссылаются сторонние ресурсы;
• опечатка в адресной строке браузера.

Оптимизация страницы 404 происходит в два этапа

1. Сделайте так, чтобы пользователи не попадали на несуществующую страницу

Проверьте сайт на «битые» ссылки — внутренние и внешние.

Для этого можно использовать:

• панели вебмастеров Google;
• бесплатную программу Xenu's Link Sleuth.

Используйте сразу несколько средств, чтобы наверняка найти все нерабочие ссылки.

Определите, что делать с каждой из «битых» ссылок:

• Если ошибку выдает сайт по внешней коммерческой ссылке, свяжитесь с рекламодателем и сообщите, что его сайт не работает;
• Если страница по ссылке была перемещена, настройте 301 редирект;
• Если целевая страница внутренней ссылки удалена, удалите ссылку или заполните несуществующую страницу контентом. О том, как оформить страницу 404 — ниже.

После исправления ссылок необходимо удалить несуществующие страницы из индекса поисковых систем. Это делается средствами уже упомянутых панелей вебмастеров Google.

Чтобы страница удалилась из индекса, сервер при обращении к ней должен возвращать ошибку 404. Если страница существует, но не должна участвовать в поисковой выдаче, закройте ее от индексации правилами robots.txt или мета-тегом noindex.

При следующем обходе сайта роботом запросы на удаление будут выполнены, а страницы исчезнут из результатов поиска.

2. Создайте оригинальную страницу 404 Not Found

Если пользователь попадет на несуществующую страницу, сервер покажет страницу 404 по умолчанию. В лучшем случае, это краткое пояснение, что пользователь "не туда попал" и реклама вашего хостера. Скорее всего, пользователь покинет сайт, увидев такую страницу. Оригинальная страница 404 поможет удержать посетителя на сайте.

Требования к странице 404

• Оригинальная страница 404 должна соответствовать дизайну и идее вашего сайта. Пользователь должен понять, что попал именно на ваш сайт;
• Страница 404 не должна быть «тупиковой». Разместите на ней ссылки на основные разделы, поиск по сайту, ссылки на группы в соцсетях;
• Пользователь должен понять, почему он попал на несуществующую страницу. Добавьте небольшое текстовое пояснение, справочную информацию, живой чат с техподдержкой пользователей или форму обратной связи.
• Смешные изображения, видеоролики, интересные интерактивные элементы помогают сгладить разочарование от попадания на страницу 404.

Чтобы указать серверу, куда перенаправлять пользователей, если возникает ошибка 404, используется директива ErrorDocument в файле .htaccess в корневой папке сайта:

ErrorDocument 404 http://example.com/404.html

Где http://example.com/404.html — адрес вашей оригинальной страницы 404.

Таким же способом с помощью файла .htaccess вы можете обрабатывать и другие ошибки сервера:

401 ошибка (ErrorDocument 401 http://example.com/page.html) — требуется авторизация;

403 ошибка (ErrorDocument 403 http://example.com/page.html) — доступ запрещен;

500 ошибка (ErrorDocument 500 http://example.com/page.html) — внутренняя ошибка сервера.

Скорость загрузки страниц

Низкая скорость загрузки страниц не нравится ни пользователям, ни поисковикам. Проверить скорость загрузки страниц сайта можно с помощью сервиса Google Pagespeed. Оптимальная скорость загрузки сайта на десктопе — не более 3 секунд, на мобильных устройствах — 7-9 секунд.

Как увеличить скорость загрузки страниц сайта?

1. Сократите размер кода CSS и JavaScript

Онлайн-сервисы для упрощения JavaScript и CSS удаляют из кода пробелы и комментарии, сокращая время его загрузки.

Советуем эти:

• Refresh-SF
• YUI Compressor
• CSSResizer
• JSCompress

Размещайте CSS-файлы в начале страницы, а JS-файлы — перед закрывающим тегом body. До момента отображения контента страницы браузер должен загрузить только стили, а скрипты — в последнюю очередь. Так пользователь быстрее увидит содержимое страницы. Если стили тоже перенести в низ страницы, то разметка после загрузки будет не стилизована, до момента загрузки стилей это будет выглядеть некрасиво.

2. Уменьшите объем загружаемых страниц

Используйте сжатие gzip, это сократит время передачи файлов браузеру.

По умолчанию конфигурационный файл Nginx называется nginx.conf и расположен в каталоге /usr/local/nginx/conf, /etc/nginx или /usr/local/etc/nginx. Для включения сжатия gzip в Nginx, добавьте в этот файл эти строки:

server {

....

gzip on;

gzip_disable "msie6";

gzip_types text/plain text/css application/json application/x-javascript text/xml application/xml application/xml+rss text/javascript application/javascript;

}

Nginx позволяет регулировать уровень сжатия от 1 до 9 строкой: gzip_comp_level 5. Оптимальный уровень — 5.

Для включения сжатия gzip в Apache убедитесь, что подключен модуль mod_deflate. Далее, добавьте в файл .htaccess следующие строки:

AddOutputFilterByType DEFLATE text/plain

AddOutputFilterByType DEFLATE text/html

AddOutputFilterByType DEFLATE text/xml

AddOutputFilterByType DEFLATE text/css

AddOutputFilterByType DEFLATE application/xml

AddOutputFilterByType DEFLATE application/xhtml+xml

AddOutputFilterByType DEFLATE application/rss+xml

AddOutputFilterByType DEFLATE application/javascript

AddOutputFilterByType DEFLATE application/x-javascript

Проверить работоспособность и степень сжатия gzip вашего сайта можно с помощью сервиса GIDZipTest.

3. Оптимизируйте изображения

Оптимизируйте размер изображения под сайт. Не загружайте изображение на хостинг в разрешении 4000x3000, если отображаться оно будет в 800x600 без возможности увеличения по клику.

Бесплатные онлайн-сервисы для редактирования изображений:

• PicMonkey
• Pixlr
• BeFunky

Формат JPEG лучше всего подходит для фотографий. PNG лучше сжимает однотонные участки и градиенты, поддерживает прозрачность. Используйте его для иконок, иллюстраций и пр.

Добейтесь баланса между сжатием и качеством изображения. Используйте максимально возможное сжатие, но следите, чтобы не было излишней размытости, пикселизации или артефактов.

Онлайн-сервисы для сжатия изображений:

• CompressJPEG
• PunyPNG
• TinyPNG

Укажите ширину и высоту всех изображений. Браузер отображает страницу еще до загрузки изображений, если известны размеры места, которое зарезервировано для них. Укажите эти размеры, чтобы ускорить загрузку страницы и сделать ее удобной для пользователей.

В любой CMS можно указать желаемые ширину и высоту изображения в редакторе изображений. Если нет возможности использовать инструментарий CMS, задайте с помощью атрибутов width (ширина) и height (высота).

Пример:

<img src="photo.jpg" width="640" height="480">

С осторожностью используйте изображения для оформления сайта. Везде, где это возможно, вместо изображений пользуйтесь CSS для создания фона.

4. Включите кэш данных
5. Избавьтесь от лишних редиректов

Везде, где возможно, избавьтесь от редиректов, чтобы посетители сайта сразу направлялись на нужную страницу. Редирект увеличивает время загрузки страницы, а поисковые системы могут расценить множественные перенаправления как проблемы на сайте.

Использование редиректа оправдано в случаях, если адреса страниц меняются по техническим причинам, для склейки доменов с www и без www и для перенаправления на мобильную версию сайта.

6. Уменьшите количество запросов к серверу

Настройка файла robots.txt

Robots.txt – текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем. Robots.txt не пустит поискового робота на страницы, которые вы хотите закрыть от индексации.

Как сделать файл robots.txt?

1. В текстовом редакторе создайте файл с именем robots.txt. Важно! Все буквы в нижнем регистре;
2. Заполните файл в соответствии с правилами и вашими требованиями к индексированию сайта. Важно! Кодировка файла должна быть UTF-8;
3. Загрузите файл в корневую директорию сайта.

Файл robots.txt использует систему директив – правил, задаваемых поисковому роботу.

Формат строки файла robots.txt:

Директива:[пробел]значение

Для корректной работы robots.txt необходимо, чтобы хотя бы одна директива Disallow была после каждого указания User-agent.

Директивы для robots.txt:

«User-agent:» — основная директива robots.txt. Используется для конкретизации поискового робота, которому будут даваться указания.

• User-agent: Googlebot – все команды, следующие после этой директивы, будут касаться исключительно индексирующего робота Google;
• User-agent: * – обращение ко всем поисковикам.

После основной директивы «User-agent:» следуют конкретные команды:

«Disallow:» — директива запрета индексации в robots.txt. Запрещает поисковому роботу индексировать веб-ресурс целиком или какую-то его часть.

• Disallow: / – сайт не будет индексироваться
• Disallow: /forum – из индексации исключается папка «forum»
• Disallow: – весь сайт открыт для индексации

«Allow:» — директива разрешения индексации. При помощи тех же самых уточняющих элементов, но используя эту команду в файле robots.txt, можно разрешить индексирующему роботу вносить нужные элементы сайта в поисковую базу.

Спецсимволы * и $

При указании путей директив Allow и Disallow можно использовать спецсимволы * и $, чтобы задать определенные регулярные выражения.

• Спецсимвол * – означает любую, в том числе пустую, последовательность символов.

Disallow: /support/*.html – запрещает индексировать все страницы .html в директории support.

По умолчанию к концу каждого правила, описанного в файле robots.txt, приписывается спецсимвол *. Строки «Disallow: /example» и «Disallow: /example*» поисковый бот воспримет как идентичные. Чтобы отменить * на конце правила, можно использовать спецсимвол $.

Disallow: /example$ – запрещает «/example», но не запрещает «/example.html».

«Sitemap:» — директива, указывающая индексирующему роботу путь к файлу карты сайта. Помогает поисковому роботу быстрее проиндексировать Карту сайта, чтобы страницы веб-сайта быстрее попали в поисковую выдачу.

User-agent: *

Sitemap: http://example.com/sitemap.xml

Сгенерировать файл robots.txt для вашего сайта можно с помощью данного сервиса.

Подробнее о robots.txt и всех директивах чатайте в этой статье.

Об особенностях взаимодействия поискового робота Google с файлом robots.txt читайте в справочных материалах Google.

Канонические URL

Иногда одна страница сайта может быть доступна по нескольким адресам:

• ru/statya1
• ru/blog/statya1
• ru/1/1

Почему у одной страницы может быть несколько URL:

• Вхождение материала сразу в несколько категорий;
• Некорректная настройка CMS.

Роботы поисковых систем распознают эти адреса, как разные web-документы с одинаковым содержанием. Поисковики могут понизить в выдаче дублированный контент.

Атрибут link указывает поисковому роботу основную версию документа. Это нужно для того, чтобы:

• ссылочный вес корректно передавался на нужную версию сайта;
• контент, доступный по нескольким URL, индексировался и ранжировался правильно;
• не попасть под санкции поисковиков из-за дублей.

Чтобы указать поисковику каноническую страницу, нужно в код каждого дубля добавить между тегами <head> и </head> строку:

<link rel="canonical" href="http://site.ru/statya1"/>

где http://site.ru/statya1 — URL страницы, который должен быть основным.

Важно!

Обязательно указывайте полный адрес с http:// и доменом.

Использовать канонические URL полезно, когда есть много страниц с похожим содержанием, например, интернет-магазины. Если у вас есть продукт разных цветов с одинаковыми описаниями на отдельных страницах, вы можете выбрать самый популярный вариант в качестве канонической версии. Другие цвета будут по-прежнему доступны пользователям, но вес с внешних ссылок на них будет перенаправляться на канонический URL-адрес.

Подробнее о канонических URL читайте в справке Google

Склейка доменов с www или без

Технически, домены с www и без www — это два разных ресурса, поисковые системы индексируют и ранжируют их отдельно, а ссылки будут иметь разный вес. Это может грозить:

• понижением в поисковой выдаче;
• фильтром, потому что поисковик может принять один сайт за дубликат другого;
• проблемами с авторизацией на сайте и другим функционалом, использующим cookie.

Проблема решается 301 редиректом и указанием поисковикам основного зеркала. С точки зрения продвижения сайта домен без www лучше, потому что не является доменом третьего уровня, а его длина всегда будет меньше.

В примере рассмотрен этот вариант.

Как указать основное зеркало для Google

1. Авторизуйтесь/зарегистрируйтесь в Google Search Console;
2. Добавьте ваш сайт, подтвердите права, если не сделали это ранее;
3. Нажмите на значок шестеренки и выберите "Настройки сайта";
4. Укажите нужный вариант в разделе "Основной домен".

Google обрабатывает информацию от суток до двух недель.

301 редирект

Важно!

Приступайте к этому пункту только когда боты поисковых систем обработают информацию об основных зеркалах, иначе ваш сайт может полностью выпасть из поисковой выдачи.

1. Откройте/создайте в корне вашего сайта файл .htaccess
2. Добавьте строки кода:

RewriteEngine on

RewriteCond %{HTTP_HOST} ^www\.(.*) [NC]

RewriteRule ^(.*)$ http://%1/$1 [R=301,L]

XML карта сайта

Sitemap.xml — файл с информацией о страницах сайта, подлежащих индексированию. Файл сообщает роботам поисковых систем:

• какие страницы сайта нужно индексировать;
• как часто обновляется информация на страницах;
• индексирование каких страниц наиболее важно.

Поисковый робот может не найти некоторые страницы или неверно определить их важность: проблемными обычно становятся динамически создаваемые страницы или страницы, к которым ведет длинная цепочка ссылок. Файл Sitemap решает эти проблемы.

Требования к файлу Sitemap

• Файл должен располагаться на том же домене, что и сайт, для которого он составлен и указывать только на страницы этого домена;
• При обращении к файлу сервер должен возвращать HTTP-статус с кодом 200 OK;
• Файл может содержать не более 50 000 URL, а размер в несжатом виде не должен превышать 10 Мб. Если Sitemap не удовлетворяет этим требованиям, разбейте его на несколько отдельных файлов и укажите их в файле индекса Sitemap;
• В файле необходимо использовать кодировку UTF-8;
• Ссылки в файле Sitemap должны указывать на страницы, находящиеся в том же каталоге или его подкаталогах, что и сам файл Sitemap.

Ссылки, указанные в файле Sitemap, должны использовать тот же протокол, по которому доступен файл Sitemap.

Если файл Sitemap находится на http://www.example.com/sitemap.xml, то он не может содержать ссылки типа https://www.example.com/page.html и ftp://www.example.com/file.doc.

Чтобы сообщить поисковым системам, где находится Sitemap.xml, используйте директиву "Sitemap:" для robots.txt:

sitemap: http://example.com/sitemap.xml

Прежде чем приступать к SEO-аудиту, стоит проверить технические ошибки на вашем сайте и заранее провести технический аудит сайта, ведь если у машины нет колёс, мастерство водителя вряд ли поможет добраться куда-либо.