Трафик на ваш сайт, таргетированный или общий

Компания Promoheads приглашает клиентов, которые заинтересованы в монетизации своего сайта и хотели бы с его помощью повысить уровень постоянных доходов. Наши сотрудники оказывают помощь всем, кто нуждается в информационной поддержке. Данная статья посвящена пояснению, что представляет собой Robots.txt. Говоря коротко, это специальный файл, который находится в корневой директории сайта. Он имеет значение с точки зрения внутренней поисковой оптимизации и предназначается для поисковых роботов. Фактически, Robots.txt является одним из главных документов, на которые обращает внимание поисковая система в процессе индексации веб-ресурса.

Robots имеет определенные отличия от мета-тега. В частности, главное его предназначение – настройка индексации сайта в целом, а не единственной страницы.

Прописывается robots.txt в соответствии с определенной схемой:

• название – в нижнем регистре. Для создания файла используется Unix-формат. Новички, не осведомленные о правилах написания документа, могут воспользоваться подсказками Яндекса;
• в одной из строк файла прописан адресат правила (User-agent); во второй – правило (Disallow).

Понять синтаксис и структуру документа будет легче, если разобрать конкретный пример:

User-agent: * (значок* обозначает, что правило распространяется на все без исключения поисковые системы.  Веб-мастер вправе вместо * вставить имя определенного робота).

Disallow: /about/ (запрещается индексировать раздел about);

Disallow: /about (запрещается индексировать раздел about, а также файл about.php).

При написании robots.txt нужно быть предельно внимательными, так как каждый символ имеет определенное значение. В частности, косая черта (слэш) является значимой для поисковых роботов. Если возле слова Disallow:  отсутствует слэш, то все страницы сайта открыты для индексирования, а при наличии слэша страницы не могут индексироваться.

Robots.txt позволяет быстрее продвигать сайты. Для этого вписываются дополнительные директивы, касающиеся таких нюансов:

• время, которое проходит между загрузкой страниц поисковой системой;
• количество страниц, загруженных в течение секунды;
• конкретное время в течение суток, когда происходит индексация;
• разрешенный доступ к некоторым страницам сайта.