Про robots.txt

Даем указания поисковому роботу…

Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д.

Некоторые инструкции:

Запретить весь сайт для индексации всеми роботами

User-agent: *
Disallow: /

Разрешить всем роботам индексировать весь сайт

User-agent: *
Disallow:

Закрыть от индексации только несколько каталогов

User-agent: *   Значит всем роботам
Disallow: /cgi-bin/   Закрыть папку
Disallow: /tmp/
Disallow: /Имя каталога/

Итак прочитать о роботс.тэкст можно тут. А можно ниже скопировать для нужного движка|cms, подставив название своего сайта:

Robots.txt для wordpress:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/

Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/

Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Sitemap: http://адрес_сайта/sitemap.xml

Host: ваш_домен без http:// и без или с www

Robots.txt для Joomla:

User-agent: *

Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

Sitemap: http://адрес_сайта/sitemap.xml

Host: ваш_домен без http:// и без или с www

Robots.txt для DLE / Дли:

User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html

Sitemap: http://адрес_сайта/sitemap.xml

Host: ваш_домен без http:// и без или с www

Robots.txt для Drupal :

Disallow: /comment/

Disallow: /user/register?
Disallow: /user/register

Disallow: /user/login?
Disallow: /user/login

Disallow: /lnk?
Disallow: /*/feed$

Sitemap: http://адрес_сайта/sitemap.xml

Host: ваш_домен без http:// и без или с www

Часто файлы robots “прилагаются” к движкам.

И еще, команды нужно писать с новой строки, иначе не будет работать.



Похожие записи

RSSОформление подписки на квартал.