| админ | Дата: Понедельник, 12.10.2009, 02:58 | Сообщение # 1 |
 Молодец!
Группа: Заблокированные
Сообщений: 50
Награды: 0
Статус: Offline
| User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Host: ваш сайт
Sitemap: sitemap.xml
Sitemap: sitemap-forum.xml Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д.
|
| |
| |
