• Автор:

    Flesha
  • Добавлено:

    дек 06, 2010
  • Комментариев:

    0
  • Просмотров:

    2779

Как правильно создать robots.txt

Как правильно создать robots.txt

Как правильно создать robots.txt

1. Для начало создадим в блокноте сам файл robots.txt с таким же именем.
2. Прописываем в нем следующие:
User-agent: *
Disallow: /*printDisallow: /user/
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Sitemap: http://ваш_сайт.ru/sitemap.xml
User-agent:
YandexHost: ваш_сайт.ru


, где ваш_сайт прописываем ваше доменное имя.
3. И наконец последние, кидаем данный файл в корень вашего сайта. Если не знаете, то туда, где лежит Файл index.

Данная статья будет нам полезен в исключении дублирующихся страниц, что увеличит шанс не попасть под фильтр АГС.
Такая фитча подходит к любым движкам сайтов, но данная статья сделана под DataLife Engine.
Вернуться
Информация
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.