User-agent: *
Disallow: /autobackup.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /cgi-bin/
Disallow: /templates/
Disallow: /engine/
Disallow: /languages/
Allow: /
Crawl-delay: 5 # задает таймаут в 5 секунды
Sitemap: http://a-4e.ru/sitemap.xml
User-agent: Yandex
Disallow: /*print
Crawl-delay: 5 # задает таймаут в 5 секунды
Host: a-4e.ru