# данный файл запрещает индексацию страниц и каталогов
# поисковми пауками.
#
#
#
#Большинство их получено напрямую от поисковых систем или от других уважаемых источников:
#
#Search Engine: User-Agent
#AltaVista: Scooter
#Infoseek: Infoseek
#Hotbot: Slurp
#AOL: Slurp
#Excite: ArchitextSpider
#Google: Googlebot
#Goto: Slurp:
#Lycos: Lycos
#MSN: Slurp
#Netscape: Googlebot
#NorthernLight: Gulliver
#WebCrawler: ArchitextSpider
#Iwon: Slurp
#Fast: Fast
#DirectHit: Grabber
#Yahoo Web Pages: Googlebot
#Looksmart Web Pages: Slurp 
#

User-agent: {SpiderNameHere}
Disallow: {FilenameHere}
User-agent:Scooter
User-agent:Infoseek
User-agent:Slurp
User-agent:ArchitextSpider
User-agent:Googlebot
User-agent:Lycos
User-agent:Googlebot
User-agent:Gulliver
User-agent:ArchitextSpider
User-agent:Fast
User-agent:Grabber

Disallow: /idor
Disallow: /keyparser
Disallow: /kp
Disallow: /rbutton
Disallow: /submitter
Disallow: /tds