# me cagan los 404s porque no encuentra robots.txt User-agent:* Disallow: /test Disallow: /hueva Disallow: /hotmail Disallow: /crack Disallow: /cgi-bin Disallow: /blah