Aqui dejo algunos enlaces que pueden ser utiles para todo aquel que este interesado en aprender como funcionan los robots web (Spiders o Web Crawlers). Hay informacion a nivel basico para quienes esten comenzando a meterse en estos temas:

• http://www.robotstxt.org/ > Basic information and links to known robots and open source projects
• http://www.robotstxt.org/wc/faq.html > The FAQ
• http://en.wikipedia.org/wiki/Web_crawler > Some additional information and links to open source bots
• http://www.ficstar.com/web_grabber/web_crawler.html > A private crawler software
• http://www.newprosoft.com/web-spider.htm > Another private crawler software with a competitive price