El archivo robots.txt es el recurso fundamental para cualquier sitio que busca ser bien vista por los motores de búsqueda como Bing. Opera como una directorio para los bots, indicándoles qué https://soloweb.mx/knowledgebase/211/Sitemap-y-robots.txt-para-mejorar-tu-web.html