El archivo robots.txt es el recurso esencial para toda sitio que busca ser bien vista por los buscadores como Bing. Sirve como una instructivo para los bots, indicándoles qué páginas de tu https://soloweb.mx/knowledgebase/211/Sitemap-y-robots.txt-para-mejorar-tu-web.html