El archivo robots.txt es un elemento fundamental para cualquier sitio web que pretende estar bien vista por los motores de búsqueda como Bing. Funciona como un mapa para los bots, indicándoles qué https://soloweb.mx/knowledgebase/211/Sitemap-y-robots.txt-para-mejorar-tu-web.html