El fichero robots.txt es el recurso fundamental para toda sitio web que busca estar bien indexada por los motores de búsqueda como Google . Funciona como el instructivo para los bots, indicándoles qué páginas de tu plataforma pueden están indexadas y cuáles se deben excluir . Una correcta configuración de este documento ayuda a evitar proble