El archivo robots.txt es una elemento fundamental para toda página web que busca estar bien posicionada por los buscadores como Google . Funciona como el mapa para los crawlers , indicándoles qué áreas de tu web pueden están indexadas y cuáles se deben excluir . La adecuada configuración de este