El archivo robots.txt es el elemento fundamental para toda página web que desea estar bien posicionada por los buscadores como Google . Opera como una directorio para los crawlers , indicándoles qué páginas de tu plataforma pueden ser crawleadas y cuáles se deben excluir . La adecuada configuración de este archivo puede a prevenir problemas d