El archivo robots.txt suele recibir atención únicamente cuando algo deja de funcionar. Una regla copiada de otro proyecto puede impedir que el buscador visite servicios importantes o cargue recursos necesarios para entenderlos. Para una empresa pequeña, revisar este archivo no consiste en escribir muchas instrucciones. Consiste en conocer qué parte del sitio debe descubrirse y comprobar que las reglas corresponden a esa intención. Un inventario breve de páginas públicas, rutas operativas y recursos compartidos es un mejor comienzo que una configuración sofisticada sin responsable.
Escribe primero la intención de cada regla
Antes de editar, explica con palabras sencillas qué se pretende evitar. Por ejemplo, puede haber combinaciones ilimitadas de filtros que no aportan páginas útiles. Ese caso es diferente de querer retirar una promoción vencida de los resultados. Robots.txt controla solicitudes de rastreo; no debe tratarse como un mecanismo de confidencialidad ni como una garantía de desindexación. Si una ruta contiene información que requiere acceso restringido, su protección debe resolverse mediante los controles correspondientes del sistema. No publiques rutas sensibles como si el archivo pudiera ocultarlas.
Revisa la regla más amplia antes que las excepciones
Un bloqueo general puede anular la intención comercial de toda la web. Localiza instrucciones que afecten al directorio raíz o a carpetas completas y relaciona cada una con URLs reales. En sitios migrados es frecuente que los nombres de carpetas hayan cambiado, mientras las reglas siguen describiendo la estructura anterior. Haz una pequeña matriz con dirección, propósito, regla aplicable y resultado esperado. Esta tabla facilita que una persona del negocio detecte contradicciones sin necesitar interpretar toda la sintaxis del archivo.
Considera los recursos que forman la página
La página que ve una persona puede depender de archivos de estilos, scripts e imágenes. Si el rastreador no puede obtener recursos relevantes, la representación del contenido puede diferir. No se trata de abrir indiscriminadamente cualquier carpeta: comprueba qué necesita la página pública para mostrar su información principal. En una revisión de lanzamiento, compara el documento y su representación renderizada. Una instrucción que parecía afectar solamente recursos técnicos puede tener consecuencias visibles sobre menús, enlaces o descripciones que se construyen al cargar esos archivos.
Cambia poco y verifica el efecto
Guarda la versión anterior, modifica las reglas necesarias y registra qué URLs utilizaste para comprobarlas. Evita hacer simultáneamente cambios en robots, etiquetas de indexación y redirecciones si no tienes forma de distinguir sus efectos. Asigna un responsable de revisar el archivo cuando se añada una sección nueva o se cambie de plataforma. La configuración debería ser entendible meses después: una breve nota interna sobre el motivo de cada bloqueo vale más que una larga lista heredada cuyo propósito nadie recuerda.
DE LA LECTURA A LA ACCIÓN
Para aplicar hoy
- Relaciona cada regla con una necesidad concreta y con URLs de prueba.
- No confundas control de rastreo con protección de información o retirada del índice.
- Incluye los recursos públicos necesarios para representar correctamente cada página.
Fuentes y referencias
Documentación para profundizar. Los ejemplos de esta guía son didácticos.