Cómo identificar bots·rastreadores de forma segura

Los bots de motores de búsqueda, los bots de previsualización social y los rastreadores de IA usan en su mayoría un User-Agent que se identifica. Por ejemplo, Googlebot incluye tokens como Googlebot/2.1 y GPTBot como GPTBot/1.1.

Por qué es arriesgado juzgar solo por el UA

Cualquiera puede falsificar el User-Agent. Si un scraper malicioso accede haciéndose pasar por Googlebot, un servidor que solo confía en la cadena de UA no podrá filtrarlo.

Procedimiento de verificación recomendado

Para confiar en un bot legítimo, comprueba lo siguiente en conjunto.

• Primera comprobación de si el UA contiene un token de bot conocido
• Comprobación de si la IP de acceso pertenece a un dominio oficial como googlebot.com mediante consulta de DNS inverso
• Comprobación de ese resultado de nuevo con DNS directo (coincidencia inversa + directa)
• Contraste con los rangos de IP que proporciona la documentación oficial

Relación con robots.txt

Los bots educados respetan robots.txt. Para controlar el rastreo, es más robusto combinar robots.txt con la verificación de IP en el servidor que bloquear por UA.

Los rastreadores de IA (GPTBot·ClaudeBot·PerplexityBot, etc.) también siguen en su mayoría las reglas de robots.txt, así que si quieres impedir el rastreo para entrenamiento, puedes indicar ese UA como Disallow en robots.txt.