Cara Mengidentifikasi Bot·Crawler dengan Aman

Bot mesin pencari, bot pratinjau sosial, dan crawler AI sebagian besar memakai User-Agent yang mengumumkan dirinya. Misalnya Googlebot menyertakan token seperti Googlebot/2.1, dan GPTBot seperti GPTBot/1.1.

Mengapa berbahaya menilai hanya dari UA

User-Agent bisa dipalsukan siapa saja. Jika scraper jahat berpura-pura menjadi Googlebot untuk mengakses, server yang hanya percaya pada string UA tidak dapat menyaringnya.

Prosedur verifikasi yang dianjurkan

Untuk mempercayai bot yang sah, periksa hal berikut secara bersamaan.

• Periksa awal apakah ada token bot yang dikenal dalam UA
• Reverse DNS lookup terhadap IP akses untuk memastikan apakah berdomain resmi seperti googlebot.com
• Konfirmasi ulang hasilnya dengan forward DNS (cocok reverse+forward)
• Bandingkan dengan rentang IP yang disediakan dokumentasi resmi

Hubungan dengan robots.txt

Bot yang sopan menghormati robots.txt. Untuk mengendalikan crawling, mengombinasikan robots.txt dengan verifikasi IP di sisi server lebih kokoh daripada memblokir dengan UA.

Crawler AI (GPTBot·ClaudeBot·PerplexityBot dll.) juga sebagian besar mengikuti aturan robots.txt, jadi jika ingin mencegah crawling pelatihan, Anda bisa menetapkan UA terkait sebagai Disallow di robots.txt.