كيفية تعريف البوتات والزواحف بأمان

تستخدم بوتات محركات البحث وبوتات معاينة الشبكات الاجتماعية وزواحف الذكاء الاصطناعي في معظمها User-Agent يُعرّف بنفسه. فمثلًا يتضمّن Googlebot رمز Googlebot/2.1 ويتضمّن GPTBot رمز GPTBot/1.1.

لماذا الاعتماد على UA وحده خطِر

يمكن لأي شخص تزوير User-Agent. فإن وصل كاشط خبيث متنكّرًا في هيئة Googlebot، فلن يستطيع الخادم الذي يثق بسلسلة UA وحدها تصفيته.

إجراء التحقق الموصى به

للوثوق ببوت شرعي، تحقّق مما يلي معًا.

• التحقق المبدئي من وجود رمز بوت معروف في UA
• الاستعلام العكسي عن DNS لعنوان IP المتصل للتأكد من نطاق رسمي مثل googlebot.com
• إعادة التحقق من تلك النتيجة عبر DNS الأمامي (تطابق العكسي والأمامي)
• المقارنة مع نطاقات IP التي توفّرها الوثائق الرسمية

العلاقة بـ robots.txt

تحترم البوتات المهذّبة robots.txt. وللتحكم في الزحف، فإن دمج robots.txt مع التحقق من IP على جانب الخادم أمتن من الحظر عبر UA.

زواحف الذكاء الاصطناعي (مثل GPTBot وClaudeBot وPerplexityBot) تتبع أيضًا قواعد robots.txt في معظمها، فإن أردت منع زحف التدريب فيمكنك تحديد UA الخاص بها بأمر Disallow في robots.txt.