برامج زحف الويب والحصول على مقابل طلبات الوظائف

Question

ولقد سمعت أن برامج زحف الويب من المفترض أن نتابع فقط طلبات GET ولا تستطيع منها.

في العالم الحقيقي هو هذا الافتراض صحيحا؟

Answer 1

وعموما لم يفعلوا طلبات POST. هذا هو مجرد الوضع الراهن وعدم وأملت في أي مكان، على ما أعتقد. بعض محركات البحث هي تجربة الزحف أشكال ، ولكن هذه لا تزال طلبات GET.

Answer 2

وتسأل إذا الزواحف وتحليل من عناوين المواقع من العلامات شكل ومتابعتها؟ بعض سوف. انها الافتراض جدا أنها سوف دائما استخدام الفعل GET بالرغم من ذلك.

والمتطفلين هي قصة مختلفة.

Answer 3

والزواحف مؤدب فقط استخدام طلبات GET. تماما مثل الزواحف مهذبة طاعة bots.txt.

ولكن، حتى جوجل تلعب بسرعة وفضفاضة مع تعريف مهذبا، وقد فعلت الزاحف من الضرر عرض النطاق الترددي خطيرا لبعض المواقع بما في ذلك ستاكوفيرفلوو.