taux acceptable de requêtes http

Question

Je veux ajouter une fonctionnalité à mes applications qui parse une page HTML et saute à chaque <a href="http:\\foo" > à son tour.

Im collecte titre, description et mots-clés de chaque chargement de page et le chargement rien d'autre et à ne pas l'intention de permettre le saut d'être plus d'une profondeur.

Cela en soi est une application triviale de NSURLDownload et NSXMLDocument mais ce que je veux savoir ...

Y at-il un taux acceptable de demandes qui ne vais pas pour que mon look soft comme un événement DOS comme si je coule juste les demandes de l'enfant au taux je les parser de la page parent alors je soupçonne que ce sera très rapidement sont détectées en tant que telle .

Answer 1

Vous doit être conforme aux le protocole d'exclusion des robots . RFC 2616 spécifie une limite de 2 requêtes simultanées par nom d'hôte, mais les navigateurs modernes passent devant cela et cette partie du cahier des charges est susceptible d'être révisé en fonction. Il est probable que NSURLConnection utilisera une limite de connexion interne de toute façon, mais vous devriez vérifier.