Приемлемая ставка HTTP -запросов

Question

Я хочу добавить функцию в свои приложения, которая анализирует HTML -страницу и выпрыгивает к каждому <a href="http:\\foo" > в очереди.

Я собираю заголовок, описание и ключевые слова с каждой загрузки и загрузки ничего больше, и не собираюсь допускать, чтобы прыжок был более чем на одну глубину.

Это само по себе является тривиальным применением NSURLDownload а также NSXMLDocument Но что я хочу знать ...

Есть ли приемлемое количество запросов, которые не заставляют мое приложение выглядеть как событие DOS, как будто я просто вытекаю с запросами ребенка со скоростью, которую я просматриваю их со страницы родителей, я подозреваю, что это будет очень быстро обнаружено как таковое.

Answer 1

Вы должны соответствовать Протокол исключения роботов. Анкет RFC 2616 определяет предел 2 одновременных запросов на имя хоста, однако современные браузеры проходят мимо этого, и эта часть спецификации, вероятно, будет пересмотрена в соответствии с. Вполне вероятно, что NSURLConnection В любом случае будет использовать предел подключения внутри, но вы должны проверить это.