Python-Anfragen (>= 1. *): So deaktivieren Sie das Halten-Alive?

Question

Ich versuche, einen einfachen Web-Crawler mit dem Anforderungsmodul zu programmieren, und ich möchte wissen, wie sie seine -Default-Heque-lebendige Feierlichkeit deaktivieren kann.

Ich habe versucht zu verwenden:

generasacodicetagpre.

Ich erhalte jedoch einen Fehler, der angibt, dass das Sitzungsobjekt keine Attribute 'config' hat, ich glaube, es wurde mit der neuen Version geändert, aber ich scheine nicht zu finden, wie es in der offiziellen Dokumentation geht.

Die Wahrheit ist, wenn ich den Crawler auf einer bestimmten Website ausführe, es wird nur fünf Seiten höchstens fünf Seiten bekommen und schleift dann unendlich ein, also dachte ich, dass es etwas mit der Keep-Alive-Funktion zu tun hat!

ps: ist ein gutes Modul für einen Web-Crawler anfordern?Gibt es etwas mehr angepasstes?

Danke!

Answer 1

Das funktioniert

generasacodicetagpre.

in den Kommentaren einer ähnlichen Frage beantwortet.

Answer 2

Ich bin nicht sicher, aber können Sie versuchen, {"Verbindung": "Schließen"} als HTTP-Header, wenn Sie eine Get-Anforderung mit Anforderungen senden.Dadurch wird die Verbindung geschlossen, sobald ein Server eine Antwort zurückgibt.

generasacodicetagpre.

Answer 3

Da @Praveen vorgeschlagen wurde, dass er von uns erwartet wird, um den HTTP/1.1-Header Connection: close zu verwenden, um den Server zu benachrichtigen, dass der Server nach Abschluss der Antwort geschlossen werden sollte.

Hier ist es in RFC 2616 beschrieben:

http / 1.1 Definiert die Verbindungsoption "Schließen" für den Absender, um zu signalisieren, dass die Verbindung nach Abschluss der Antwort geschlossen wird.Zum Beispiel

generasacodicetagpre.

Entweder in der Anforderung oder in der Anforderungsheader-Felder zeigt an, dass die Verbindung nicht als "persistent" (Abschnitt 8.1) angesehen werden sollte (Abschnitt 8.1), nachdem die aktuelle Anforderung / Antwort vollständig ist.

http / 1.1 Anwendungen, die keine persistenten Verbindungen unterstützen, müssen in jeder Nachricht die Verbindungsoption "Schließen" enthalten.