Python urllib2.urlopen error: Error de tiempo de espera hace que caiga la conexión a Internet?

Question

No sé si estoy haciendo algo mal, pero estoy 100% seguro de que el script en Python hace que caiga la conexión a Internet.

Me escribió un script en Python para raspar miles de archivos de información de cabecera, principalmente para Content-Length para obtener el tamaño exacto de cada archivo, mediante petición HEAD.

Código de ejemplo:

class HeadRequest(urllib2.Request):
    def get_method(self):
        return "HEAD"

response = urllib2.urlopen(HeadRequest("http://www.google.com"))
print response.info()

La cosa es que después de varias horas de funcionamiento, el guión comienza a tirar de error urlopen agotado el tiempo, y mi conexión a Internet se ha reducido a partir de entonces. Y mi conexión a Internet siempre estará de nuevo en forma inmediata después de cerrar ese guión. Al principio pensé que podría ser la conexión no es estable, pero después de varios tiempos de funcionamiento, que resultó ser culpa de los guiones.

No sé por qué, esto debe ser considerado como un error, ¿verdad? O mi ISP me prohibió para hacer tales cosas? (Yo ya puse el programa que esperar 10 segundos cada solicitud)

Por cierto, estoy usando la red VPN, ¿tiene algo que ver con esto?

Answer 1

supongo que o bien su ISP o proveedor de VPN que está limitando debido a los altos volúmenes de tráfico sospechoso, o el enrutador o el túnel VPN se obstruya con conexiones medio abiertas. Internet para el consumidor realmente no está destinado a actividades de tipo araña.

Answer 2

"comienza el script para tirar de error urlopen Tiempo de espera agotado"

No podemos ni siquiera empezar a adivinar.

Usted necesidad de reunir datos en su ordenador e incluir esos datos en su pregunta.

Obtener otro equipo. Ejecutar la secuencia de comandos. ¿El acceso a Internet de otro ordenador bloqueado también? ¿O es que todavía trabajo?

• Si ambos equipos están bloqueados, no es el software, que es su proveedor. Modificar Su pregunta con esta información, y cómo lo tienes.

• Si sólo el equipo que ejecuta la secuencia de comandos se detiene, no es su proveedor, que está siendo agotado sus recursos del sistema operativo. Esto es más difícil de diagnosticar debido a que podría ser de memoria, tomas de corriente o descriptores de fichero. Por lo general, sus zócalos.

Es necesario encontrar algún software ifconfig / ipconfig diagnóstico para su sistema operativo. Es necesario a actualización su pregunta a otro sistema operativo exactamente lo que está utilizando. Es necesario utilizar este software de diagnóstico para ver cuántas tomas abiertas son desordenados en el sistema.