Вопрос

Я использую:

  • MongoDB 1.6.5
  • Pimongo 1.9
  • Python 2.6.6

У меня есть 3 типа демонов. 1 -й нагрузка данных из веб -сайта, 2 -й проанализируйте их и сохраните результаты, и результат 3 -й группы. Все они работают с MongoDB. В какое -то время 3 -й демон бросает много таких исключений (в основном, когда в ББ существует большое количество данных):

Traceback (most recent call last):
  File "/usr/local/lib/python2.6/dist-packages/gevent-0.13.1-py2.6-linux-x86_64.egg/gevent/greenlet.py", line 405, in run
    result = self._run(*self.args, **self.kwargs)
  File "/data/www/spider/daemon/scripts/mainconverter.py", line 72, in work
    for item in res:
  File "/usr/local/lib/python2.6/dist-packages/pymongo-1.9_-py2.6-linux-x86_64.egg/pymongo/cursor.py", line 601, in next
    if len(self.__data) or self._refresh():
  File "/usr/local/lib/python2.6/dist-packages/pymongo-1.9_-py2.6-linux-x86_64.egg/pymongo/cursor.py", line 564, in _refresh
    self.__query_spec(), self.__fields))
  File "/usr/local/lib/python2.6/dist-packages/pymongo-1.9_-py2.6-linux-x86_64.egg/pymongo/cursor.py", line 521, in __send_message
    **kwargs)
  File "/usr/local/lib/python2.6/dist-packages/pymongo-1.9_-py2.6-linux-x86_64.egg/pymongo/connection.py", line 743, in _send_message_with_response
    return self.__send_and_receive(message, sock)
  File "/usr/local/lib/python2.6/dist-packages/pymongo-1.9_-py2.6-linux-x86_64.egg/pymongo/connection.py", line 724, in __send_and_receive
    return self.__receive_message_on_socket(1, request_id, sock)
  File "/usr/local/lib/python2.6/dist-packages/pymongo-1.9_-py2.6-linux-x86_64.egg/pymongo/connection.py", line 714, in __receive_message_on_socket
    struct.unpack("<i", header[8:12])[0])
AssertionError: ids don't match -561338340 0
<Greenlet at 0x2baa628: <bound method Worker.work of <scripts.mainconverter.Worker object at 0x2ba8450>>> failed with AssertionError

Может ли кто -нибудь сказать, что вызывает эта бывшая и как это исправить.

Спасибо.

Это было полезно?

Решение

Это, вероятно, проблема с потоком, связанная с тем, как вы используете рабочие потоки с коратиками Gevent. Похоже, что объект подключения Pymongo читает ответ на запрос, который он не сделал.

Лицензировано под: CC-BY-SA с атрибуция
Не связан с StackOverflow
scroll top