Вопрос
Имеет ли модуль полки Python какую-либо встроенную защиту, гарантирующую, что два процесса не записывают в файл одновременно?
Решение
Модуль полки использует базовый пакет базы данных (например, dbm, ГДБМ или бсддб).
А ограничения праграф говорит (мой акцент):
Полочный модуль не поддерживает одновременный доступ для чтения/записи к объектам на полках.(Множественные одновременные доступы для чтения безопасны.) Если в программе есть полка, открытая для записи, ни одна другая программа не должна открывать ее для чтения или записи.Для решения этой проблемы можно использовать блокировку файлов Unix, но она различается в разных версиях Unix и требует знаний об используемой реализации базы данных.
Заключение:это зависит от ОС и базовой БД.Чтобы обеспечить переносимость, не опирайтесь на параллелизм.
Другие советы
Согласно верхнему ответу, небезопасно держать на полке несколько писателей.Мой подход к тому, чтобы сделать полки более безопасными, — написать обертку, которая заботится об открытии элементов полки и доступе к ним.Код оболочки выглядит примерно так:
def open(self, mode=READONLY):
if mode is READWRITE:
lockfilemode = "a"
lockmode = LOCK_EX
shelve_mode = 'c'
else:
lockfilemode = "r"
lockmode = LOCK_SH
shelve_mode = 'r'
self.lockfd = open(shelvefile+".lck", lockfilemode)
fcntl.flock(self.lockfd.fileno(), lockmode | LOCK_NB)
self.shelve = shelve.open(shelvefile, flag=shelve_mode, protocol=pickle.HIGHEST_PROTOCOL))
def close(self):
self.shelve.close()
fcntl.flock(self.lockfd.fileno(), LOCK_UN)
lockfd.close()
я реализовал Подход Иво в качестве контекстного менеджера, кому интересно:
from contextlib import contextmanager, closing
from fcntl import flock, LOCK_SH, LOCK_EX, LOCK_UN
import shelve
@contextmanager
def locking(lock_path, lock_mode):
with open(lock_path, 'w') as lock:
flock(lock.fileno(), lock_mode) # block until lock is acquired
try:
yield
finally:
flock(lock.fileno(), LOCK_UN) # release
class DBManager(object):
def __init__(self, db_path):
self.db_path = db_path
def read(self):
with locking("%s.lock" % self.db_path, LOCK_SH):
with closing(shelve.open(self.db_path, "c", 2)) as db:
return dict(db)
def cas(self, old_db, new_db):
with locking("%s.lock" % self.db_path, LOCK_EX):
with closing(shelve.open(self.db_path, "c", 2)) as db:
if old_db != dict(db):
return False
db.clear()
db.update(new_db)
return True