Сериализация объекта sus в Python
https://stackoverflow.com/questions/2412486
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
RussianВопрос
Хорошо, я работаю над тем, чтобы стать лучше с Python, поэтому я не уверен, что это правильный способ начать то, что я делаю, но вот моя текущая проблема...
Мне нужно получить некоторую информацию с помощью метода SOAP, и сейчас я использую только часть информации, но сохраняю весь результат для будущего использования (нам нужно использовать эту службу как можно меньше).В поисках лучшего способа доступа к сервису я решил, что лучше всего использовать suds, он был прост и работал как волшебство для получения данных.Но теперь я хочу как-то сохранить результат, желательно сериализованный/в базе данных, чтобы потом вытащить его и использовать так же.
Как лучше всего это сделать, похоже, Pickle/JSON не подходит?Спасибо!
ОбновлятьЧитая верхний ответ на Как я могу замариновать результаты пены? дает мне лучшее представление о том, почему это не вариант. Думаю, я застрял в воссоздании базового объекта с необходимой мне информацией?
Решение
Да, я подтверждаю объяснение, которое я дал в ответе, на который вы ссылаетесь - динамически сгенерированные классы нелегко выбрать (и иным образом легко сериализовать), вам нужно извлечь всю информацию о состоянии, выбрать что состояние и реконструировать сложный sudsobject при извлечении, если вы действительно настаиваете на его использовании ;-).
Другие советы
Я использовал следующий подход для преобразования объекта Suds в JSON:
from suds.sudsobject import asdict
def recursive_asdict(d):
"""Convert Suds object into serializable format."""
out = {}
for k, v in asdict(d).iteritems():
if hasattr(v, '__keylist__'):
out[k] = recursive_asdict(v)
elif isinstance(v, list):
out[k] = []
for item in v:
if hasattr(item, '__keylist__'):
out[k].append(recursive_asdict(item))
else:
out[k].append(item)
else:
out[k] = v
return out
def suds_to_json(data):
return json.dumps(recursive_asdict(data))
Я реализовал фиктивный класс для объекта suds, а затем получил возможность сериализации.FakeSudsInstance ведет себя как исходный экземпляр объекта Suds, см. ниже:
from suds.sudsobject import Object as SudsObject
class FakeSudsNode(SudsObject):
def __init__(self, data):
SudsObject.__init__(self)
self.__keylist__ = data.keys()
for key, value in data.items():
if isinstance(value, dict):
setattr(self, key, FakeSudsNode(value))
elif isinstance(value, list):
l = []
for v in value:
if isinstance(v, list) or isinstance(v, dict):
l.append(FakeSudsNode(v))
else:
l.append(v)
setattr(self, key, l)
else:
setattr(self, key, value)
class FakeSudsInstance(SudsObject):
def __init__(self, data):
SudsObject.__init__(self)
self.__keylist__ = data.keys()
for key, value in data.items():
if isinstance(value, dict):
setattr(self, key, FakeSudsNode(value))
else:
setattr(self, key, value)
@classmethod
def build_instance(cls, instance):
suds_data = {}
def node_to_dict(node, node_data):
if hasattr(node, '__keylist__'):
keys = node.__keylist__
for key in keys:
if isinstance(node[key], list):
lkey = key.replace('[]', '')
node_data[lkey] = node_to_dict(node[key], [])
elif hasattr(node[key], '__keylist__'):
node_data[key] = node_to_dict(node[key], {})
else:
if isinstance(node_data, list):
node_data.append(node[key])
else:
node_data[key] = node[key]
return node_data
else:
if isinstance(node, list):
for lnode in node:
node_data.append(node_to_dict(lnode, {}))
return node_data
else:
return node
node_to_dict(instance, suds_data)
return cls(suds_data)
Теперь, после вызова sud, например ниже:
# Now, after a suds call, for example below
>>> import cPickle as pickle
>>> suds_intance = client.service.SomeCall(account, param)
>>> fake_suds = FakeSudsInstance.build_instance(suds_intance)
>>> dumped = pickle.dumps(fake_suds)
>>> loaded = pickle.loads(dumped)
Я надеюсь, что это помогает.
Вот что я придумал, прежде чем исследовать и найти этот ответ.На самом деле это хорошо работает для меня на сложных ответах на пену, а также на других объектах, таких как __builtins__ поскольку решение не зависит от пены:
import datetime
def object_to_dict(obj):
if isinstance(obj, (str, unicode, bool, int, long, float, datetime.datetime, datetime.date, datetime.time)):
return obj
data_dict = {}
try:
all_keys = obj.__dict__.keys() # vars(obj).keys()
except AttributeError:
return obj
fields = [k for k in all_keys if not k.startswith('_')]
for field in fields:
val = getattr(obj, field)
if isinstance(val, (list, tuple)):
data_dict[field] = []
for item in val:
data_dict[field].append(object_to_dict(item))
else:
data_dict[field] = object_to_dict(val)
return data_dict
Это решение работает и на самом деле быстрее.Это также работает с объектами, у которых нет __keylist__ атрибут.
Я запускал тест 100 раз на сложном объекте вывода suds, время выполнения этого решения составляло от 0,04 до 0,052 секунды (в среднем 0,045724287).Пока recursive_asdict Решение, приведенное выше, выполнялось от 0,082 до 0,102 секунды, что почти вдвое (в среднем 0,0829765582).
Затем я вернулся к чертежной доске и заново выполнил функцию, чтобы получить от нее большую производительность, и для нее не требуется datetime Импортировать.Я использовал в использовании __keylist__ атрибут, поэтому это не будет работать с другими объектами, такими как __builtins__ но хорошо работает для вывода объекта sud:
def fastest_object_to_dict(obj):
if not hasattr(obj, '__keylist__'):
return obj
data = {}
fields = obj.__keylist__
for field in fields:
val = getattr(obj, field)
if isinstance(val, list): # tuple not used
data[field] = []
for item in val:
data[field].append(fastest_object_to_dict(item))
else:
data[field] = fastest_object_to_dict(val)
return data
Время выполнения составило 0,18–0,033 секунды (в среднем 0,0260889721), что почти в 4 раза быстрее, чем у recursive_asdict решение.
Предложенные выше решения теряют ценную информацию об именах классов — она может иметь значение в некоторых библиотеках, таких как клиент DFP. https://github.com/googleads/googleads-python-lib где типы сущностей могут быть закодированы в динамически генерируемых именах классов (т.е. ШаблонКреатив/ИзображениеКреатив)
Вот решение, которое я использовал, которое сохраняет имена классов и восстанавливает сериализованные dict объекты без потери данных (за исключением suds.sax.text.Text которые будут преобразованы в обычные объекты Юникода и, возможно, в некоторые другие типы, с которыми я не сталкивался)
from suds.sudsobject import asdict, Factory as SudsFactory
def suds2dict(d):
"""
Suds object serializer
Borrowed from https://stackoverflow.com/questions/2412486/serializing-a-suds-object-in-python/15678861#15678861
"""
out = {'__class__': d.__class__.__name__}
for k, v in asdict(d).iteritems():
if hasattr(v, '__keylist__'):
out[k] = suds2dict(v)
elif isinstance(v, list):
out[k] = []
for item in v:
if hasattr(item, '__keylist__'):
out[k].append(suds2dict(item))
else:
out[k].append(item)
else:
out[k] = v
return out
def dict2suds(d):
"""
Suds object deserializer
"""
out = {}
for k, v in d.iteritems():
if isinstance(v, dict):
out[k] = dict2suds(v)
elif isinstance(v, list):
out[k] = []
for item in v:
if isinstance(item, dict):
out[k].append(dict2suds(item))
else:
out[k].append(item)
else:
out[k] = v
return SudsFactory.object(out.pop('__class__'), out)
Я обновил recursive_asdict пример выше чтобы быть совместимым с python3 (items вместо iteritems).
from suds.sudsobject import asdict
from suds.sax.text import Text
def recursive_asdict(d):
"""
Recursively convert Suds object into dict.
We convert the keys to lowercase, and convert sax.Text
instances to Unicode.
Taken from:
https://stackoverflow.com/a/15678861/202168
Let's create a suds object from scratch with some lists and stuff
>>> from suds.sudsobject import Object as SudsObject
>>> sudsobject = SudsObject()
>>> sudsobject.Title = "My title"
>>> sudsobject.JustAList = [1, 2, 3]
>>> sudsobject.Child = SudsObject()
>>> sudsobject.Child.Title = "Child title"
>>> sudsobject.Child.AnotherList = ["4", "5", "6"]
>>> childobject = SudsObject()
>>> childobject.Title = "Another child title"
>>> sudsobject.Child.SudObjectList = [childobject]
Now see if this works:
>>> result = recursive_asdict(sudsobject)
>>> result['title']
'My title'
>>> result['child']['anotherlist']
['4', '5', '6']
"""
out = {}
for k, v in asdict(d).items():
k = k.lower()
if hasattr(v, '__keylist__'):
out[k] = recursive_asdict(v)
elif isinstance(v, list):
out[k] = []
for item in v:
if hasattr(item, '__keylist__'):
out[k].append(recursive_asdict(item))
else:
out[k].append(
item.title() if isinstance(item, Text) else item)
else:
out[k] = v.title() if isinstance(v, Text) else v
return out
