Effizienteste Methode zum Laden von formatierten Binärdateien in Python

Question

Ich habe Binärdateien von nicht mehr als 20 MB an Größe, die einen Header -Abschnitt und dann einen Datenabschnitt mit Sequenzen von UChars enthalten. Ich habe Numpy, Scipy usw. und jede Bibliothek hat unterschiedliche Möglichkeiten zum Laden der Daten. Irgendwelche Vorschläge für die effizientesten Methoden, die ich anwenden sollte?

Answer 1

Struktur Sollte für den Header -Abschnitt arbeiten, während Numpy's's Memmap wäre für den Datenabschnitt effizient, wenn Sie ihn sowieso in Numpy manipulieren würden. Es ist nicht nötig, hier inkonsistent zu sein. Beide Methoden sind kompatibel. Verwenden Sie einfach das richtige Tool für jeden Job.

Answer 2

Verwenden Sie das Struktur Modul oder möglicherweise ein benutzerdefiniertes Modul, das in C geschrieben wird, wenn die Leistung kritisch ist.

Answer 3

Bdec scheint vielversprechend.

Answer 4

ich habe das gefunden array.fromfile ist die schnellsten Methoden für homogene Daten.