Maneira mais eficiente de carregar arquivos binários formatados no Python

Question

Eu tenho arquivos binários não maiores que 20 MB de tamanho que possuem uma seção de cabeçalho e, em seguida, uma seção de dados contendo sequências de UCHARs. Eu tenho Numpy, Scipy, etc. e cada biblioteca tem diferentes maneiras de carregar nos dados. Alguma sugestão para os métodos mais eficientes que devo usar?

Answer 1

estrutura deve funcionar para a seção de cabeçalho, enquanto Numpy's Memmap Seria eficiente para a seção de dados se você o manipular em Numpy de qualquer maneira. Não há necessidade de se enfatizar em ser inconsistente aqui. Ambos os métodos são compatíveis, basta usar a ferramenta certa para cada trabalho.

Answer 2

Use o estrutura Módulo, ou possivelmente um módulo personalizado escrito em C se o desempenho for crítico.

Answer 3

bdec parece promissor.

Answer 4

eu achei aquilo array.fromfile são os métodos mais rápidos para dados homogêneos.