Método preguiçoso para ler o arquivo grande em Python?
Pergunta
Eu tenho um grande arquivo de 4GB e quando tento ler meu computador trava. Então, eu quero lê-lo peça por peça e após o processamento de cada loja peça a peça processada em outro arquivo e ler próxima peça.
Existe algum método para yield
essas peças?
Eu adoraria ter um método preguiçoso .
Solução
Para escrever uma função preguiçoso, é só usar yield
:
def read_in_chunks(file_object, chunk_size=1024):
"""Lazy function (generator) to read a file piece by piece.
Default chunk size: 1k."""
while True:
data = file_object.read(chunk_size)
if not data:
break
yield data
f = open('really_big_file.dat')
for piece in read_in_chunks(f):
process_data(piece)
Outra opção seria usar iter
e uma função auxiliar:
f = open('really_big_file.dat')
def read1k():
return f.read(1024)
for piece in iter(read1k, ''):
process_data(piece)
Se o arquivo é baseado em linha, o objeto arquivo já é um gerador de preguiçoso de linhas:
for line in open('really_big_file.dat'):
process_data(line)
Outras dicas
Se o seu computador, sistema operacional e python são de 64 bits , então você pode usar o mmap módulo para mapear o conteúdo do arquivo na memória e acesso com índices e fatias. Aqui um exemplo da documentação:
import mmap
with open("hello.txt", "r+") as f:
# memory-map the file, size 0 means whole file
map = mmap.mmap(f.fileno(), 0)
# read content via standard file methods
print map.readline() # prints "Hello Python!"
# read content via slice notation
print map[:5] # prints "Hello"
# update content using slice notation;
# note that new content must have same size
map[6:] = " world!\n"
# ... and read again using standard file methods
map.seek(0)
print map.readline() # prints "Hello world!"
# close the map
map.close()
Se qualquer computador, sistema operacional ou python são de 32 bits , em seguida, mmap-ing arquivos grandes pode reservar grandes partes do seu espaço de endereço e starve seu programa de memória.
file.readlines () recebe em um argumento tamanho opcional que se aproxima do número de linhas ler nas linhas devolvidas.
bigfile = open('bigfilename','r')
tmp_lines = bigfile.readlines(BUF_SIZE)
while tmp_lines:
process([line for line in tmp_lines])
tmp_lines = bigfile.readlines(BUF_SIZE)
Já existem muitas respostas boas, mas eu tive um problema semelhante recentemente e a solução que eu precisava não está aqui, então eu percebi que eu poderia complementar esta discussão.
80% do tempo, eu preciso ler linha arquivos linha por linha. Então, como sugerido neste , você quer usar o próprio objeto arquivo como gerador de preguiçoso:
with open('big.csv') as f:
for line in f:
process(line)
No entanto, eu decorreu recentemente em um muito, muito grande (quase) única csv linha, onde o separador de linha não era de fato '\n'
mas '|'
.
- A leitura linha a linha não era uma opção, mas eu ainda precisava para processá-lo linha por linha.
- Converting
'|'
para'\n'
antes do processamento também foi fora de questão, porque alguns dos campos desta CSV continha'\n'
(entrada do usuário em texto livre). - Usando a biblioteca CSV também foi descartada porque o fato de que, pelo menos nas primeiras versões da lib, é codificado para ler a linha de entrada por linha .
Eu vim com o seguinte trecho:
def rows(f, chunksize=1024, sep='|'):
"""
Read a file where the row separator is '|' lazily.
Usage:
>>> with open('big.csv') as f:
>>> for r in rows(f):
>>> process(row)
"""
incomplete_row = None
while True:
chunk = f.read(chunksize)
if not chunk: # End of file
if incomplete_row is not None:
yield incomplete_row
break
# Split the chunk as long as possible
while True:
i = chunk.find(sep)
if i == -1:
break
# If there is an incomplete row waiting to be yielded,
# prepend it and set it back to None
if incomplete_row is not None:
yield incomplete_row + chunk[:i]
incomplete_row = None
else:
yield chunk[:i]
chunk = chunk[i+1:]
# If the chunk contained no separator, it needs to be appended to
# the current incomplete row.
if incomplete_row is not None:
incomplete_row += chunk
else:
incomplete_row = chunk
Eu testei com sucesso em arquivos grandes e com diferentes tamanhos do pedaço (Eu até tentei uma chunksize de 1 byte, só para ter certeza de que o algoritmo não é dependente do tamanho).
f = ... # file-like object, i.e. supporting read(size) function and
# returning empty string '' when there is nothing to read
def chunked(file, chunk_size):
return iter(lambda: file.read(chunk_size), '')
for data in chunked(f, 65536):
# process the data
UPDATE: A abordagem é melhor explicado em https://stackoverflow.com/a/4566523/38592
Eu não estou autorizado a comentar devido a minha baixa reputação, mas solução SilentGhosts deve ser muito mais fácil com file.readlines ([sizeHint])
edit: SilentGhost é certo, mas isso deve ser melhor do que:
s = ""
for i in xrange(100):
s += file.next()
Eu acho que nós podemos escrever como este:
def read_file(path, block_size=1024):
with open(path, 'rb') as f:
while True:
piece = f.read(block_size)
if piece:
yield piece
else:
return
for piece in read_file(path):
process_piece(piece)
Eu estou em uma situação um pouco semelhante. Não é claro se você sabe tamanho do bloco em bytes; Eu normalmente não faço, mas o número de registros (linhas) que é necessário é conhecido:
def get_line():
with open('4gb_file') as file:
for i in file:
yield i
lines_required = 100
gen = get_line()
chunk = [i for i, j in zip(gen, range(lines_required))]
Atualizar : nosklo Graças. Aqui está o que eu quis dizer. É quase funciona, exceto que ele perde uma linha 'entre' pedaços.
chunk = [next(gen) for i in range(lines_required)]
Será que o truque w / o perder todas as linhas, mas ele não parece muito bom.
Consulte a documentação oficial do python https: // docs .python.org / zh-cn / 3 / biblioteca / functions.html? #iter
Talvez este método é mais Python:
from functools import partial
"""A file object returned by open() is a iterator with
read method which could specify current read's block size"""
with open('mydata.db', 'r') as f_in:
part_read = partial(f_in.read, 1024*1024)
iterator = iter(part_read, b'')
for index, block in enumerate(iterator, start=1):
block = process_block(block) # process block data
with open(f'{index}.txt', 'w') as f_out:
f_out.write(block)
Para linha de processo por linha, esta é uma solução elegante:
def stream_lines(file_name):
file = open(file_name)
while True:
line = file.readline()
if not line:
file.close()
break
yield line
Enquanto Ainda não há linhas em branco.
Você pode usar seguinte código.
file_obj = open('big_file')
open () retorna um objeto de arquivo
então usar os.stat para obter o tamanho
file_size = os.stat('big_file').st_size
for i in range( file_size/1024):
print file_obj.read(1024)