Melhor maneira de ler e processar um arquivo de texto

Question

queria saber se alguém tinha alguma métodos favoritos / bibliotecas úteis para o processamento de um arquivo de texto delimitado por tabulações? Este arquivo vai ter, em média, 30.000 - 50.000 linhas na mesma. Só precisa ler cada linha e jogá-lo em um banco de dados. No entanto, eu precisaria para armazenar temporariamente todos os dados, a razão é que, se a tabela com os dados chega a mais de 1.000,00 linhas, eu vou ter de criar uma nova tabela e colocar os dados lá. O código será executado em um serviço do Windows, então eu não estou preocupado com o tempo de processamento.

Foi pensando apenas fazendo um tempo padrão (sr.ReadLine ()) ... alguma sugestão?

Cheers,

Sean.

Answer 1

Este biblioteca é muito flexível e rápido. Nunca me canso de recomendar-lo. O padrão é '' como um delimitador, mas você pode mudá-lo para '\ t' facilmente.

Answer 2

FileHelpers

Answer 3

Eu suspeito "jogá-lo em um banco de dados" vai demorar pelo menos 1 ordem de magnitude mais do que ler uma linha em um buffer, de modo que você pode pré-digitalizar os dados apenas para contar o número de linhas (sem analisar-los). Em seguida, tomar as suas decisões de banco de dados. Em seguida, re-ler os dados que fazem o trabalho real. Com sorte, o sistema operacional irá ter em cache o arquivo que ele lê ainda mais rápido.