La meilleure façon de lire et traiter un fichier texte

Question

Je me demandais si quelqu'un avait des méthodes préférées / bibliothèques utiles pour le traitement d'un fichier texte délimité par des tabulations? Ce fichier va avoir en moyenne 30.000 - 50.000 lignes en elle. Juste besoin de lire chaque ligne et de le jeter dans une base de données. Cependant, je avais besoin de stocker temporairement toutes les données, la raison étant que si la table contenant les données arrive à plus de 1,000,00 lignes, je vais avoir besoin de créer une nouvelle table et mettre les données là-dedans. Le code sera exécuté dans un service Windows donc je ne suis pas inquiet au sujet du temps de traitement.

réfléchissais à faire juste une norme while (sr.ReadLine ()) ... des suggestions?

Cheers,

Sean.

Answer 1

Cette bibliothèque est très flexible et rapide. Je ne me lasse jamais de le recommander. Par défaut « » comme séparateur, mais vous pouvez le remplacer par « \ » t facilement.

Answer 2

FileHelpers

Answer 3

Je soupçonne que « le jeter dans une base de données » prendra au moins 1 ordre de grandeur plus que la lecture d'une ligne dans un tampon, de sorte que vous pouvez pré-scanner les données juste pour compter le nombre de lignes (sans les analyse syntaxique). Ensuite, prendre vos décisions de base de données. Ensuite, relisez les données qui font le travail réel. Avec de la chance, le système d'exploitation sera mis en cache le fichier afin qu'il lit encore plus rapide.