.Net 中的 CSV 文件导入 [关闭]
https://stackoverflow.com/questions/1898
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
Russian题
我意识到这是一个新手问题，但我正在寻找一种简单的解决方案 - 似乎应该有一个。
将 CSV 文件导入强类型数据结构的最佳方法是什么？再次简单=更好。
解决方案
查看 FileHelpers 开源库.
其他提示
微软的 文本字段解析器 是稳定的并遵循 RFC 4180 对于 CSV 文件。不要被推迟 Microsoft.VisualBasic 命名空间；它是.NET Framework中的标准组件，只需添加对全局的引用 Microsoft.VisualBasic 集会。
如果您正在为 Windows 进行编译（而不是 Mono）并且不需要解析“损坏的”（不符合 RFC 的）CSV 文件，那么这将是显而易见的选择，因为它是免费的、不受限制的、稳定的，并积极支持，其中大部分对于FileHelpers来说是不能说的。
也可以看看： 如何：在 Visual Basic 中读取逗号分隔的文本文件 VB 代码示例。
使用 OleDB 连接。
String sConnectionString = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=C:\\InputDirectory\\;Extended Properties='text;HDR=Yes;FMT=Delimited'";
OleDbConnection objConn = new OleDbConnection(sConnectionString);
objConn.Open();
DataTable dt = new DataTable();
OleDbCommand objCmdSelect = new OleDbCommand("SELECT * FROM file.csv", objConn);
OleDbDataAdapter objAdapter1 = new OleDbDataAdapter();
objAdapter1.SelectCommand = objCmdSelect;
objAdapter1.Fill(dt);
objConn.Close();
Brian 提供了一个很好的解决方案，可以将其转换为强类型集合。
给出的大多数 CSV 解析方法都没有考虑转义字段或 CSV 文件的其他一些微妙之处（例如修剪字段）。这是我个人使用的代码。它的边缘有点粗糙，而且几乎没有错误报告。
public static IList<IList<string>> Parse(string content)
{
IList<IList<string>> records = new List<IList<string>>();
StringReader stringReader = new StringReader(content);
bool inQoutedString = false;
IList<string> record = new List<string>();
StringBuilder fieldBuilder = new StringBuilder();
while (stringReader.Peek() != -1)
{
char readChar = (char)stringReader.Read();
if (readChar == '\n' || (readChar == '\r' && stringReader.Peek() == '\n'))
{
// If it's a \r\n combo consume the \n part and throw it away.
if (readChar == '\r')
{
stringReader.Read();
}
if (inQoutedString)
{
if (readChar == '\r')
{
fieldBuilder.Append('\r');
}
fieldBuilder.Append('\n');
}
else
{
record.Add(fieldBuilder.ToString().TrimEnd());
fieldBuilder = new StringBuilder();
records.Add(record);
record = new List<string>();
inQoutedString = false;
}
}
else if (fieldBuilder.Length == 0 && !inQoutedString)
{
if (char.IsWhiteSpace(readChar))
{
// Ignore leading whitespace
}
else if (readChar == '"')
{
inQoutedString = true;
}
else if (readChar == ',')
{
record.Add(fieldBuilder.ToString().TrimEnd());
fieldBuilder = new StringBuilder();
}
else
{
fieldBuilder.Append(readChar);
}
}
else if (readChar == ',')
{
if (inQoutedString)
{
fieldBuilder.Append(',');
}
else
{
record.Add(fieldBuilder.ToString().TrimEnd());
fieldBuilder = new StringBuilder();
}
}
else if (readChar == '"')
{
if (inQoutedString)
{
if (stringReader.Peek() == '"')
{
stringReader.Read();
fieldBuilder.Append('"');
}
else
{
inQoutedString = false;
}
}
else
{
fieldBuilder.Append(readChar);
}
}
else
{
fieldBuilder.Append(readChar);
}
}
record.Add(fieldBuilder.ToString().TrimEnd());
records.Add(record);
return records;
}
请注意，这不能处理未用双引号分隔的字段的边缘情况，但 meerley 内部有带引号的字符串。看 这个帖子 以获得更好的扩展以及一些正确库的链接。
我很无聊，所以我修改了一些我写的东西。它尝试以面向对象的方式封装解析，同时减少文件的迭代次数，它只在顶部 foreach 迭代一次。
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.IO;
namespace ConsoleApplication1
{
class Program
{
static void Main(string[] args)
{
// usage:
// note this wont run as getting streams is not Implemented
// but will get you started
CSVFileParser fileParser = new CSVFileParser();
// TO Do: configure fileparser
PersonParser personParser = new PersonParser(fileParser);
List<Person> persons = new List<Person>();
// if the file is large and there is a good way to limit
// without having to reparse the whole file you can use a
// linq query if you desire
foreach (Person person in personParser.GetPersons())
{
persons.Add(person);
}
// now we have a list of Person objects
}
}
public abstract class CSVParser
{
protected String[] deliniators = { "," };
protected internal IEnumerable<String[]> GetRecords()
{
Stream stream = GetStream();
StreamReader reader = new StreamReader(stream);
String[] aRecord;
while (!reader.EndOfStream)
{
aRecord = reader.ReadLine().Split(deliniators,
StringSplitOptions.None);
yield return aRecord;
}
}
protected abstract Stream GetStream();
}
public class CSVFileParser : CSVParser
{
// to do: add logic to get a stream from a file
protected override Stream GetStream()
{
throw new NotImplementedException();
}
}
public class CSVWebParser : CSVParser
{
// to do: add logic to get a stream from a web request
protected override Stream GetStream()
{
throw new NotImplementedException();
}
}
public class Person
{
public String Name { get; set; }
public String Address { get; set; }
public DateTime DOB { get; set; }
}
public class PersonParser
{
public PersonParser(CSVParser parser)
{
this.Parser = parser;
}
public CSVParser Parser { get; set; }
public IEnumerable<Person> GetPersons()
{
foreach (String[] record in this.Parser.GetRecords())
{
yield return new Person()
{
Name = record[0],
Address = record[1],
DOB = DateTime.Parse(record[2]),
};
}
}
}
}
一个简单的好方法是打开文件，并将每一行读入数组、链表、您选择的数据结构中。不过，处理第一行时要小心。
这可能超出了您的能力范围，但似乎还有一种直接的方法可以使用 连接字符串.
为什么不尝试使用 Python 而不是 C# 或 VB？它有一个很好的 CSV 模块可供导入，可以为您完成所有繁重的工作。
今年夏天，我必须在 .NET 中使用 CSV 解析器来完成一个项目，并最终选择了 Microsoft Jet Text Driver。您可以使用连接字符串指定文件夹，然后使用 SQL Select 语句查询文件。您可以使用 schema.ini 文件指定强类型。我一开始并没有这样做，但后来我得到了糟糕的结果，其中数据类型并不立即明显，例如 IP 号码或“XYQ 3.9 SP1”等条目。
我遇到的一个限制是它无法处理超过 64 个字符的列名；它会截断。这不应该是一个问题，除非我正在处理设计非常糟糕的输入数据。它返回一个 ADO.NET 数据集。
这是我找到的最好的解决方案。我会对推出自己的 CSV 解析器持谨慎态度，因为我可能会错过一些最终情况，而且我没有找到任何其他免费的 .NET CSV 解析包。
编辑：此外，每个目录只能有一个 schema.ini 文件，因此我动态附加到该文件以强类型化所需的列。它只会对指定的列进行强类型化，并推断任何未指定的字段。我真的很欣赏这一点，因为我正在处理导入流畅的 70+ 列 CSV，并且不想指定每一列，而只想指定行为不当的列。
我输入了一些代码。datagridviewer 中的结果看起来不错。它将一行文本解析为对象的数组列表。
enum quotestatus
{
none,
firstquote,
secondquote
}
public static System.Collections.ArrayList Parse(string line,string delimiter)
{
System.Collections.ArrayList ar = new System.Collections.ArrayList();
StringBuilder field = new StringBuilder();
quotestatus status = quotestatus.none;
foreach (char ch in line.ToCharArray())
{
string chOmsch = "char";
if (ch == Convert.ToChar(delimiter))
{
if (status== quotestatus.firstquote)
{
chOmsch = "char";
}
else
{
chOmsch = "delimiter";
}
}
if (ch == Convert.ToChar(34))
{
chOmsch = "quotes";
if (status == quotestatus.firstquote)
{
status = quotestatus.secondquote;
}
if (status == quotestatus.none )
{
status = quotestatus.firstquote;
}
}
switch (chOmsch)
{
case "char":
field.Append(ch);
break;
case "delimiter":
ar.Add(field.ToString());
field.Clear();
break;
case "quotes":
if (status==quotestatus.firstquote)
{
field.Clear();
}
if (status== quotestatus.secondquote)
{
status =quotestatus.none;
}
break;
}
}
if (field.Length != 0)
{
ar.Add(field.ToString());
}
return ar;
}
如果您可以保证数据中没有逗号，那么最简单的方法可能是使用 字符串分割.
例如：
String[] values = myString.Split(',');
myObject.StringField = values[0];
myObject.IntField = Int32.Parse(values[1]);
您可能可以使用一些库来提供帮助，但这可能是您能得到的最简单的。只需确保数据中不能有逗号，否则您将需要更好地解析它。
