程序的工作与大CSV文件[封闭]

Question

是否有任何良好的程序，用于处理与阅读大CSV文件吗？一些文件，我们在1GB范围。他们有太多的行为Excel甚至处理。使用的接入可以有点慢，因为必须实际进他们进入一个数据库，以与他们的工作。有一个程序，可以打开大CSV文件，并给你一个简单的电子表格中的布局，以帮助你轻松和快速扫描数据呢？

Answer 1

MySQL可以进口CSV文件非常快速上表中的使用 LOAD DATA INFILE 命令。它也可以从中读取CSV文件直接，绕过任何进口程序，通过使用 CSV储存引擎.

进口到本地表 LOAD DATA INFILE 已经启动成本，但是之后你可以 INSERT/UPDATE 速度更快，以及索引领域。使用CSV储存引擎几乎是瞬时的第一次，但只有顺序的扫描将快。

更新: 这篇文章 (滚下来的一节 即时的数据加载)的谈判有关使用这两种方法来装载CSV数据到MySQL，并给出的例子。

Answer 2

我已经找到了 reCSVeditor 是一个伟大的计划进行编辑大CSV文件。它适用于剥离出不必要列。我已经用它的文件1,000,000的记录文件很容易。

Answer 3

vEdit 是伟大的。我经常打开了100多梅格(我知道你所说的一场演出，我认为他们宣传他们的网站上可以处理的两倍)的文件。它有regex支持和大量的其他功能。70美元是廉价的金额可以用它做。

Answer 4

GVim可以处理文件的大免费的，如果你不是附加于一个真正的电子表格的静态领域的大小来看。

Answer 5

vEdit是巨大的，但不要忘了，你可以随时回到"基本的"复出 Cygwin 并开始greping.

有益的命令

• 查询
• 头
• 尾巴
• 当然perl!

Answer 6

这取决于你实际上想要做的数据。给出一个大的文本文件就像你通常只想要一个较小的子集的数据在任何一个时间，所以不要忽视工具，如'查询'的拉出来的作品你想寻找工作。

Answer 7

如果你可以配合的数据存入内存和你喜欢蟒蛇然后我推荐检查UniTable部分 奥古斯都.(免责声明：奥古斯都是开放源(v2协议中由于臃肿)但是我工作的公司写的。)

这不是很好的记录，但是这应该帮助你去。

from augustus.kernel.unitable import *
a = UniTable().from_csv_file('filename')
b = a.subtbl(a['key'] == some_value) #creates a subtable

它不会直接给你一个excel像接口，但是有一点点的工作你可以得到很多统计数据。