题
如何从生成器对象构建 numpy 数组?
我来说明一下问题:
>>> import numpy
>>> def gimme():
... for x in xrange(10):
... yield x
...
>>> gimme()
<generator object at 0x28a1758>
>>> list(gimme())
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> numpy.array(xrange(10))
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
>>> numpy.array(gimme())
array(<generator object at 0x28a1758>, dtype=object)
>>> numpy.array(list(gimme()))
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
在本例中,gimme() 是生成器,我希望将其输出转换为数组。但是,数组构造函数不会迭代生成器,它只是存储生成器本身。我想要的行为是来自 numpy.array(list(gimme())) ,但我不想支付同时在内存中保留中间列表和最终数组的内存开销。有没有更节省空间的方法?
解决方案
与 Python 列表不同,Numpy 数组需要在创建时显式设置其长度。这是必要的,以便可以在内存中连续分配每个项目的空间。连续分配是 numpy 数组的关键特性:这与本机代码实现相结合,使对它们的操作执行速度比常规列表快得多。
记住这一点,从技术上讲,不可能将生成器对象转换为数组,除非您:
可以预测运行时会产生多少个元素:
my_array = numpy.empty(predict_length()) for i, el in enumerate(gimme()): my_array[i] = el
愿意将其元素存储在中间列表中:
my_array = numpy.array(list(gimme()))
可以制作两个相同的生成器,运行第一个生成器以查找总长度,初始化数组,然后再次运行生成器以查找每个元素:
length = sum(1 for el in gimme()) my_array = numpy.empty(length) for i, el in enumerate(gimme()): my_array[i] = el
1 可能就是您正在寻找的。 2 空间效率低下,并且 3 时间效率低(你必须通过发电机两次)。
其他提示
在这个 stackoverflow 结果背后谷歌一下,我发现有一个 numpy.fromiter(data, dtype, count)
. 。默认 count=-1
从可迭代对象中获取所有元素。它需要一个 dtype
明确设置。就我而言,这有效:
numpy.fromiter(something.generate(from_this_input), float)
尽管可以创建从与numpy.fromiter()
发电机一维数组,则可以从与numpy.stack
发电机创建的N d数组:
>>> mygen = (np.ones((5, 3)) for _ in range(10))
>>> x = numpy.stack(mygen)
>>> x.shape
(10, 5, 3)
它也适用于一维数组:
>>> numpy.stack(2*i for i in range(10))
array([ 0, 2, 4, 6, 8, 10, 12, 14, 16, 18])
请注意numpy.stack
内部消耗发生器和创建与arrays = [asanyarray(arr) for arr in arrays]
中间列表。实施可以发现此处。
有点切,但如果你的发电机是一个列表理解,你可以使用numpy.where
更有效地得到您的结果(我在自己的代码中发现了这一点看到这个帖子后)