Como série bin de valores float em histograma em Python?

Question

Eu tenho um conjunto de valor float (sempre inferior a 0). Que eu quero bin em histograma, i, e. cada barra no histograma conter gama de valor [0,0.150)

Os dados que eu tenho esta aparência:

0.000
0.005
0.124
0.000
0.004
0.000
0.111
0.112

Whith meu código abaixo eu esperar para obter resultado que se parece com

[0, 0.005) 5
[0.005, 0.011) 0
...etc.. 

Eu tentei fazer fazer tais binning com este código da mina. Mas não parece trabalho. Qual é o caminho certo para fazê-lo?

#! /usr/bin/env python


import fileinput, math

log2 = math.log(2)

def getBin(x):
    return int(math.log(x+1)/log2)

diffCounts = [0] * 5

for line in fileinput.input():
    words = line.split()
    diff = float(words[0]) * 1000;

    diffCounts[ str(getBin(diff)) ] += 1

maxdiff = [i for i, c in enumerate(diffCounts) if c > 0][-1]
print maxdiff
maxBin = max(maxdiff)


for i in range(maxBin+1):
     lo = 2**i - 1
     hi = 2**(i+1) - 1
     binStr = '[' + str(lo) + ',' + str(hi) + ')'
     print binStr + '\t' + '\t'.join(map(str, (diffCounts[i])))

~

Answer 1

Quando possível, não reinventar a roda. NumPy tem tudo que você precisa:

#!/usr/bin/env python
import numpy as np

a = np.fromfile(open('file', 'r'), sep='\n')
# [ 0.     0.005  0.124  0.     0.004  0.     0.111  0.112]

# You can set arbitrary bin edges:
bins = [0, 0.150]
hist, bin_edges = np.histogram(a, bins=bins)
# hist: [8]
# bin_edges: [ 0.    0.15]

# Or, if bin is an integer, you can set the number of bins:
bins = 4
hist, bin_edges = np.histogram(a, bins=bins)
# hist: [5 0 0 3]
# bin_edges: [ 0.     0.031  0.062  0.093  0.124]

Answer 2

from pylab import *
data = []
inf = open('pulse_data.txt')
for line in inf:
    data.append(float(line))
inf.close()
#binning
B = 50
minv = min(data)
maxv = max(data)
bincounts = []
for i in range(B+1):
    bincounts.append(0)
for d in data:
    b = int((d - minv) / (maxv - minv) * B)
    bincounts[b] += 1
# plot histogram

plot(bincounts,'o')
show()

Answer 3

O primeiro erro é:

Traceback (most recent call last):
  File "C:\foo\foo.py", line 17, in <module>
    diffCounts[ str(getBin(diff)) ] += 1
TypeError: list indices must be integers

Por que você está convertendo um int para um str quando um str é necessário? Corrigir isso, então temos:

Traceback (most recent call last):
  File "C:\foo\foo.py", line 17, in <module>
    diffCounts[ getBin(diff) ] += 1
IndexError: list index out of range

porque você feitas apenas 5 baldes. Eu não entendo o seu esquema de bucketing, mas vamos fazê-lo 50 baldes e ver o que acontece:

6
Traceback (most recent call last):
  File "C:\foo\foo.py", line 21, in <module>
    maxBin = max(maxdiff)
TypeError: 'int' object is not iterable

maxdiff é um valor único para fora de sua lista de ints, então o que é max fazendo aqui? Removê-lo, agora temos:

6
Traceback (most recent call last):
  File "C:\foo\foo.py", line 28, in <module>
    print binStr + '\t' + '\t'.join(map(str, (diffCounts[i])))
TypeError: argument 2 to map() must support iteration

Com certeza, você está usando um único valor como o segundo argumento para map. Vamos simplificar as duas últimas linhas a partir deste:

 binStr = '[' + str(lo) + ',' + str(hi) + ')'
 print binStr + '\t' + '\t'.join(map(str, (diffCounts[i])))

a esta:

 print "[%f, %f)\t%r" % (lo, hi, diffCounts[i])

Agora ela imprime:

6
[0.000000, 1.000000)    3
[1.000000, 3.000000)    0
[3.000000, 7.000000)    2
[7.000000, 15.000000)   0
[15.000000, 31.000000)  0
[31.000000, 63.000000)  0
[63.000000, 127.000000) 3

Eu não tenho certeza o que fazer aqui, desde que eu realmente não entendo o bucketing você está esperando para uso. Ele parece envolver poderes binários, mas não está fazendo sentido para mim ...