如何生成给定概率分布的直方图（用于服务器功能测试）？

Question

我正在尝试使用实际的请求频率分布来自动化服务器的功能测试。（某种负载测试，某种模拟）

我选择了 威布尔 分布，因为它“有点”匹配我观察到的分布（快速上升，快速下降，但不是立即）

我使用此分布来生成在给定开始日期和结束日期之间每天应发送的请求数

我用 Python 编写了一个算法，该算法可以工作，但感觉很笨拙：

how_many_days = (end_date - start_date).days
freqs = defaultdict(int)
for x in xrange(how_many_responses):
    freqs[int(how_many_days * weibullvariate(0.5, 2))] += 1
timeline = []
day = start_date
for i,freq in sorted(freqs.iteritems()):
    timeline.append((day, freq))
    day += timedelta(days=1)
return timeline

有什么更好的方法可以做到这一点？

Answer 1

这很快，而且可能不太准确，但如果您自己计算 PDF，那么至少您可以更轻松地将多个较小/较大的 PDF 放置在单个时间线上。 dev 是高斯噪声中的标准偏差，它控制粗糙度。请注意，这是 不是 生成您想要的内容的“正确”方法，但很简单。

import math
from datetime import datetime, timedelta, date
from random import gauss

how_many_responses = 1000
start_date = date(2008, 5, 1)
end_date = date(2008, 6, 1)
num_days = (end_date - start_date).days + 1
timeline = [start_date + timedelta(i) for i in xrange(num_days)]

def weibull(x, k, l):
    return (k / l) * (x / l)**(k-1) * math.e**(-(x/l)**k)

dev = 0.1
samples = [i * 1.25/(num_days-1) for i in range(num_days)]
probs = [weibull(i, 2, 0.5) for i in samples]
noise = [gauss(0, dev) for i in samples]
simdata = [max(0., e + n) for (e, n) in zip(probs, noise)]
events = [int(p * (how_many_responses / sum(probs))) for p in simdata]

histogram = zip(timeline, events)

print '\n'.join((d.strftime('%Y-%m-%d ') + "*" * c) for d,c in histogram)

Answer 2

你为什么不尝试一下 磨床3 为了对您的服务器进行负载测试，它配备了所有这些以及更多预构建的内容，并且支持 python 作为脚本语言

Answer 3

对最后四行进行稍长但可能更具可读性的修改：

samples = [0 for i in xrange(how_many_days + 1)]
for s in xrange(how_many_responses):
    samples[min(int(how_many_days * weibullvariate(0.5, 2)), how_many_days)] += 1
histogram = zip(timeline, samples)
print '\n'.join((d.strftime('%Y-%m-%d ') + "*" * c) for d,c in histogram)

这始终会删除日期范围内的样本，但您会在时间线末尾从高于 [0, 1] 范围的所有样本中获得相应的凹凸。

Answer 4

为什么不使用比例因子来代替将请求数作为固定值呢？目前，您将请求视为有限数量，并随机化这些请求发生的日期。将您的每日请求视为独立的似乎更合理。

from datetime import *
from random import *

timeline = []
scaling = 10
start_date = date(2008, 5, 1)
end_date = date(2008, 6, 1)

num_days = (end_date - start_date).days + 1
days = [start_date + timedelta(i) for i in range(num_days)]
requests = [int(scaling * weibullvariate(0.5, 2)) for i in range(num_days)]
timeline = zip(days, requests)
timeline

Answer 5

我将上面的代码重写得更短（但也许现在太混乱了？）

timeline = (start_date + timedelta(days=days) for days in count(0))
how_many_days = (end_date - start_date).days
pick_a_day = lambda _:int(how_many_days * weibullvariate(0.5, 2))
days = sorted(imap(pick_a_day, xrange(how_many_responses)))
histogram = zip(timeline, (len(list(responses)) for day, responses in groupby(days)))
print '\n'.join((d.strftime('%Y-%m-%d ') + "*" * c) for d,c in histogram)

Answer 6

另一种解决方案是使用 吡啶, ，它将 R 的所有功能（包括许多用于分发的工具）轻松地融入到 Python 中。