使用 nparray 与 pdist 和 squareform 创建距离矩阵
-
24-12-2019 - |
题
我正在尝试使用 DBSCAN (scikit learn 实现)和位置数据进行聚类。我的数据采用 np 数组格式,但要将 DBSCAN 与半正弦公式一起使用,我需要创建一个距离矩阵。当我尝试执行此操作时,我收到以下错误(“模块”不可调用错误。)从我在线阅读的内容来看,这是一个导入错误,但我很确定这对我来说不是这种情况。我创建了自己的半正矢距离公式,但我确信错误不在于此。
这是我的输入数据,一个 np 数组(ResultArray)。
[[ 53.3252628 -6.2644198 ]
[ 53.3287395 -6.2646543 ]
[ 53.33321202 -6.24785807]
[ 53.3261015 -6.2598324 ]
[ 53.325291 -6.2644105 ]
[ 53.3281323 -6.2661467 ]
[ 53.3253074 -6.2644483 ]
[ 53.3388147 -6.2338417 ]
[ 53.3381102 -6.2343826 ]
[ 53.3253074 -6.2644483 ]
[ 53.3228188 -6.2625379 ]
[ 53.3253074 -6.2644483 ]]
这是出错的代码行。
distance_matrix = sp.spatial.distance.squareform(sp.spatial.distance.pdist
(ResultArray,(lambda u,v: haversine(u,v))))
这是错误消息:
File "Location.py", line 48, in <module>
distance_matrix = sp.spatial.distance.squareform(sp.spatial.distance.pdist
(ResArray,(lambda u,v: haversine(u,v))))
File "/usr/lib/python2.7/dist-packages/scipy/spatial/distance.py", line 1118, in pdist
dm[k] = dfun(X[i], X[j])
File "Location.py", line 48, in <lambda>
distance_matrix = sp.spatial.distance.squareform(sp.spatial.distance.pdist
(ResArray,(lambda u,v: haversine(u,v))))
TypeError: 'module' object is not callable
我将 scipy 作为 sp 导入。(将 scipy 导入为 sp )
解决方案
请参考@TommasoF 的回答。这个答案是错误的: pdist
允许选择自定义距离函数。一旦不再被选为正确答案,我将删除答案。
简单地 scipy
的 pdist
不允许传入自定义距离函数。正如您可以在 文档, ,您有一些选择,但哈弗侧距离不在支持的指标列表中。
(Matlab pdist
但确实支持该选项,请参阅 这里)
您需要“手动”进行计算,即使用循环,类似这样的事情会起作用:
from numpy import array,zeros
def haversine(lon1, lat1, lon2, lat2):
""" See the link below for a possible implementation """
pass
#example input (your's, truncated)
ResultArray = array([[ 53.3252628, -6.2644198 ],
[ 53.3287395 , -6.2646543 ],
[ 53.33321202 , -6.24785807],
[ 53.3253074 , -6.2644483 ]])
N = ResultArray.shape[0]
distance_matrix = zeros((N, N))
for i in xrange(N):
for j in xrange(N):
lati, loni = ResultArray[i]
latj, lonj = ResultArray[j]
distance_matrix[i, j] = haversine(loni, lati, lonj, latj)
distance_matrix[j, i] = distance_matrix[i, j]
print distance_matrix
[[ 0. 0.38666203 1.41010971 0.00530489]
[ 0.38666203 0. 1.22043364 0.38163748]
[ 1.41010971 1.22043364 0. 1.40848782]
[ 0.00530489 0.38163748 1.40848782 0. ]]
仅供参考,可以找到Haverside的Python实现 这里.
其他提示
使用scipy,您可以根据文档在此 link ,在此报告为方便:
.Y = pdist(X, f)
Computes the distance between all pairs of vectors in X using the user supplied 2-arity function f. For example, Euclidean distance between the vectors could be computed as follows:
dm = pdist(X, lambda u, v: np.sqrt(((u-v)**2).sum()))
.
在这里,我从此报告了我的代码版本,它从这个链接:
from numpy import sin,cos,arctan2,sqrt,pi # import from numpy
# earth's mean radius = 6,371km
EARTHRADIUS = 6371.0
def getDistanceByHaversine(loc1, loc2):
'''Haversine formula - give coordinates as a 2D numpy array of
(lat_denter link description hereecimal,lon_decimal) pairs'''
#
# "unpack" our numpy array, this extracts column wise arrays
lat1 = loc1[1]
lon1 = loc1[0]
lat2 = loc2[1]
lon2 = loc2[0]
#
# convert to radians ##### Completely identical
lon1 = lon1 * pi / 180.0
lon2 = lon2 * pi / 180.0
lat1 = lat1 * pi / 180.0
lat2 = lat2 * pi / 180.0
#
# haversine formula #### Same, but atan2 named arctan2 in numpy
dlon = lon2 - lon1
dlat = lat2 - lat1
a = (sin(dlat/2))**2 + cos(lat1) * cos(lat2) * (sin(dlon/2.0))**2
c = 2.0 * arctan2(sqrt(a), sqrt(1.0-a))
km = EARTHRADIUS * c
return km
.
并按以下方式调用:
D = spatial.distance.pdist(A, lambda u, v: getDistanceByHaversine(u,v))
.
在我的实现中,矩阵A具有第一列的经度值,并且作为第二列以十进制度表示的纬度值。 现在,您可以使用 scikit-learn 的 DBSCAN 和半正矢度量对空间纬度-经度数据进行聚类,而无需使用 scipy 预先计算距离矩阵。
db = DBSCAN(eps=2/6371., min_samples=5, algorithm='ball_tree', metric='haversine').fit(np.radians(coordinates))
这来自本教程 使用 scikit-learn DBSCAN 对空间数据进行聚类. 。特别要注意的是 eps
值为 2 km 除以 6371(地球半径以 km 为单位),将其转换为弧度。另外,请注意 .fit()
获取半正矢度量的以弧度为单位的坐标。