如何解决大熊猫scikit学习多维尺度始终运行

Question

编辑 看来，它并不一定是在64行中的数据问题，而64号本身就是神奇而导致的问题。由于我一直在解决这个问题，我写了一个脚本，从DataFrame中随机抽取63个连续的行并绘制它们。它每次都运行得很快。但是，如果我将其更改为64行，它永远不会运行并永远运行。 End edit

我正在尝试使用多维缩放对集群中的数据进行可视化。我创建了一个DataFrame，其维数为1000行，1964列。当我尝试对数据执行多维缩放时，该过程将永久运行。奇怪的是，我似乎无法通过按Ctrl + C结束该过程。

通过反复试验的过程，我发现了数据集的第64行有一些神奇的东西。如果我在63行上运行这个过程，整个过程几秒钟就完成了。如果我碰到64行，但它永远不会结束。

我真的不知道该如何解决这个问题。我经历了1964年的专栏，寻找第63行和第64行之间的区别，希望找到一个奇怪的值或什么，但是没有什么可以跳出来。任何其他方式，我可以知道为什么64行是如此神奇？

import pandas as pd 
from pandas import DataFrame as df 
from sklearn.metrics.pairwise import euclidean_distances 
from sklearn.metrics.pairwise import manhattan_distances 
from sklearn import manifold 
from matplotlib import pyplot as plt 
import prettyplotlib as ppl 

malware_df = df.from_csv('malware_features.csv') 

plottable = malware_df[[c for c in malware_df.columns if c != 'hash']] 
plottable = plottable.head(63) # change this to 64 and everything stops working 

euc = euclidean_distances(plottable) 
mds = manifold.MDS(n_jobs=-1, random_state=1337, dissimilarity='precomputed') 
pos_e = mds.fit(euc).embedding_ 

plottable['xpos'] = pos_e[:,0] 
plottable['ypos'] = pos_e[:,1] 
with ppl.pretty: 
    fig, ax = ppl.subplots(figsize=(6,8)) 
ppl.scatter(ax, plottable.xpos, plottable.ypos) 
plt.show() 

这里是一个链接，你可以下载我使用的文件，如果有帮助。 https://drive.google.com/file/d/0BxZZOOgLl7vSTUlxc1BmMUFmTVU/edit?usp=sharing

Answer 1

这必须是版本。在我的电脑（2003年，1 AMD芯，2 GB RAM），该代码在〜3秒运行：

#import pandas as pd 
from pandas import DataFrame as df 
from sklearn.metrics.pairwise import euclidean_distances 
#from sklearn.metrics.pairwise import manhattan_distances 
from sklearn import manifold 
from matplotlib import pyplot as plt 
import prettyplotlib as ppl 

malware_df = df.from_csv('malware_features.csv') 

plottable = malware_df[[c for c in malware_df.columns if c != 'hash']] 
plottable = plottable.head(128) # change this to 64 and everything stops working 

euc = euclidean_distances(plottable) 
mds = manifold.MDS(n_jobs=-1, random_state=1337, dissimilarity='precomputed') 
pos_e = mds.fit(euc).embedding_ 

plottable['xpos'] = pos_e[:,0] 
plottable['ypos'] = pos_e[:,1] 

fig, ax = ppl.subplots(figsize=(6,8)) 

ppl.scatter(ax, plottable.xpos, plottable.ypos) 
plt.show() 

为了产生这种图形：

声明I与128尝试后试着64而不是失败，看看发生了什么，改变了引发错误的with ppl.pretty，并且一切运行良好。这是我的pip freeze：

brewer2mpl==1.4 
matplotlib==1.4.0 
numpy==1.9.0 
pandas==0.14.1 
prettyplotlib==0.1.7 
reportlab==3.1.8 
scikit-learn==0.15.2 
scipy==0.14.0 

和python 2.7.3。