R 里面使用 knn 进行计算太慢了~ 求优化建议~

This topic created in 4332 days ago, the information mentioned may be changed or developed.

笔记本i5 双核4线程。跑一个knn ，训练数据1000天，test set 2W条。估计跑了10~20分钟
求性能优化建议。
我已经使用了openblas进行加速了。。。

难道要换个mac？
不知道有没有一些vps能提供这种服务？比如青云这种按秒计费的服务商，我刚试了一下8核4G 0.92元/小时

求靠谱建议

knn

优化

openblas

11 replies • 2014-07-05 20:37:28 +08:00

dndx

Jul 5, 2014

R 是单线程，性能不行，别说 KNN 这么复杂的算法，就做个简单的统计模拟都是慢的要死。

如果可以用 C++ 重写的话，试一试 http://www.cs.ubc.ca/research/flann/ ，据我用的情况来看比 R 快了几个数量级。

madeye

Jul 5, 2014

来块显卡吧 http://vincentfpgarcia.github.io/kNN-CUDA/

RangerWolf

Jul 5, 2014

@dndx 哎看来用R入门之后还是得靠cpp python 等传统语言来搞定生产系统
多谢~

RangerWolf

Jul 5, 2014

@madeye mac 里面的显卡能用吗？我现在的本子是使用cpu集成的显示芯片的

madeye

Jul 5, 2014 via Android

@RangerWolf 不够用的。

canesten

Jul 5, 2014 via Android

@RangerWolf
集成显卡完全不行的
想玩CUDA请上英伟达开普勒架构以上的显卡
我记得貌似亚马逊有专门的实例

Comdex

Jul 5, 2014 via Android

用golang

canesten

Jul 5, 2014

@Comdex
R也可以玩CUDA
关键是显卡
http://brainarray.mbni.med.umich.edu/brainarray/Rgpgpu/

ruoyu0088

Jul 5, 2014

能否具体一点？
你要对20000条测试数据在1000条数据中k个最近的数据吗？k值是多大？数据的维数是多少？

road2stat

Jul 5, 2014

http://cran.r-project.org/web/packages/FNN/

RangerWolf

Jul 5, 2014

@road2stat 我用的就是FNN里面的knn

@ruoyu0088 其实这个是kaggle里面的一个比赛项目： http://www.kaggle.com/c/digit-recognizer
原始的训练数据有42W条，但是在R里面跑了一个晚上也没跑完。。。我就只留了10000条数据作为训练数据了~ 每条数据是784列，k值我选的7

因为太慢了，没有能测试多个k值，不知道影响如何~