V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
gazhang
V2EX  ›  问与答

对百万量级的数据如何快速聚类?

  •  
  •   gazhang · Aug 15, 2019 · 3481 views
    This topic created in 2447 days ago, the information mentioned may be changed or developed.

    我有 100 万条数据,每个数据是一个 200 维的向量,考虑对它们进行聚类。目前尝试了 scipy 的 k-means 聚类算法,但是半天没有结果。 计算平台是 windows 7,内存 16G。

    5 replies    2019-08-23 17:33:49 +08:00
    xxxy
        1
    xxxy  
       Aug 15, 2019
    有 gpu 的话可以用 tensorflow 的 k means,应该会快十几倍吧
    pwrliang
        3
    pwrliang  
       Aug 15, 2019 via Android
    上分布式吧,用 Spark 写个 K-means
    shidenggui
        4
    shidenggui  
       Aug 15, 2019
    pca 降维,再聚类
    gazhang
        5
    gazhang  
    OP
       Aug 23, 2019
    最后还是在好点的机器上跑了,大概半小时。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5380 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 44ms · UTC 01:14 · PVG 09:14 · LAX 18:14 · JFK 21:14
    ♥ Do have faith in what you're doing.