darkmatter
V2EX  ›  问与答

分布式爬虫该如何通信呢?

  •  
  •   darkmatter · Oct 14, 2016 · 2037 views
    This topic created in 3514 days ago, the information mentioned may be changed or developed.
    一个 Master,N 个 Slave 。 Master 发送任务到 Slave,Slave 抓取之后如何将数据返回给 Master ?
    5 replies    2016-10-26 23:33:57 +08:00
    billlee
        1
    billlee  
       Oct 14, 2016
    任务队列
    darkmatter
        2
    darkmatter  
    OP
       Oct 14, 2016
    @billlee Slave 是通过队列获取任务的。
    lecher
        3
    lecher  
       Oct 15, 2016 via Android
    master 开更新内容的接口, slave 领取任务处理之后,将处理的数据通过调用接口的形式写入 master 数据库。

    由 master 的接口处理相关任务的状态更新
    cloudbeyond
        4
    cloudbeyond  
       Oct 15, 2016
    至少两个队列嘛,一个控制面的,收发控制消息,另一个数据面的队列, slave 抓取处理完了扔数据队列里面, master 再从这里面捞
    Powered
        5
    Powered  
       Oct 26, 2016 via Android
    @lecher RPC
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1109 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 37ms · UTC 17:58 · PVG 01:58 · LAX 10:58 · JFK 13:58
    ♥ Do have faith in what you're doing.