Home Sign Up Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
lusin
V2EX  ›  程序员

请问大量的数据收集常用的技术有哪些？

  •   
  •   lusin · May 8, 2012 · 3865 views
    This topic created in 5291 days ago, the information mentioned may be changed or developed.
    比如GOOGLE购物频道这样的，一般用什么技术实现呢？
  • Google
  • 技术
  • 频道
    2 replies  •  1970-01-01 08:00:00 +08:00
    sohoer
    sohoer
    May 8, 2012❤️1
    1
    就是所谓的垂直搜索吧，
    或者用采集器实现，
    或者自己写
    http://www.searchtb.com/2011/07/%E5%BF%AB%E9%80%9F%E6%9E%84%E5%BB%BA%E5%AE%9E%E6%97%B6%E6%8A%93%E5%8F%96%E9%9B%86%E7%BE%A4.html
    docete
    docete
    May 8, 2012❤️1
    2
    你说的是网络爬虫吧。一般会用开源方案做二次开发。scrapy用的人比较多。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3116 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 39ms · UTC 05:03 · PVG 13:03 · LAX 21:03 · JFK 00:03
    ♥ Do have faith in what you're doing.