搜索引擎类爬虫 crawl frequency 策略的设计

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 2522 days ago, the information mentioned may be changed or developed.

请教大家一个设计问题。现在有一个点餐类搜索引擎，爬取 100w 个饭店，有 10 种送餐方式，不同送餐方式的快递费不同，快递费会随时间变化而变化。要求给定一个邮编，显示附近的饭店和对应的送餐价格。

权衡的因素有：数据是否实时，数据是否正确，对网站影响尽可能小

4 replies • 2019-06-14 11:48:12 +08:00

locoz

Jun 14, 2019 via Android

感觉你的描述有点奇怪，给你细化一下：
1、爬的这 100w 个饭店的数据源来自哪里？
2、10 种送餐方式和爬虫之间的关系？
3、邮编我记得只到区级，怎么精确定位？话说这年头有人用邮编点餐？
4、要数据实时就不可能对对方网站压力小，这是无法调和的矛盾。

silencefent

Jun 14, 2019

建议从头学习爬虫入门技术

jc89898

Jun 14, 2019

@locoz 人家不一定说的是中国嘛，邮编其实也有可能的。

makeapp

Jun 14, 2019

@locoz 假设给定邮编后能知道 gps 的坐标，100w 个饭店的 gps 坐标也都知道。10 种送餐方式相当于是 seed_url，访问其中一个 url 后输入邮编，可以获取附近 10 公里内的饭店和快递费用。想求的是，给定邮编 xxx，对于附近的饭店，最便宜的送餐方式什么？