Jverson's recent timeline updates
Jverson

Jverson

V2EX member #260036, joined on 2017-10-16 17:26:23 +08:00
Jverson's recent replies
@mht 你的域名只是 icp 备案就能直接绑定用是吗?
面临同样的问题,搭车有偿求一个已备案的二级域名用来绑定七牛云,迁图床太麻烦
厉害,当年也是想做这个来着( https://github.com/jiwenxing/crawler-lj/blob/master/statistics.md ),最后只写了一个爬虫自己用用,没有楼主走的这么远,赞一个!

楼主应该也是爬虫实现的吧,可以将爬到的数据做更多维度的分析,不仅限于调价记录,比如某个城市每天的调价均值(能一定程度反映出二手房市场走势),所有挂牌二手房均价(需要剔除已售出的房源)等。
Dec 24, 2017
Replied to a topic by IC0ZB 程序员 程序员的一生要经历多少苦难?救救我吧
@icySoda 可能是楼主之前的生活一直都很一帆风顺把
@hantsy
1. spring 提供的 schedule 我也在 demo 中使用过,但是集群环境下需要自己解决多次触发的问题,虽然使用很简单,感觉还是没有 quartz 功能强大
2. 看来我需要好好研究一下 spring batch,目前还没用过,感觉从功能上好像完全可以替代其它调度系统,不知道实际项目应用中有哪些需要注意的地方
@zhx1991 因为使用 mq 异步触发任务执行,可以采用应答模式,如果业务执行失败或者宕机则不会返回应答,这样消息便不会被从队列删除,可以分发到其它机器或者等待应用重启后继续消费
@hantsy 感谢回答
spring batch 没用过,大概知道是一个批处理框架,您提到的批处理文件读取数据失败 resume 的问题我感觉应该是批处理要解决的问题,quartz 我们只是用来做调度
您提到线程的问题,quartz 使用线程池来管理 job 线程,可以设置线程数量,而且线程唯一要做的事就是通过 mq 触发任务,感觉这里应该不会有什么问题,不知道我理解的对不对
@zhx1991 感谢回复~
1. quartz 应该可以配置相应的策略,DisallowConcurrentExecution
2. 个人觉得 quartz 只负责通知业务执行,不关心业务的执行结果,失败重试需要业务自己实现,最大程度的解耦
3. quartz 任务数据是持久化到数据库的,重启后可以设置相应的 misfire 策略,如果不是长时间宕机应该问题也不大
4. 随时修改执行时间已实现,查看历史执行可以对触发消息做一个记录
@xiaoyangsa 对,线上用 mysql,为了方便别人跑 demo 这里就用了内存数据库
@cy97cool 是不是已经修了,试了一下不行啊
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   4283 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 21ms · UTC 00:07 · PVG 08:07 · LAX 17:07 · JFK 20:07
♥ Do have faith in what you're doing.