一个基于scrapy和MongoDB的项目
https://github.com/Junnplus/OnlineJudge_Crawler_Core
知道ACM的人应该知道VirtualJudge,这个项目实现跟VJ 的功能一样,能抓取各个OJ的题目,以及提交代码后的评判结果,作为自己接下去要写的新版VJ的核心组件. (_(:3 」∠ )_ VJ的作者不知道有没有逛V2EX)
Features
- Random UserAgent Support
- Simulate Login Support
- Form Submit Support
目前支持POJ/SDUT_OJ/HDU_OJ/FZU_OJ
当然代码很多地方还没完善,有错的地方可以提issue或是pr
如果有帮助的可以star
我的GitHub: https://github.com/Junnplus/
1
saber000 2015-07-09 09:31:08 +08:00
问题的英文应该是Question吧,不是Problem...
|
2
hayao650 2015-07-09 09:47:21 +08:00 via Android
他的意思应该是pull request吧
|
4
zanpen2000 2015-07-09 13:06:12 +08:00
好多缩写,一个都不知道,就知道一个Scrapy,一看就是高手
|
5
junnplus OP @zanpen2000 你是说oj的缩写么
|