sciooga

V2EX 周报 - 第一期 (2015.11.16-2015.11.23)

  sciooga · Nov 25, 2015 · 15822 views
This topic created in 4001 days ago, the information mentioned may be changed or developed.
写在最前面:个人感觉 V2EX 信息熵开始走低,所以部署了一只爬虫以极慢的速度爬取了 V 站的所有主题及回复来提取价值较高的主题,并一直更新数据至今。现打算定期拿出来分享一下,给那些时间不多,但是又不想错过 V 站精彩主题的朋友们。周报以周一起,周日止,每周二 /周三发布上一周的周报,数据均截止于发帖时的数据进行排序。有很多数据并没有使用起来,以后会慢慢增加周报的内容。
其实也做了一个简单的展示页面,但是还有些不完善,等完善了再发布吧。另外 V 站各位有开发各种浏览 V2EX APP 的同学可以和我联系下,我可以免费提供一些 API 有日报、周报、月报、各种时间段各种数据的排行榜,以及各时段的在线人数走势之类的数据。
那么,第一期就这样吧~

本周主题得分 - Top 10

  1. 这就是极米和知乎的节操? - 互联网 - wsph123 - 22181 分
  2. 淘宝奇遇记:doge:多图 - 分享发现 - yvanhe - 11340 分
  3. mac 命令行唱歌◽ - 奇思妙想 - Deeer - 10346 分
  4. 于是我攒了一个黑苹果 - Mac OS X - pandachow - 9564 分
  5. 今天被老爸教育要攒钱买房子 - 上海 - sneezry - 8390 分
  6. 实在想不明白扫码支付和信用卡对比有什么优势 - 问与答 - billytv - 8287 分
  7. 找了个女朋友后感觉没时间看书写代码了,怎么办 - 情感问题 - Euray - 7837 分
  8. usr 真的是 Unix Shared Resources 的缩写,而不是 user 的缩写吗? - Linux - justjavac - 7689 分
  9. 唉,公司倒闭了,就分了 17000 块! - 职场话题 - powtop - 7228 分
  10. 炒鸡好看的 HTML5 音乐播放器: APlayer - 分享创造 - DIYgod - 7042 分

本周主题投票 - Top 10

  1. 这就是极米和知乎的节操? - 互联网 - wsph123 - 38 票
  2. 淘宝奇遇记:doge:多图 - 分享发现 - yvanhe - 12 票
  3. 忍痛割爱 mac mini !!这是一个血泪史!!! - 二手交易 - kyonnn - 6 票
  4. 「社招」阿里巴巴, 20k~40k ,高级前端开发,杭州滨江 - 酷工作 - FrankFang128 - 6 票
  5. mac 命令行唱歌◽ - 奇思妙想 - Deeer - 6 票
  6. iOS 或者说 IT 圈内几个所谓的「大 V 」相互捧臭脚真是讨厌。 - 水深火热 - Hamniba - 5 票
  7. 「|」:聚合 Twitter 、 Instagram 和 微博 - 分享创造 - RoberMac - 4 票
  8. 欢迎喜欢造轮子的人来一起交♂流 - 分享发现 - sox - 4 票
  9. 写了一个微博相册的爬虫,顺便根据爬虫抓到的图片,写了个随机发图的 Telegram 的 Bot 。 - 分享创造 - lincanbin - 4 票
  10. 算法面试 cheatsheet 0.0.4 - 程序员 - deepreader - 4 票

本周主题感谢 - Top 10

  1. 淘宝奇遇记:doge:多图 - 分享发现 - yvanhe - 12 次
  2. 算法面试 cheatsheet 0.0.4 - 程序员 - deepreader - 11 次
  3. 这就是极米和知乎的节操? - 互联网 - wsph123 - 11 次
  4. mac 命令行唱歌◽ - 奇思妙想 - Deeer - 6 次
  5. 炒鸡好看的 HTML5 音乐播放器: APlayer - 分享创造 - DIYgod - 5 次
  6. Dockercraft - Docker - Livid - 5 次
  7. 全家桶的惊喜 - 分享创造 - easychen - 5 次
  8. 推荐几本 Python 的免费图书 - Python - kancloud - 5 次
  9. 「|」:聚合 Twitter 、 Instagram 和 微博 - 分享创造 - RoberMac - 4 次
  10. 传图识花 - 发送花朵特写的图片,识别花朵的名字 - 分享创造 - restran - 4 次

本周主题收藏 - Top 10

  1. mac 命令行唱歌◽ - 奇思妙想 - Deeer - 138 次
  2. 炒鸡好看的 HTML5 音乐播放器: APlayer - 分享创造 - DIYgod - 91 次
  3. 推荐几本 Python 的免费图书 - Python - kancloud - 77 次
  4. 于是我攒了一个黑苹果 - Mac OS X - pandachow - 70 次
  5. 算法面试 cheatsheet 0.0.4 - 程序员 - deepreader - 70 次
  6. 写了一个微博相册的爬虫,顺便根据爬虫抓到的图片,写了个随机发图的 Telegram 的 Bot 。 - 分享创造 - lincanbin - 69 次
  7. 淘宝奇遇记:doge:多图 - 分享发现 - yvanhe - 62 次
  8. 用 Django 撸的第二个作品:三十撸啊撸 - Python - infinity1207 - 61 次
  9. 今天被老爸教育要攒钱买房子 - 上海 - sneezry - 45 次
  10. 周末啦,推荐程序猿们读的一些书籍~不妨一读 - 推广 - kancloud - 42 次

本周主题点击 - Top 10

  1. 这就是极米和知乎的节操? - 互联网 - wsph123 - 7691 次
  2. 唉,公司倒闭了,就分了 17000 块! - 职场话题 - powtop - 6168 次
  3. 我无耻地来分享好东西了 - 程序员 - spencerqiu - 5793 次
  4. 找了个女朋友后感觉没时间看书写代码了,怎么办 - 情感问题 - Euray - 5739 次
  5. 于是我攒了一个黑苹果 - Mac OS X - pandachow - 5734 次
  6. 今天被老爸教育要攒钱买房子 - 上海 - sneezry - 5577 次
  7. 实在想不明白扫码支付和信用卡对比有什么优势 - 问与答 - billytv - 5569 次
  8. 115 的年费会员又涨价了……谁给他的勇气 - 互联网 - Bryan0Z - 5231 次
  9. 五分钟怒删 Office 2016 - 水深火热 - JackBlack2006 - 5108 次
  10. IT 从业者一部 iPhone 4 用了 5 年是什么情况? - 分享发现 - XDA - 4821 次

本周主题回复 - Top 10

  1. 实在想不明白扫码支付和信用卡对比有什么优势 - 问与答 - billytv - 206 次
  2. 这就是极米和知乎的节操? - 互联网 - wsph123 - 163 次
  3. 找了个女朋友后感觉没时间看书写代码了,怎么办 - 情感问题 - Euray - 160 次
  4. 除了火狐大家都用什么浏览器? - 调查 - czipeng - 135 次
  5. [SOHO] 只为求一枚自由主义的 PHPer - 酷工作 - wengebin - 135 次
  6. 今天被老爸教育要攒钱买房子 - 上海 - sneezry - 134 次
  7. 没想到我居然能有幸前来询问 offer 比较,听说毕业生第一份工作很重要 - 职场话题 - suusatoshigi - 131 次
  8. 115 的年费会员又涨价了……谁给他的勇气 - 互联网 - Bryan0Z - 127 次
  9. 五分钟怒删 Office 2016 - 水深火热 - JackBlack2006 - 125 次
  10. 忍痛割爱 mac mini !!这是一个血泪史!!! - 二手交易 - kyonnn - 123 次

本周回复感谢 - Top 10

  1. 有个人在我们学校贴吧骂我们老师,有没有办法找到那个人的 IP 。 - 水深火热 - c742435 - 36 次
  2. 我是不是该主动辞职了…… - 职场话题 - my101du - 28 次
  3. IT 从业者一部 iPhone 4 用了 5 年是什么情况? - 分享发现 - hellov22ex - 26 次
  4. 找了个女朋友后感觉没时间看书写代码了,怎么办 - 情感问题 - x86 - 22 次
  5. 大大去了一趟, aws 新加坡的节点就是不一样!! - Amazon Web Services - kittyoung - 19 次
  6. 大大去了一趟, aws 新加坡的节点就是不一样!! - Amazon Web Services - LMkillme - 15 次
  7. IS 声称处决中国和挪威人质,外交部确认 - 分享发现 - caixiexin - 12 次
  8. 大大去了一趟, aws 新加坡的节点就是不一样!! - Amazon Web Services - bestkayle - 10 次
  9. usr 真的是 Unix Shared Resources 的缩写,而不是 user 的缩写吗? - Linux - doublleft - 10 次
  10. 实在想不明白扫码支付和信用卡对比有什么优势 - 问与答 - x86 - 9 次

注:主题得分依据投票、感谢、回复、点击、收藏以及回复质量计算而得;回复感谢排行下的回复均为当周主题内的回复,久远的主题中近期回复会进入总榜但不会进入周报。

111 replies  •  2015-11-27 09:22:12 +08:00
1  2  
❮ ❯
Leo
Leo
Nov 25, 2015❤️1
1
有点意思,感谢
BuilderQiu
BuilderQiu
Nov 25, 2015❤️1
2
nice job
SeanChense
SeanChense
Nov 25, 2015 via iPhone❤️1
3
熵--表示混乱度。
sciooga
sciooga
OP
Nov 25, 2015
4
@SeanChense .. 原谅我的错误,感觉每次发点什么都会闹笑话。
111111111111
111111111111
Nov 25, 2015
5
果然有些热闹的帖子被我错过了,感谢
Felldeadbird
Felldeadbird
Nov 25, 2015
6
不错,以后可以定期找遗漏的热门 V 贴
caiya21
caiya21
Nov 25, 2015
7
顶贴来了,顺便来看贴
vainly
vainly
Nov 25, 2015
8
总感觉会出现,结果就出现了。
WildCat
WildCat
Nov 25, 2015 via iPhone
9
赞!
iOS 客户端开发者出现了,希望具体沟通。 i(at)wildcat.io
keniusahdu
keniusahdu
Nov 25, 2015
10
不错.定期看周报了.不刷贴了.
kenshinhu
kenshinhu
Nov 25, 2015
11
求爬虫教程
Mrxx
Mrxx
Nov 25, 2015
12
做成微信号订阅,省去很多时间
sciooga
sciooga
OP
Nov 25, 2015❤️1
13
@kenshinhu V 站的爬虫没什么技术含量的... 单一 IP 只要爬取速度不太快就不会触发 1800 秒了,然后想怎么弄都行了。

这个爬虫有几个爬取方式,一个是通过 v2ex.com/changes 获取到最新的无过滤的主题更新列表
一个是根据时间段划分主题 ID 进行爬取(分速度,近期的更新快些,越久远速度越慢)

然后需要登录才能查看的主题带上 A2 这个 cookie 就行了。
sciooga
sciooga
OP
Nov 25, 2015
14
@Mrxx 要是有时间都可以弄,只是我比较懒... 爬虫都爬了好几个月了现在才发布, Feed 都没得空弄...
Devin
Devin
Nov 25, 2015 via iPhone
15
熵只增不减😏
kenshinhu
kenshinhu
Nov 25, 2015
16
@sciooga 找空用我大 node 试试!
sunpj
sunpj
Nov 25, 2015
17
棒棒哒
fakir
fakir
Nov 25, 2015
18
good
Ellison
Ellison
Nov 25, 2015
19
这个赞,收藏先,期待下一期
xiaoc19
xiaoc19
Nov 25, 2015
20
赞一下啦
hauk0101
hauk0101
Nov 25, 2015 via Smartisan T1
21
有趣
MrJing1992
MrJing1992
Nov 25, 2015
22
good ,我预测楼主的贴子会登顶楼主的榜单,感谢楼主
kyonnn
kyonnn
Nov 25, 2015
23
哈哈好棒!看到我的名字了!!!!
cwhong4399
cwhong4399
Nov 25, 2015
24
如果能长期弄下去,可以考虑让 L 大弄个节点咯
JayFang1993
JayFang1993
Nov 25, 2015 via iPhone
25
这个棒 nice
kyonnn
kyonnn
Nov 25, 2015
26
特意百度了一下“信息熵”,完了,发现自己智硬,抽搐惹……
nevermind1998
nevermind1998
Nov 25, 2015
27
居然錯過了要賣 mac mini 的妹子
桑心
sciooga
sciooga
OP
Nov 25, 2015 via Android
28
@kyonnn 大运营你好呀~ 弄不懂就算了,我也是高中时候看压缩算法了解了一下而已,恍恍惚惚又过去几年了。
Pastsong
Pastsong
Nov 25, 2015
29
居然错过了要卖 Mac mini 的妹子,我这一周在 V2 都在干什么啊!
DIYgod
DIYgod
Nov 25, 2015
30
回复质量是怎么算的
SpicyCat
SpicyCat
Nov 25, 2015
31
方便的话,能否开源下爬虫代码?
Crixs
Crixs
Nov 25, 2015
32
Nice
mornlight
mornlight
Nov 25, 2015
33
看起来即使是同一个帖子,也会经常爬一下更新感谢数和回复数?
另外,既然存了帖子标题,楼主有没有考虑过开放一个标题搜索功能?
aheadlead
aheadlead
Nov 25, 2015
34
可以开放个邮件订阅吗
sciooga
sciooga
OP
Nov 25, 2015
35
@DIYgod 每条收到 3 个以上的感谢的回复会提升主题的回复质量系数,这个系数对主题得分有比较大的影响。


@SpicyCat 开源没问题,只是不是近期,我得找个时间重构一下。
sciooga
sciooga
OP
Nov 25, 2015
36
@mornlight
是的,定期更新,包括主题的点击数、感谢数都会更新,更新频度由近及远依次降低,比如超过一个月之外的主题大概需要两个月才会更新一次数据了。


@aheadlead
最近打算弄好订阅这些东西,待我这两天完成了前端页面先吧。
有更新会写入周报的。
arbipher
arbipher
Nov 25, 2015
37
有点意思
loryyang
loryyang
Nov 25, 2015
38
顶 lz ,也认同部分低质量帖子变多的感觉
PS :记得统计里面把这个帖子去掉。。。
heyf
heyf
Nov 25, 2015❤️1
39
@SeanChense
@sciooga

https://zh.wikipedia.org/wiki/%E7%86%B5_(%E4%BF%A1%E6%81%AF%E8%AE%BA)
在信息世界,熵越高,则能传输越多的信息,熵越低,则意味着传输的信息越少。

错的不是你(是世界)
s5s5
s5s5
Nov 25, 2015
40
楼主好人啊
Bairrfhoinn
Bairrfhoinn
Nov 25, 2015
41
好是好,但是开头那壹段文字就不能用正常大小的字体来书写嘛,实在是太细了,看得人眼睛都要瞎了,为了看清楚说的什么,我都是把浏览器字体放大放大再放大才开始继续阅读的。
sciooga
sciooga
OP
Nov 25, 2015
42
@Bairrfhoinn 不好意思了,以后要有简单说明会放大些的。
v23ex
v23ex
Nov 25, 2015
43
得分是如何计算出来的?
RyuZheng
RyuZheng
Nov 25, 2015 via Android
44
之前有人也做了周报,还可以订阅发送到 kindle 但是后来不知为啥就没更新了
haitongz
haitongz
Nov 25, 2015
45
喜欢
endpoint
endpoint
Nov 25, 2015
46
我倒是想看看爬虫怎么写的。嘻嘻
ameba
ameba
Nov 25, 2015
47
这篇感觉也能进日报
xiangjian
xiangjian
Nov 25, 2015
48
这个不错。 相当有料
Mavious
Mavious
Nov 25, 2015 via Android
49
可以球一个 rss 订阅嘛?一周推 n 个热门帖子看看😉
sciooga
sciooga
OP
Nov 25, 2015❤️1
50
@Mavious 已在 TODO 列表,预计下星期前会有吧。
smartdie
smartdie
Nov 25, 2015
51
楼主搞个微信订阅号吧,省去手机上看了。
PrideChung
PrideChung
Nov 25, 2015
52
我看走眼了,以为看到了

今天被老爸教育要攒钱买房子, 于是我攒了一个黑苹果 [:doge:]
sciooga
sciooga
OP
Nov 25, 2015
53
@PrideChung 顺带说一下, V2EX PLUS 更新至最新版是支持快捷键发送的,这样就不会把 doge 那个标签发出来了。
moufuli
moufuli
Nov 25, 2015
54
希望可以推送至 kindle ,查看周报汇总滴文章。
z7039585
z7039585
Nov 25, 2015
55
挺好的 如果可以用邮件订阅就更好了 0 0
MaqicXu
MaqicXu
Nov 25, 2015
56
luili
luili
Nov 25, 2015
57
我要把这个主题赞到十大
yiciyuansky
yiciyuansky
Nov 25, 2015
58
有意思
sciooga
sciooga
OP
Nov 25, 2015
59
@moufuli
@z7039585
@MaqicXu
@luili

RSS 订阅、微信订阅号、 kindle 推送等等这些这段时间会做的。
49
49
Nov 25, 2015 via Android
60
@sciooga prprpr ,快做吧!好期待!感谢!
MinskyNg
MinskyNg
Nov 25, 2015
61
支持一个
djyde
djyde
Nov 25, 2015
62
i'm in!
dreammes
dreammes
Nov 25, 2015 via iPhone
63
支持一下
Qlccks2
Qlccks2
Nov 25, 2015
64
本周回复感谢 - Top 10 有重复的吧
sciooga
sciooga
OP
Nov 25, 2015
65
@Qlccks2 点进去就明白了,上面都是主题排行,最后一个是回复排行(也是我最喜欢看的),有重复说明主题下的多条回复都进入了排行。
eric227
eric227
Nov 25, 2015
66
点赞
leveraging
leveraging
Nov 25, 2015
67
Nice
JackyHua
JackyHua
Nov 25, 2015
68
顶贴
shyrock
shyrock
Nov 25, 2015
69
为什么要强调是极慢的爬虫?怕被 Livid 封掉?
quericy
quericy
Nov 25, 2015
70
忽然想起来这周周报还没写
sciooga
sciooga
OP
Nov 25, 2015
71
@shyrock 我被封过好几次几天,不想麻烦去找代理,所以速度降低到很慢一分钟几个主题的速度,这样也省事不用怎么维护,写出来就是表明这个爬虫不会给 V 站服务器造成压力,没有什么问题的话还是别封了..
luckyzhe
luckyzhe
Nov 25, 2015
72
有意思
well
well
Nov 25, 2015
73
有了这周报,以后不会盲目扫贴看了。
GPU
GPU
Nov 25, 2015
74
我帮你弄一个公众号如何? 嘻嘻
GPU
GPU
Nov 25, 2015
75
我有空就 QQ 你。
sciooga
sciooga
OP
Nov 25, 2015
76
@GPU 哈,好啊~
GPU
GPU
Nov 25, 2015
77
@sciooga 今晚见~~~~~
glogo
glogo
Nov 25, 2015
78
LZ 请收下我的铜币!!!
ibolee
ibolee
Nov 25, 2015
79
这个内容要是出现在右侧就好了~
mornlight
mornlight
Nov 25, 2015
80
@GPU 这就约上了吗!
GPU
GPU
Nov 25, 2015
81
@mornlight 低调, 低调
run2
run2
Nov 25, 2015
82
所以以后只要订阅楼主久好了-。-
run2
run2
Nov 25, 2015
83
感觉 lz 花的功夫比 admin 还多, V2EX plus 什么的,你自己弄个社区估计能比这舒服多了。。
何必为他人做嫁衣?
sciooga
sciooga
OP
Nov 25, 2015
84
@sobigfish 嘿嘿,都是些练手的小玩意,而且社区的核心是人而不是技术。
jiehuangwei
jiehuangwei
Nov 25, 2015
85
@sciooga 给个建议吧,其实楼主是否应该考虑计算综合质量(俗称总分),然后再做 TOP 排行。
热门的帖子,其投票、感谢、回复、点击、收藏各个值一般都不低,否则就不是热门贴了,
如果再按照其各个维度进行排行,在前面的基本都是那么几个帖子,帖子重复度太大,而相对靠后的,
有一定质量的帖子就体现不出来了。
PS :没有看回复,不知道是否已经有人提出过类似这个的建议
matthewgao
matthewgao
Nov 25, 2015 via Android
86
@SeanChense 混乱度决定了信息量,从信息论的角度说楼主没用错
ershiwo
ershiwo
Nov 25, 2015
87
表示非常关注,谢谢楼主
1ychee
1ychee
Nov 25, 2015
88
支持一个。目测这个帖子第二期肯定上了。。
sciooga
sciooga
OP
Nov 25, 2015
89
@jiehuangwei 第一个得分排行便是各个项得分加权后的排行呀,重复是肯定的,很少有单一项特别突出的,但是某项特别突出的肯定不会被埋没,之前有个渐冻人论坛的求助在 V 站热门就没埋没了,但在我这的日榜看是最顶部的,因为得到的投票比较多。
wakemecn
wakemecn
Nov 25, 2015❤️1
90
@SeanChense 熵表示混乱度。熵值越低混乱度越大。信息熵越低,信息的混乱度越高,有价值的信息越少,和熵的概念不矛盾。建议看一下图灵的信息论在跑出来教育人。
wakemecn
wakemecn
Nov 25, 2015
91
@sciooga 熵的概念你用对了
wakemecn
wakemecn
Nov 25, 2015
92
@heyf 楼主没用错。熵值越低说明系统越混乱。一个混乱度高的系统与一个混乱度底的系统相比,传输的信息越少
loveuqian
loveuqian
Nov 25, 2015
93
有意思。。。
一直都很想做一个 V2 的 iOS 的 APP
虽然已经有很多了。。。
Rafaam
Rafaam
Nov 25, 2015 via Android
94
@wakemecn 物理中熵值越大混乱程度越大。图灵的信息论给了相反的定义?
sciooga
sciooga
OP
Nov 25, 2015 via Android
95
@wanll93918 我怎么记得是香农?
zho6
zho6
Nov 25, 2015
96
支持 周报
更期待月报和年报
kancloud
kancloud
Nov 25, 2015
97
不错~
lane3000
lane3000
Nov 25, 2015
98
干得漂亮,手动点赞~~
hzlzh
hzlzh
Nov 25, 2015
99
这个不错,说道公众号,我一直有维护一个组织号,可否放到公众号 v2ex_com 里推送呢?
cc @GPU
GPU
GPU
Nov 25, 2015
100
@hzlzh 暂时还没有开始搞 ,到时候看看把。
1  2  
❮ ❯
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1523 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 166ms · UTC 07:22 · PVG 15:22 · LAX 23:22 · JFK 02:22
♥ Do have faith in what you're doing.