你写爬虫的目的是什么？

爬虫

目的

用到

59 replies • 1970-01-01 08:00:00 +08:00

1

janxin

Mar 25, 2014 via iPad

写了这么久没写过爬虫…我不是合格程序员…

2

wvidc

Mar 25, 2014

你猜猜
～\(^o^)/～

3

john990

Mar 25, 2014 via Android

为自己的网站弄点数据

4

paicha

PRO

Mar 25, 2014

微信公众号，教务系统成绩查询

5

caiych

Mar 25, 2014

……看漫画……网站不给打包下载……
以及抓一些数据测试算法……

6

binux

Mar 25, 2014

1

这是我的工作。。

7

xuxu

Mar 25, 2014

蛋疼的时候玩

8

vitoziv

Mar 25, 2014

毕业设计的时候，为了做一个移动版教务系统，爬了学校的教务系统数据..

9

jsonline

Mar 25, 2014

每个月都能看见有人发布一个新的爬虫……

10

reverland

Mar 25, 2014

显然是为了搜集信息

11

csx163

Mar 26, 2014

抓H种子
抓H图

果然H是第一生产力啊

12

WildCat

Mar 26, 2014 via iPhone

@paicha 这…怎么查？没API诶

13

WildCat

Mar 26, 2014 via iPhone

@paicha
@vitoziv

求如何爬正方教务系统
http://123.232.100.110:86

@csx163
你不怕查水表？

14

Amoscoder

Mar 26, 2014

工具用的Mechanize。。

@WildCat
你爬正方的教务系统难点在哪儿？很容易啊。

15

vilicvane

Mar 26, 2014

主要是提高生产力吧, Marketing Research 之类的. 还有就是之前做的外包, 是 SEO 工具, 统计数据用的.
另外现在自己的背单词应用也是爬的词库. 感觉经常会用到.
@WildCat 哈哈, 说道这个还真的爬过教务处网站抓课表, 虽然那个项目后来没继续搞了. https://github.com/vilic/ClassScheduleProxy

16

C0VN

Mar 26, 2014

美女图！妹子图！无聊图！

17

kehr

OP

Mar 26, 2014

1

@Amoscoder
@vilic

你们的教务系统外网能够访问么？比如查成绩，查课表之类的？我们这里只能通过内网进行。

如果外网无法访问，那么爬虫还能爬到数据么？

18

bbiao

Mar 26, 2014

要是能匿名回答就好了。

19

kehr

OP

Mar 26, 2014

@bbiao 查水表的没有那么快～

20

vilicvane

Mar 26, 2014

@kehr 多数教务网貌似外网还是能访问的诶。

21

kehr

OP

Mar 26, 2014

@vilic 如果要爬外网无法访问的，有什么解决方法木有？

22

wtbhk

Mar 26, 2014

爬教务处的课表、成绩、补考、饭卡余额明细等。教务处太渣，爬下数据来重新组织排版缓存再给学生使用，还可以提供移动端访问。

23

ChiangDi

Mar 26, 2014 via Android

无聊。

24

vilicvane

Mar 26, 2014

@kehr 用客户端访问咯, 然后服务器解析或者直接客户端解析就好了.

25

moondark

Mar 26, 2014

爬我校BBS，完成课程作业

26

WildCat

Mar 26, 2014 via iPhone

@vilic
@Amoscoder
只能查自己的成绩和课表，怎么爬别人的？

27

BackBox

Mar 26, 2014 via iPhone

@Amoscoder 怎么处理验证码？

28

fange01

Mar 26, 2014

@paicha 求共享源码。

29

Actrace

Mar 26, 2014

用PHP写爬虫做了个网页搜索,code.so

30

Amoscoder

Mar 26, 2014

@WildCat 这个没办法吧，只能用别人的账号模拟登陆

31

Amoscoder

Mar 26, 2014

1

@BackBox 可以试下tesseract+imagemagick

32

Amoscoder

Mar 26, 2014

@kehr 大部分教务系统还是可以外网访问的，内网的估计悬。

33

yangxin0

Mar 26, 2014

公司手游做猜球活动，写了一个爬虫去爬实时比分数据。

34

kslr

Mar 26, 2014

爬xx种子，然后在本地建立数据库。

35

kavi

Mar 26, 2014

爬美女图，放在微信公众平台上

36

airyland

Mar 26, 2014

@paicha 如何采集公众号的数据？

37

paicha

PRO

Mar 26, 2014

1

@WildCat
@fange01

水平太差就不好意思放源码啦，大致流程就是：
获取学号密码——模拟登录——抓取成绩页面——正则提取数据——返回消息到微信。

模拟登录的数据我是用 Chrome 开发者工具分析的，然后构造数据 POST 登录。（我们学校教务平台没验证码，所以可以3秒内完成查询）。

贴个流程图：

@airyland
采集公众号的数据？什么意思

38

WildCat

Mar 26, 2014 via iPhone

@paicha 我们有验证码，麻烦了

39

xi4oh4o

Mar 26, 2014

好用的库
nokogirl
phpquery
用过这些

curl+regular exp写过模拟登录pixiv，目的是分享自己帐号收藏的用户发布的作品。

40

paicha

PRO

Mar 26, 2014

@WildCat
要么试试有什么工具库可以识别，效率的话不知道可以不可以在微信5秒规定内完成。再者就看看能不能绕过验证码。入侵数据库也是一个……不过太危险了。
这方面没什么经验，只能说一些想法~

41

sb

Mar 26, 2014

1

@WildCat 直接模拟提交账号密码，不用验证码

42

sb

Mar 26, 2014

@WildCat 或者有几个登录页面是没有验证码的，可以模拟提交。

43

fengliu222

Mar 26, 2014

当然是拿种子。。不过有了迅雷云播之后，都是直接拿磁力链接什么的~~~

44

Lelouchcr

Mar 26, 2014

一开始是给某妹子爬别人豆瓣上的照片。
后来变成了工作。。。

45

summic

Mar 26, 2014

爬股票数据做投资参考

46

action

Mar 26, 2014

爬直播

47

airyland

Mar 26, 2014

@paicha 我看到你答“微信公众号，教务系统成绩查询”，以为是你写爬虫去采集微信公众号的文章。原来不是么？

48

cabinw

Mar 26, 2014

kimono解放了我

49

paicha

PRO

Mar 26, 2014

@airyland 额，表达不当，我是说在微信公众号里做的开发。
抓取微信这个有现成的应用： http://chuansong.me/

50

9hills

Mar 26, 2014 via iPad

@kehr 内网爬完美解决

51

partysover

Mar 27, 2014

1

抓数据，然后计算，包装打包卖。

52

rainysia

Mar 27, 2014

1

我会说我在内网去抓了同事的工资条么...抓了后提了加薪... 加的没同事多...就走了...哎哎, 不作死就不会死

53

mclxly

Mar 27, 2014

@summic 你是怎么做数据分析的?我当时爬了一段时间，积累了几千万的数据，后来没有很好的分析思路，就放弃了。

54

sunocean

Mar 27, 2014

百度贴吧抓妹子图，我会乱说嘛

55

summic

Mar 27, 2014

1

@mclxly 最简单的就是看量价比，更多分析方法参见腾讯股票频道的智能选股

56

chengs2035

Mar 27, 2014

曾经自己写过C#程序，把百度的所有图片爬下来，花了一天，10多T。。。

57

dong3580

Mar 27, 2014

@chengs2035
抓链接存到数据库,我会说你一天10T,好大的硬盘,到快的网速啊.

58

anjiannian

Mar 27, 2014

@rainysia 太可爱了

59

Amoscoder

Mar 28, 2014

@9hills 内网你是如何解决的？