最近正在学习 Go，想写一个爬虫来练练手，希望大家出个好点子

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 1914 天前的主题，其中的信息可能已经有所发展或是发生改变。

最近正在学习 Go，想写一个爬虫来练练手。

但是不知道该爬些什么，大家有没有什么建议的目标站点或者好玩的点子，都可以提出来。

这个主要是练习和玩，写完之后代码会直接开源。

点子

练

开源

学习

37 条回复 • 2019-08-29 09:43:12 +08:00

meik2333

2019-08-27 18:09:32 +08:00

https://github.com/tophubs/TopList 摸鱼神器

upczww

2019-08-27 18:12:53 +08:00 via Android

爬携程，美团，淘宝，这些都非常好爬

ylsc633

2019-08-27 18:15:27 +08:00

我曾入行时学习 php 的时候用 php 的 cUrl 趴了达盖尔板块的图!

Ritter

2019-08-27 18:17:43 +08:00

@upczww 好爬+1

siriussilen

2019-08-27 18:18:31 +08:00

@Ritter 好爬+2

TomStark

2019-08-27 18:20:02 +08:00

@ylsc633 开，往城市边缘开

www6688w

2019-08-27 18:36:06 +08:00

@upczww 淘宝防爬不是很厉害麽，大兄弟 (⊙ˍ⊙)

cxsz

2019-08-27 18:38:34 +08:00

豆瓣爬电影信息，评分，观影人数啥的

Rorshach

2019-08-27 18:39:12 +08:00

@www6688w 没有吧，我半年前爬的时候只要带上 cookies+代理就可以了

roryzh

2019-08-27 19:36:30 +08:00

jav

default7

2019-08-27 22:43:04 +08:00

为什么不是 py

skiy

2019-08-27 23:19:22 +08:00 via Android

我爬漫画 https://github.com/skiy/comic-fetch

fivestrong

2019-08-27 23:38:38 +08:00 via iPhone

爬 dmm 吧，整个电影库。

XxxxD

2019-08-27 23:49:39 +08:00

从自己兴趣出发啊

misaka19000

2019-08-27 23:56:07 +08:00

写啥爬虫啊，没什么技术含量

rayhy

2019-08-28 00:00:49 +08:00 via Android

写个 golang 版本的 rsshub 吧，能考验下自己怎么组织代码，怎么设计 API，怎么方便别人帮你写某个网站的爬虫。

herozzm

2019-08-28 00:17:24 +08:00

@siriussilen 好爬+3

mumbler

2019-08-28 00:35:47 +08:00

爬 youtube 所有带中文字幕的视频

MMMMMMMMMMMMMMMM

2019-08-28 08:10:20 +08:00

某 hub 视频

omph

2019-08-28 08:44:57 +08:00

微信、微博、豆瓣等资源大户

ctro15547

2019-08-28 08:49:35 +08:00

国内外各种大秀直播平台的流媒体地址抓取，做个整合，做成 api，外接个播放工具，或者动手写写安卓，就取名叫 XX 聚合直播吧，放墙外收费，到手的钱，写个监控各挖矿币种走势的爬虫，自动买币，一条龙

snoopygao

2019-08-28 08:56:05 +08:00

@herozzm 好爬+4

sadfQED2

2019-08-28 09:13:02 +08:00 via Android

https://github.com/Jinnrry/getAwayBSG 上次看见的，跟进一下？

sadfQED2

2019-08-28 09:13:29 +08:00 via Android

@snoopygao 好爬+5

qq7790586

2019-08-28 10:19:57 +08:00

顺便借楼问下,爬虫是 python 还是 go 好呢?

ClericPy

2019-08-28 11:37:52 +08:00

golang 实现其他语言的著名爬虫框架, 主要是模仿 API 或者架构
或者最简单的模仿其他语言的好用的 http 请求库, 主要了解下设计和命名方式
或者实现 curlparse, 也就是 curl string 和 struct 互转

边看边学, 最简单的还是直接照抄 Github 已有项目, 很多时候自己摸索的进度完全不如直接看好代码, 刚入门多学学别人的设计和风格比自己瞎写有用得多