• 请不要在回答技术问题时复制粘贴 AI 生成的内容
www6688w
V2EX  ›  程序员

最近正在学习 Go,想写一个爬虫来练练手,希望大家出个好点子

  •  
  •   www6688w · Aug 27, 2019 · 7371 views
    This topic created in 2626 days ago, the information mentioned may be changed or developed.

    最近正在学习 Go,想写一个爬虫来练练手。

    但是不知道该爬些什么,大家有没有什么建议的目标站点或者好玩的点子,都可以提出来。

    这个主要是练习和玩,写完之后代码会直接开源。

    37 replies  •  2019-08-29 09:43:12 +08:00
    meik2333
    meik2333
    Aug 27, 2019❤️1
    1
    upczww
    upczww
    Aug 27, 2019 via Android
    2
    爬携程,美团,淘宝,这些都非常好爬
    ylsc633
    ylsc633
    Aug 27, 2019
    3
    我曾入行时学习 php 的时候 用 php 的 cUrl 趴了 达盖尔 板块的图!
    Ritter
    Ritter
    Aug 27, 2019
    4
    @upczww 好爬+1
    siriussilen
    siriussilen
    Aug 27, 2019
    5
    @Ritter 好爬+2
    TomStark
    TomStark
    Aug 27, 2019
    6
    @ylsc633 开,往城市边缘开
    www6688w
    www6688w
    OP
    Aug 27, 2019
    7
    @upczww 淘宝防爬不是很厉害麽,大兄弟 (⊙ˍ⊙)
    cxsz
    cxsz
    Aug 27, 2019
    8
    豆瓣 爬电影信息,评分,观影人数啥的
    Rorshach
    Rorshach
    Aug 27, 2019
    9
    @www6688w 没有吧,我半年前爬的时候只要带上 cookies+代理就可以了
    roryzh
    roryzh
    Aug 27, 2019❤️1
    10
    jav
    default7
    default7
    Aug 27, 2019
    11
    为什么不是 py
    skiy
    skiy
    Aug 27, 2019 via Android
    12
    fivestrong
    fivestrong
    Aug 27, 2019 via iPhone
    13
    爬 dmm 吧,整个电影库。
    XxxxD
    XxxxD
    Aug 27, 2019
    14
    从自己兴趣出发啊
    misaka19000
    misaka19000
    Aug 27, 2019
    15
    写啥爬虫啊,没什么技术含量
    rayhy
    rayhy
    Aug 28, 2019 via Android
    16
    写个 golang 版本的 rsshub 吧,能考验下自己怎么组织代码,怎么设计 API,怎么方便别人帮你写某个网站的爬虫。
    herozzm
    herozzm
    Aug 28, 2019
    17
    @siriussilen 好爬+3
    mumbler
    mumbler
    Aug 28, 2019
    18
    爬 youtube 所有带中文字幕的视频
    MMMMMMMMMMMMMMMM
    MMMMMMMMMMMMMMMM
    Aug 28, 2019
    19
    某 hub 视频
    omph
    omph
    Aug 28, 2019
    20
    微信、微博、豆瓣等资源大户
    ctro15547
    ctro15547
    Aug 28, 2019
    21
    国内外各种大秀直播平台的流媒体地址抓取,做个整合,做成 api,外接个播放工具,或者动手写写安卓,就取名叫 XX 聚合直播吧,放墙外收费,到手的钱,写个监控各挖矿币种走势的爬虫,自动买币,一条龙
    snoopygao
    snoopygao
    Aug 28, 2019
    22
    @herozzm 好爬+4
    sadfQED2
    sadfQED2
    Aug 28, 2019 via Android
    23
    https://github.com/Jinnrry/getAwayBSG 上次看见的,跟进一下?
    sadfQED2
    sadfQED2
    Aug 28, 2019 via Android
    24
    @snoopygao 好爬+5
    qq7790586
    qq7790586
    Aug 28, 2019
    25
    顺便借楼问下,爬虫是 python 还是 go 好呢?
    ClericPy
    ClericPy
    Aug 28, 2019
    26
    golang 实现其他语言的著名 爬虫框架, 主要是模仿 API 或者架构
    或者最简单的模仿其他语言的好用的 http 请求库, 主要了解下设计和命名方式
    或者实现 curlparse, 也就是 curl string 和 struct 互转

    边看边学, 最简单的还是直接照抄 Github 已有项目, 很多时候自己摸索的进度完全不如直接看好代码, 刚入门多学学别人的设计和风格比自己瞎写有用得多
    mozutaba
    mozutaba
    Aug 28, 2019
    27
    @upczww 还有公众号也非常适合入门
    tushile928
    tushile928
    Aug 28, 2019
    28
    爬可用 6 位数以内域名
    andy1ee11o2
    andy1ee11o2
    Aug 28, 2019
    29
    Fanza
    amwyyyy
    amwyyyy
    Aug 28, 2019
    30
    我之前刚玩的时候把某 h 网站的图片全下了
    encro
    encro
    Aug 28, 2019
    31
    网易考拉 趁倒闭前收集 SKU 分析分析
    laravel
    laravel
    Aug 28, 2019
    32
    p 站(p**nh*b)视频中文留言
    None123
    None123
    Aug 28, 2019
    33
    @Rorshach 不会有假数据吗?
    www6688w
    www6688w
    OP
    Aug 28, 2019
    34
    @qq7790586 看个人习惯吧,,我比较喜欢 Go 这种类型的,不过 py 可能会简单一些
    qiuBiLiBiLima
    qiuBiLiBiLima
    Aug 28, 2019
    35
    大神,求抖音视频批量去水印下载,GitHub 上之前有个大神做过,1000 多个 star,但是现在好像不维护了,求大神接力做下去
    qiuBiLiBiLima
    qiuBiLiBiLima
    Aug 28, 2019
    36
    大神,求抖音视频批量去水印下载,GitHub 上之前有个大神做过,1000 多个 star,但是现在好像不维护了,求大神接力做下去 这个是地址 https://github.com/loadchange/amemv-crawler
    roryzh
    roryzh
    Aug 29, 2019
    37
    @amwyyyy 我给某 x 网全视频都下了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3392 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 84ms · UTC 00:24 · PVG 08:24 · LAX 16:24 · JFK 19:24
    ♥ Do have faith in what you're doing.