• 请不要在回答技术问题时复制粘贴 AI 生成的内容
gaigechunfeng
V2EX  ›  程序员

想做一个极简的看电影打卡小程序,怎么爬取豆瓣信息才不违法??

  •  
  •   gaigechunfeng · Dec 19, 2022 · 5871 views
    This topic created in 1417 days ago, the information mentioned may be changed or developed.

    ###我想做一个极简的,只是看电影打卡的小程序,目前程序差不多完成 80%,但是一边写一边自我怀疑,爬取豆瓣的信息到底怎么才不违规?和 V 友们讨论一下:

    1. 爬取的标题、介绍、片名等都不在 robot 协议限制当中,这个应该是合规的吧?

    2. 封面、剧照等图片文件的地址被 robot 协议限制,我如果直接用豆瓣地址显示算违规吗?

    3. 我把豆瓣图片 download 下来,上传到自己的 oss 上面算违规吗?

    4. 如果违规了,但是我这么小的小程序,会被追究吗?

    5. 结合 234 ,如果我只爬 robot 协议限制之外的文字信息,图片什么的使用鼠标人工下载图片,再上传到 oss 上(其实这样和爬虫作用一样,但是我在小程序上声明,所有图片都是人工手动保存并上传的,这样违规吗?)

    6. IMDB 上也不行,而且限制比豆瓣还多。

    最后一点,如果怎么都绕不过去,我只爬取 robots 协议里面开放的文字信息,这个肯定没问题吧???

    希望大家批评指正。

    17 replies  •  2026-04-21 09:59:52 +08:00
    preach
    preach
    Dec 19, 2022❤️1
    1
    以上问题在你用户量低于 100w 的时候都不是问题,当你有 100w 用户的时候自然能解决,所以放手干吧。
    zxCoder
    zxCoder
    Dec 19, 2022
    2
    借楼提问,那如果我用豆瓣的图片,喂给 AI ,“画”出一张类似的图,违规吗 hhh
    ruanimal
    ruanimal
    Dec 19, 2022
    3
    https://www.doubanapi.com/. 这个是官方提供的吗
    gaigechunfeng
    gaigechunfeng
    OP
    Dec 19, 2022
    4
    @ruanimal 我靠,官方都有啊。 确实很容易就能爬取到。
    但是官方这里的图片地址:"http://img6.douban.com/view/photo/cover/public/p1642354684.jpg",
    在 robots.txt 里面被 ban 了啊。
    官方: 我犯法我自己?
    Orciorc
    Orciorc
    Dec 19, 2022 via Android
    5
    @gaigechunfeng robot.txt 只是君子协定,真违反了也得看官方的态度,总不会我告我自己吧
    rekulas
    rekulas
    Dec 19, 2022
    6
    doubanapi.com 这看起来可不像官方的,小心别被碰瓷了
    gniviliving
    gniviliving
    Dec 20, 2022
    7
    @rekulas 这明显不是官方的,没 https ,还留个 github 地址
    vZexc0m
    vZexc0m
    Dec 20, 2022
    8
    和豆瓣谈商业合作,获得授权就行了。
    CS50
    CS50
    Dec 20, 2022
    9
    nekoneko
    nekoneko
    Dec 20, 2022
    10
    给豆瓣交钱, 或者给豆瓣画饼, 让他们投资你
    safari9
    safari9
    Dec 20, 2022
    11
    @luolw1998 机智,lz 搞几个类似的网站得了不一定非要去爬豆瓣的毕竟豆瓣也不全。图和介绍都可以从 imdb moviedb tvdb 这几个网站搞不一定非要豆瓣。
    fangqiangqiang
    fangqiangqiang
    Jan 26, 2023
    12
    楼主小程序做好了吗
    gaigechunfeng
    gaigechunfeng
    OP
    Jan 29, 2023
    13
    @fengyueheng 哈哈,多谢兄弟问了一句。正在做,没停。 做好了,我 at 你试用。
    服务端用的 flask ,小程序用的 uniapp ,代码都好说。设计这块我着实有点头疼,想法太多太乱不知道该怎么设计。
    13936
    13936
    Apr 20, 2023
    14
    现在写小程序还能赚钱吗
    gaigechunfeng
    gaigechunfeng
    OP
    Apr 20, 2023
    15
    @13936 除了接点外包赚点人工钱。 其它都不赚钱。 我这个是个人爱好。 :D
    TheWire2
    TheWire2
    Apr 18
    16
    @gaigechunfeng 楼主小程序做好了吗?我最近也在做这个类似的,现在卡在获取影视的封面上,我是直接调用 tmdb 的接口,不过国内访问 tmdb 经常抽风,下载不了封面,导致经常获取封面超时。用爬虫担心有风险,准备做个 tmdb 代理来获取影视封面,不知道楼主有没有好的想法
    gaigechunfeng
    17
    @TheWire2 哈哈,做好了。但是没上线,也没用。你可以加我 wx xiaohuopao555
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5655 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 81ms · UTC 03:27 · PVG 11:27 · LAX 19:27 · JFK 22:27
    ♥ Do have faith in what you're doing.