V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
xjiang1982154112
5.21D
V2EX  ›  问与答

我想收集一些爬虫的需求场景

  •  
  •   xjiang1982154112 · 14 小时 2 分钟前 · 684 次点击

    需求说明:

    1 、需要监控一个网页是否出现我关注的内容,频率几个小时甚至几天;

    2 、不是要把目标网站的数据批量抓取下来

    3 、不是要秒级/毫秒级的抢购商品

    比如这样的场景:

    • 考编的同学,需要关注十几个当地事业单位官网的招聘公告页
    • 做项目的小公司老板,需要关注某些政府部门的官网公告
    • 新媒体工作者,需要关注热榜是否出现自己关注的热点事件

    还有更小众的需求,也真实存在,比如

    • 链家的房产销售员,他需要每天关注别的房产网站有没有发布附近的房源,他要及时的跟进收房

    这类场景的核心是:C 端或者小 B 用户,小需求,有预算,但是不多,无法使用专业的工具

    我用 AI 做了一个工具,可以自动满足这类需求(不同网站不需要每个配置爬虫,也不需要 RSS 支持),想调研一下适合我们产品的真实场景,如果有如何找到这类群体方法,那就太好了!

    工具:猫头鹰 AI mtywatch.com

    14 条回复    2025-12-17 16:11:37 +08:00
    zbuhui2013
        1
    zbuhui2013  
       13 小时 26 分钟前
    付费很难,有浏览器插件 Distill Web Monitor 和网页监控提醒 ;基本一样的功能
    xjiang1982154112
        2
    xjiang1982154112  
    OP
       13 小时 16 分钟前
    @zbuhui2013 这两个工具都需要配置 xpath 这样的操作,非程序员很难使用。我这个工具不需要配置任何东西,用一句大白话说明你要关注的内容就行。
    xuhengjs
        3
    xuhengjs  
       13 小时 3 分钟前
    现在大部分官方公告都发在公众号上了,你这个怎么爬
    FireKnight
        4
    FireKnight  
       12 小时 53 分钟前   ❤️ 1
    这咋一进去就手机登录啊,主要功能看不到- O -
    lisxour
        5
    lisxour  
       12 小时 52 分钟前
    你说的这些都不是事

    1. 那么多网站,用 N 种不同的验证码,你怎么处理
    2. 针对国产特色,全给你引流到公众号才能继续看的,你怎么处理
    3. 现在国内的网站发展少说倒退 10 年,很多东西压根不做网页端,对于这种 App 独享的信息,你怎么处理
    lisxour
        6
    lisxour  
       12 小时 51 分钟前   ❤️ 2
    @FireKnight 国产特色,毛都没看见,先要你邮箱或者手机
    zbuhui2013
        7
    zbuhui2013  
       11 小时 17 分钟前
    @xjiang1982154112 并不难,用它们的内置工具圈点就行,很方便。个人感觉你们目标用户高度重合,他们也愿意学习,除非你真的做的更好更便宜
    xjiang1982154112
        8
    xjiang1982154112  
    OP
       11 小时 2 分钟前
    @FireKnight 这是我们考虑不周,马上改进,添加邮箱登录
    xjiang1982154112
        9
    xjiang1982154112  
    OP
       11 小时 0 分钟前
    @lisxour 感谢提醒,我们马上改进
    216zj
        10
    216zj  
       9 小时 43 分钟前   ❤️ 1
    开个咸鱼或者淘宝店 去接爬虫单子
    xjiang1982154112
        11
    xjiang1982154112  
    OP
       9 小时 3 分钟前
    @216zj 我应该去找这样想法的人,然后把工具卖给他
    shilyx
        12
    shilyx  
       8 小时 42 分钟前   ❤️ 1
    关注房源信息,一直爬,就可以在需要的时候得到房子的调价记录。否则只能看到最后的价格
    xjiang1982154112
        13
    xjiang1982154112  
    OP
       8 小时 33 分钟前
    @shilyx 好需求
    zerovoid
        14
    zerovoid  
       8 小时 32 分钟前
    微信小程序现在都禁止 app 强制登录了,如果开屏后不能直接看主功能,直接驳回了。
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   1496 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 16:44 · PVG 00:44 · LAX 08:44 · JFK 11:44
    ♥ Do have faith in what you're doing.