V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
爱意满满的作品展示区。
ArchiTech

分享自己做的一个自动检测网站变化的工具 - Web Watchman

  •  
  •   ArchiTech · Dec 21, 2017 · 27088 views
    This topic created in 3061 days ago, the information mentioned may be changed or developed.
    开始写这个工具是因为自己会用到,比如看某些番剧有没有更新,小说有没有更新,想买的产品价格有没下降等等等等。每次针对特定的任务专门写一个脚本的话太麻烦了,所以就做了这个比较通用的工具,原理就是简单的截图然后比较有没有变化。

    做之前我先看了看网上已经存在的一些工具,感觉多少都有些限制,比如查询的频率一天只能查一次,没有保存网页变化的历史等等,要么就是 UI 我不喜欢。。。所以,最后还是自己动手了,做完后加上了个注册系统支持多用户,各位如果想用也欢迎来试试~

    webwatchman.com
    55 replies    2020-10-31 23:15:44 +08:00
    touzi
        1
    touzi  
    PRO
       Dec 21, 2017   ❤️ 1
    很是需要, 先来一个美剧试试
    pywilhelm
        2
    pywilhelm  
       Dec 21, 2017
    截图之后选取区域后对区域进行监控这个是怎么实现的?只是截图吗?如果网页不定长怎么处理?
    nfroot
        3
    nfroot  
       Dec 21, 2017
    bootstrap.css 花了 17 秒才载入完成,能不能套个 CDN 啊,免费的 CF 也比这个快吧……
    SevenJ
        4
    SevenJ  
       Dec 21, 2017

    但是 http://webwatchman.com/task.html 里头图片没有 load 出来
    ArchiTech
        5
    ArchiTech  
    OP
       Dec 21, 2017
    @nfroot O__O "…我本身离服务器近,完全没注意到速度问题,我尽快换成 cdn 哦...哈哈哈
    ArchiTech
        6
    ArchiTech  
    OP
       Dec 21, 2017
    @SevenJ 奇怪。。。你的邮箱或者你监测的网站是哪个?我看看去?
    ArchiTech
        7
    ArchiTech  
    OP
       Dec 21, 2017
    @pywilhelm 对,单纯截图。如果你关心的区域距离网页顶部的高度会变化,那就跪了。。。如果你关心的区域以下的页面长度变化的话就无所谓。
    qfdk
        8
    qfdk  
    PRO
       Dec 21, 2017
    根据上面的评论,感觉可以浏览一些奇怪的网页 或者图片 斜眼笑

    ![Snipaste_2017-12-21_08-23-59.png]( https://i.loli.net/2017/12/21/5a3b6199b9545.png)
    timothyye
        9
    timothyye  
       Dec 21, 2017
    @qfdk 老司机
    ArchiTech
        10
    ArchiTech  
    OP
       Dec 21, 2017
    @qfdk 花式翻墙...
    SaulLawliet
        11
    SaulLawliet  
       Dec 21, 2017

    借地贴一个类似功能的本地脚本
    https://github.com/SaulLawliet/watchdog
    lloovve
        12
    lloovve  
       Dec 21, 2017 via iPhone
    邮件炸弹
    ArchiTech
        13
    ArchiTech  
    OP
       Dec 21, 2017
    @SaulLawliet 不错,你是 css_selectors 的思路,得到的结果最准确,就是开始设置的时候非专业人士可能不会怎么选取元素
    ArchiTech
        14
    ArchiTech  
    OP
       Dec 21, 2017
    @lloovve 啊?
    mskf
        15
    mskf  
       Dec 21, 2017   ❤️ 1
    不错不错,个人觉得这个可以开源一哈,因为很多页面是需要登陆才可以看到具体内容的,可以做成一个本地化的工具(例如浏览器插件)
    solobat
        16
    solobat  
       Dec 21, 2017
    不错,mark 一下
    SevenJ
        17
    SevenJ  
       Dec 21, 2017
    @ArchiTech 过了大概几分钟后图才刷出来,图片是放 S3 还是?
    qianyi0129
        18
    qianyi0129  
       Dec 21, 2017
    需要登录的网站呢?
    Zzde
        19
    Zzde  
       Dec 21, 2017
    等待时候的动画不错
    nendors
        20
    nendors  
       Dec 21, 2017   ❤️ 1
    支持下 顺便测试下
    maemolee
        21
    maemolee  
       Dec 22, 2017
    动态加载的网页也能跟踪吗?那就很厉害了。
    maemolee
        22
    maemolee  
       Dec 22, 2017
    啊,失败了。
    ArchiTech
        23
    ArchiTech  
    OP
       Dec 22, 2017
    @SevenJ 加州服务器上....我周末就加 cdn👌
    ArchiTech
        24
    ArchiTech  
    OP
       Dec 22, 2017
    @maemolee
    我试了你那个 url, 没问题呀~
    https://imgur.com/a/3gkMy
    ArchiTech
        25
    ArchiTech  
    OP
       Dec 22, 2017
    @qianyi0129 我没想清楚怎么做呢,您有想法可以讨论讨论~
    maemolee
        26
    maemolee  
       Dec 22, 2017
    @ArchiTech #24 这就很微妙了。。。
    cdlixucd
        27
    cdlixucd  
       Dec 22, 2017 via Android
    php 吗
    xuanyuanaosheng
        28
    xuanyuanaosheng  
       Dec 22, 2017 via Android
    看着不错~
    buseni
        29
    buseni  
       Dec 22, 2017 via Android
    不错
    ORZRRR
        30
    ORZRRR  
       Dec 22, 2017
    牛 b
    xxx.com 可以快照
    楼主用的哪家服务器啊?
    qianyi0129
        31
    qianyi0129  
       Dec 22, 2017
    @ArchiTech 你这功能要是不能检测登录网站的话其实 mac 系统自带你这个功能 在 dashboard 中
    nameryan
        32
    nameryan  
       Dec 22, 2017   ❤️ 1
    以前用过一款 chrome 插件的,不太好用。
    这个做的还不错,至少前端界面设计还是挺带感的,楼主应该也懂一些设计吧。
    先用着,后面可以加一些 chrome 插件等。
    xuanyuanaosheng
        33
    xuanyuanaosheng  
       Dec 22, 2017
    测试了,刷不出来啊
    ArchiTech
        34
    ArchiTech  
    OP
       Dec 22, 2017
    @ORZRRR aws
    ArchiTech
        35
    ArchiTech  
    OP
       Dec 22, 2017
    @qianyi0129 web clip 这个么?好像不会提醒诶。。
    ArchiTech
        36
    ArchiTech  
    OP
       Dec 22, 2017
    @nameryan 真的假的,哈哈,就是追求比较简单的 UI, 以后还是会找专业设计师帮忙改改.
    ORZRRR
        37
    ORZRRR  
       Dec 22, 2017
    楼主
    那个 微信公众号文章图片首张是可以显示的 / 我有过 绕不开微信的图片盗链
    后面的懒加载图片就 loading 了,能解决这个问题嘛?并分享下方法 [人工提前点赞]
    BadReese
        38
    BadReese  
       Dec 22, 2017
    截图有点慢..试了下微博
    ArchiTech
        39
    ArchiTech  
    OP
       Dec 22, 2017
    @ORZRRR 可以设置页面打开后等待几秒再截图,也可以保证所有 ajax call 的返回后再截图。前者好一些,后者可能永远等不到完。
    ihciah
        40
    ihciah  
       Dec 22, 2017
    emmmm 所以如果页面里包含 coinhive 会怎么样。。
    ArchiTech
        41
    ArchiTech  
    OP
       Dec 22, 2017
    @ihciah
    程序每次打开一个页面截完图就关了,不会停留在那里很久的~
    不过,哇。。还有 coinhive 这种东西,好神奇的想法,拿用户的 cpu 挖矿,长见识了。。。
    droiz
        42
    droiz  
       Dec 22, 2017
    一直在等待响应。。是不是 v2 的人打死了。。。
    magensky
        43
    magensky  
       Dec 22, 2017
    楼主啥时候开源呢?这里根本显示不出来,一直转圈,很久后显示失败
    Ginson
        44
    Ginson  
       Dec 22, 2017
    我现在在用一个类似的 Chrome 插件,叫 Distill Web Monitor。
    楼主说的 查询频率、保留历史这个插件都有实现,具体这样的
    ![1]( )
    ![2]( )
    ![3]( )

    PS:没有拆台的意思,只是觉得这个工具好像刚好能符合楼主需求
    ArchiTech
        45
    ArchiTech  
    OP
       Dec 23, 2017
    @Ginson 哈哈,欢迎讨论,这个还有 visualping 我都用过,他们做的都挺好的,我只是觉得一些细微的地方和我理想中的工具稍微有点偏差,就自己动手了~
    ArchiTech
        46
    ArchiTech  
    OP
       Dec 23, 2017
    @droiz 是被打的够呛,不过还没死呀。。。
    yearliny
        47
    yearliny  
       Dec 24, 2017 via Android
    我这里运营商劫持非常严重,你的网页打开满屏广告根本看不了,建议上 SSL。
    kitty7030
        48
    kitty7030  
       Dec 30, 2017
    "Failed - INTERNAL SERVER ERROR"
    随便一个网址都不行 下线了吗?
    leihejing
        49
    leihejing  
       Jan 11, 2018
    对不起,你找的文件服务器上找不到 !

    收到邮件 点击确认链接后显示。。。。。
    ArchiTech
        50
    ArchiTech  
    OP
       Jan 11, 2018
    @leihejing 点确认邮件应该会到改密码的页面呀,被劫持了?
    头像棒棒哒~
    ArchiTech
        51
    ArchiTech  
    OP
       Jan 11, 2018
    @kitty7030 没有啊,再来试试?
    ArchiTech
        52
    ArchiTech  
    OP
       Jan 11, 2018
    @yearliny 恩恩,尽快尽快,谢谢!
    leihejing
        53
    leihejing  
       Jan 12, 2018 via iPhone
    @ArchiTech 不是劫持,看看其他大佬有没有这现象
    ArchiTech
        54
    ArchiTech  
    OP
       Jul 11, 2019
    这个没有继续维护了,抱歉。
    因为很耗费服务器资源,开销太大,最麻烦的是这种图像比较的方法错误率太高。
    docx
        55
    docx  
       Oct 31, 2020
    网站打不开了。
    请问有开源的打算吗?想自己部署一个,很需要。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3041 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 116ms · UTC 14:16 · PVG 22:16 · LAX 07:16 · JFK 10:16
    ♥ Do have faith in what you're doing.