V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
wuhx
V2EX  ›  程序员

CloudMonad 更新:新域名+支持淘宝商品按套餐类型价格跟踪

  •  
  •   wuhx · 2017-05-02 07:43:40 +08:00 · 2959 次点击
    这是一个创建于 2762 天前的主题,其中的信息可能已经有所发展或是发生改变。
    7 条回复    2017-05-04 16:49:20 +08:00
    zander
        1
    zander  
       2017-05-02 08:02:49 +08:00 via Android
    国内这些个大公司喜欢把 api 抓死,ifttt 能干的真的不多。
    wuhx
        2
    wuhx  
    OP
       2017-05-02 11:20:31 +08:00
    是的 所以 CloudMonad 用了浏览器模拟的方式实现
    nicoljiang
        3
    nicoljiang  
       2017-05-02 16:15:32 +08:00
    但是你没有任何防反抓取的机制,所以就没什么意思了。比如你说搜狗公共账号那个,连真实地址这么简单的东西都弄不出来,更别说验证码了。有何实用价值?
    ansheng
        4
    ansheng  
       2017-05-02 16:50:59 +08:00
    多说不是不维护了吗?露珠怎么还在使用多说呢?
    wuhx
        5
    wuhx  
    OP
       2017-05-02 17:49:51 +08:00
    @nicoljiang
    1. 支持自己设置爬虫代理地址
    2. 内置的[验证码识别服务]( http://xun.im/2017/04/23/imhuman/) 能 bypass 掉 12306 的看图说话验证

    搜狗公众号那个,没听懂你在说什么
    nicoljiang
        6
    nicoljiang  
       2017-05-04 16:09:13 +08:00
    @wuhx 我的意思是
    http://xun.im/2017/04/23/example-sougou-to-kindle/ 这里面提到的例子
    「也就是说,只要两条记录的标题字段相同就判断它们是同一条记录。
    这么做的原因是:weixin.sogou.com 上的公众号文章链接都是临时链接,每次返回的结果都不一样,需要排除其干扰。」
    为什么弄不出真实地址,要用 title 判断重复?
    wuhx
        7
    wuhx  
    OP
       2017-05-04 16:49:20 +08:00
    @nicoljiang
    搜狗微信公众号的搜索结果是临时链接,这是微信为了控制内容做的限制,从这里弄出真实地址是不可能的(不要怀疑鹅厂员工的技术)

    CloudMonad 能做的是对真人操作浏览器的模拟,搜狗公众号那个例子对后台来讲只是一组浏览指令,它不了解操作的内容,也不会针对搜狗微信网站做任何特殊处理。

    你如果想获取微信公众号文章的永久链接方法有很多,最简单的是弄个 Web 微信,定时刷一下公众号页面。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1069 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 19:17 · PVG 03:17 · LAX 11:17 · JFK 14:17
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.