V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  milukun  ›  全部回复第 21 页 / 共 25 页
回复总数  500
1 ... 13  14  15  16  17  18  19  20  21  22 ... 25  
想知道喜欢喝零度可乐会不会有影响呢.....
最近好像离不开零度了...
@msg7086 #13 阿里好像不支持信用卡,不能透支的...
我现在透支额度只有 20 元,而且可以关
2020-12-01 23:41:37 +08:00
回复了 Joker123456789 创建的主题 Java 突然想到一个问题,消息队列的意义是什么?
爬虫场景,数据抓取之后需要存储的数据库。
但是数据库不止有一种,有存储全文的 es,也有存储提取到数据关键内容的其他数据库等等。
这时候一个生产者(爬虫)就可以通过消息队列的订阅模式接入多个消费者(不同的数据库)
同时如果数据库挂掉,消息队列可以暂时起到存储的作用,等数据库恢复以后重新上数据。否则存储失败,抓取到的数据就丢失了,有些时候抓取需要一次成功。
@Shook ytb 的广告是可以 up 自行调节的,只要视频内容大于 10 分钟,就可以在自己喜欢的地方插入插播广告
2020-11-27 11:14:56 +08:00
回复了 muraku 创建的主题 程序员 部门内部的两个系统居然是爬网页传信息
😄同类的事情还有网站的 web 端和 app 端是两个团队,app 端同步 web 端的文章数据是靠爬虫 XD
不过高级一点的是 web 端发布文章后会推送消息给爬虫,然后爬虫启动
原因是因为本来是两家公司,然后 web 端和 app 端编辑后台不是互通的
2020-11-27 10:49:15 +08:00
回复了 djoiwhud 创建的主题 程序员 x 浏览器的盈利分析
@krixaar 没有关系,共建和谐社区 ~ XD
2020-11-27 10:48:39 +08:00
回复了 djoiwhud 创建的主题 程序员 x 浏览器的盈利分析
@zhyl 我当然知道咯,ua 、请求头、甚至直接 post 表单,你影响力再大一点这个 api 可以是直接为你造的不需要任何参数。不过你如果再阅读一下我的回复,就会发现怎么表明身份并不是重点,而是楼主或其他人并没有指出如何表明身份,因此才会有 68 楼的疑问。
我只是在说,68 楼提出疑问是有道理的。
2020-11-27 10:29:33 +08:00
回复了 djoiwhud 创建的主题 程序员 x 浏览器的盈利分析
回复 @krixaar 原帖:
>你把这两个 json 都给转回中文,你看看内容都是啥。
>你这个问题就是之前提到过的那种让人欲言又止的问题,你问出来了说明你要么没点开,要么点开了不知道\u 加几个数字是什么意思,前者让人难以回答,后者在 V 站显得格格不入……

回复:
仍然看不出这两个链接如何实现盈利的?
http://top.baidu.com/mobile_v2/buzz/hotspot
http://m.hao123.com/hao123_api/api/cpc/cms

( 1 )第一个链接是百度热点,里面是实时热搜返回,既没有 uid 之类的标记开发者,里面也不存在任何可以关联的链接。
( 2 )第二个链接在 url 上明显可以看出 cpc cms 这种营销联盟的关键词,但是仍然没有 uid 等字段关联。虽然链接返回的 json 里面的链接存在&st=111041 这个疑似联盟站点 id 的东西

不知道是不是楼主刻意把 url 后面的参数给隐藏了,但是没有指出这一点的情况下,如果这就是原始链接恐怕无法证明这是用于盈利的,至少无法证明谁能盈利。
因为既没有人指出 url 缺少了联盟 id,也没有说明这两种营销方式的其他关联方法,亦没有指出楼主可能省略了链接。至少根据原文给出的链接和 json 数据无法获知营销获利的机制。
所以 68 楼 @sunwang 的请教是有原因的。但是你的回复很不友善 : )
2020-11-16 18:31:26 +08:00
回复了 liuser666 创建的主题 问与答 为什么微信公众号难抓取?
@Tink 可以直接用 fd 或者 charles 做中间人攻击,直接拿到所有请求的 body,写个规则过滤一下,直接拿到 json 数据不香吗
2020-11-14 21:09:24 +08:00
回复了 liuser666 创建的主题 问与答 为什么微信公众号难抓取?
重点忘说了,chromedriver 也好,puppeteer 也好,甚至按键精灵也好,这些都逃不过微信号这一关的。
2020-11-14 21:08:12 +08:00
回复了 liuser666 创建的主题 问与答 为什么微信公众号难抓取?
曾经的经验给你简单分享一下,有几个知识点需要知道:
( 1 )微信文章有两种链接,临时链接和永久链接。在微信里打开的是永久链接,在搜狗里面搜索出来的是临时链接
( 2 )顾名思义,临时链接有时间限制,一般超过 6 个小时就无法打开显示链接已过期。但是放到微信里点又可以打开,因为微信使用了 key 进行了链接转换。
( 3 )这个 key 又分为万能 key (解任何文章,与你的微信账号相关联,有效期 2 小时)和公众号 key (只对单一公众号有效,有效期 2 小时)。key 不仅可以转换链接,还可以用来打开列表页。
( 4 )一个微信账号的万能 key 使用频繁会导致封号(无法转换、浏览文章)
( 5 )自 19 年开始搜狗不再根据时间顺序返回搜索结果,导致无法通过“关键词”查找最新文章,且未登录账号只能看到前 100 页的数据
( 6 )搜狗搜索公众号显示最近 10 条文章(目前已经不显示数据了),也是临时链接
( 7 )搜狗搜索微信出现验证码非常频繁
( 8 )使用手机或 pc 客户端可以查看公众号列表页,但是 pc 端需要先关注才能看到。这里能做的抓取方案是中间人攻击,但是别忘了你是用自己的微信号做的,你要考虑怎么自动化控制刷页面,最重要的是你能撑几个小时不被封号?以及你有多少实例,能花大价钱购买养好的微信号呢?(新号权重非常低,浏览列表页的数量很少,如果只看不养号,很快就被封了)
( 9 )可能有人说,不就是 python 发个 requests 请求吗?我手机刷一下列表页,找到 url,request body,模拟一下不就好咯。关于这一点你可以去看( 3 )和( 4 )

最主要的成本来自于,需要真实有效的微信号和批量操作。

综合以上成本,你倒不如选择有腾讯做股东的公众号数据分析平台-新榜(不是做广告哈)去买数据....
当然,数据二道贩子有很多,也有很多个人在卖,都比自己去搞定要低成本的多(学习除外)

另外未经授权抓取数据并贩卖是违法行为!
2020-11-13 12:09:00 +08:00
回复了 isno 创建的主题 程序员 V2 的程序员们,学学法律吧
应该是说的这个吧: https://zhuanlan.zhihu.com/p/285778671 [独立开发者因为广告拦截被优酷起诉 100 万元]
2020-10-27 15:23:09 +08:00
回复了 lewisli1996 创建的主题 分享创造 Authing 2.0,来了!
1k 活跃用户 169 一个月...
如何定义活跃用户呢?如果只是注册看看,就没有跟进的用户算不算活跃
如果算的话,就太贵了...
2020-10-25 11:29:24 +08:00
回复了 nl101531 创建的主题 分享创造 边学习边写的一款动森服装类小程序
无图无真相
@JokerLiang 是的,简直没话说。ios 就是天然支持动画,强大
@JokerLiang 哈 刚才搜了一下 才发现你说的这个,看到了他的 logo,确实看了哈,是看他的视频入门的。是在 b 站看的,XD 我都不知道课程是 design&code,只知道是个很厉害的老外
@JokerLiang 并没有哈 这个 app 是边学 swiftui 边速成的 之前一直用 flutter 的 感觉 swiftui 的动画确实厉害
@iwh718 嗯啊 正文里面 cue 到你了哈哈
另外注意哈,因为是全 swiftUI 开发,加上主要功能是小组件,所以系统限制为 ios14
需要梯一下哈,不然拉不到数据的
1 ... 13  14  15  16  17  18  19  20  21  22 ... 25  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2978 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 45ms · UTC 13:24 · PVG 21:24 · LAX 05:24 · JFK 08:24
Developed with CodeLauncher
♥ Do have faith in what you're doing.