V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  locoz  ›  全部回复第 282 页 / 共 324 页
回复总数  6464
1 ... 278  279  280  281  282  283  284  285  286  287 ... 324  
2019-08-01 10:25:28 +08:00
回复了 tikazyq 创建的主题 Go 编程语言 爬虫管理平台 Crawlab v0.3.0 发布(Golang 版本)
大佬牛逼 大佬牛逼 大佬牛逼
2019-07-31 08:23:01 +08:00
回复了 mamahaha 创建的主题 程序员 能说说你们领导是如何给你派活的吗?
老板:诶你过来一下,开个会
balabala1 小时后
老板:这个事情就交给你了
2019-07-29 14:47:37 +08:00
回复了 cmower 创建的主题 程序员 强烈建议,以后再也不要买雷蛇的鼠标
微动坏了而已,自己动手换一个就好了,目测微动主要看使用的时候点击的多不多以及使用环境灰尘多不多。我之前的炼狱蟒蛇是从上学的时候开始用的,少说 6-7 年了,也就到今年 4 月底才出问题。
2019-07-29 14:36:08 +08:00
回复了 iseejun 创建的主题 程序员 我撸了公司的羊毛
@yazoox #21 当然要啊,没安装的话拿什么来启动
2019-07-29 10:41:20 +08:00
回复了 cs3230524 创建的主题 程序员 如何防止前后端分离的项目被爬或者被做成辅助工具?
@nnnToTnnn #16 是 [基本] 无解,验证码目前没有破不了的,单纯是性价比的问题而已,只要破验证码后所做的操作能产生足够的收益就会有人去搞。
reCaptcha 并不失败,它被用在数据价值不高的地方并且开启严格验证的时候效果会很好。
Python3 自带一个管理器,py -2/-3/-3.6/-3.6.5 都可以,没必要改文件名,用 pip 的时候在前面的基础上加-m pip 就行了。
而且不是还有 Pycharm 吗?直接指定版本使用,根本不用操心那些问题。
2019-07-28 14:35:50 +08:00
回复了 cs3230524 创建的主题 程序员 如何防止前后端分离的项目被爬或者被做成辅助工具?
看了一下楼主的回复,Web 端都基本无解的问题,小程序里就更别想着解了,参考我在这个帖子下的回复:后端接口被盗用有什么好办法么?
https://www.v2ex.com/t/586612
行为验证(风控)不现实,成本太高。
最大页数未知的并不影响你爬啊,正常地一页一页翻下去不就好了吗?下一页给的哪个就跟着翻下去,拟人的操作不就是这样吗?
还是说你想要知道所有的页码,直接并发请求列表页?没必要啊,你都说了是列表页了,主要影响速度的应该是在详情页上,跟列表页没啥关系。
2019-07-28 13:51:45 +08:00
回复了 jaskle 创建的主题 程序员 后端接口被盗用有什么好办法么?
这本质上是一个反爬问题。
你现在首先要解决接口能直接被别人从小程序上调用的问题,应该有办法可以判断是哪个小程序上调用的。
解决完这个之后再在接口上加个校验参数,每次调用接口的时候都拿其他参数和当前时间之类的可变值生成一次,并且服务端接到后也生成一次对比是否一致。
然后在这个基础上将代码进行高度混淆,使生成校验参数的逻辑难以被看懂。
如果做到这个程度之后还有人搞你,你还可以加上单 IP 频率限制、根据隐藏条件返回假数据、返回数据加密后在小程序端解密等各种手段。
如果还有人搞你的话你就放弃抵抗吧,他的成本已经被你提到比较高的程度了,经过多次调整、在需要服务器+代理 IP+逆向的情况下依然坚持获取你的数据并放到自己的小程序上展示,说明你的数据价值很高,值得他这么做,你能做的只有举报、走法律手段(成本较高)。
单从帖子正文来看是可以的,就是个抓包问题而已,但是附言这个“需要自己设备自动抓取到信息然后分析, 不能有交互操作”是啥意思??你连控制这个 Android 设备都做不到吗?如果无法控制这个设备,那就别折腾了,除非你能在摄像头和这个 Android 设备之间加一个别的设备进行中转,或者是这个开热点的设备的上层网络设备你也能控制的了(默认开热点就是用的蜂窝网络)。
@zdnyp #23 会不会是你编辑器 /IDE 的版本没有调?你看看设置? Python3.6 是可以用 async 和 await 语法的啊 https://ws1.sinaimg.cn/bmiddle/62e721e4gw1et00rsrkrnj200k00k3y9.jpg
@zdnyp #21 可能是 referer 的问题。。你 Python 版本是多少?而且为啥 from asyncio import async ?
@zdnyp #18 啥?你发的那个 URL 看不了
@CEBBCAT #5 补充一下第一点的解释。
1、之所以会有“除了做 Android 开发的人以外,用 Android Studio 自带模拟器的人不多”这个情况,我猜应该是因为 Android Studio 安装时需要装的一些资源下载速度很慢,需要 fq 才能加速,以及其他像夜神之类的产品安装太方便了导致的。
2、除了这些以外其实还有一个因为样本量比较少所以我就没写上去的问题,那就是现在对虚拟机的检测技术已经很成熟了,有些 APP 会检测当前是否在虚拟机中(比如某知名社交 APP ),如果是的话就隐藏部分逻辑(比如某购物 APP )、走另一种处理方式(比如某手游)甚至是偷偷对使用者特殊监控(比如某知名社交 APP ),不管是为了做爬虫而逆向还是为了搞别的事情而逆向,这种问题都会导致浪费时间或者留下把柄。
@CEBBCAT #5 嗯,我一一给你解释一下。
首先你说的第一点,这里我指的是像夜神之类的,这类在爬虫、逆向类帖子、文章中经常被提到的所谓的模拟器(虚拟机),Google 提供的是没有这种问题,但它还是会触碰到消耗资源过多这一点。另外其实除了做 Android 开发的人以外,似乎用 Android Studio 自带模拟器的并不多。

然后是第二点,这个答案我认为没啥问题,后面我也给出了像小米、一加这种品牌,确实这类品牌在社区支持度和解 BL 锁方面都有很大的优势,也是公认的好刷机、适合用来折腾的类型。

第三点,这一点应该不算是小概率手误,A/B 分区手机的在刷完机之后如果没有覆盖 /选定的话会默认进之前的分区(没见过太多这类设备,可能有不一样的),而刷完包是会自动重启的(目前接触过的 Essential Phone 就是这样),没接触过 A/B 分区的一般还不会想到这方面。之前弄 Essential Phone 的时候就碰到过这个问题,看到刷完还是原样就懵了,查了一下 A/B 分区才知道是这样。
@CEBBCAT #2 分辨率是微信压缩的,原图全是原始分辨率无压 PNG
@CEBBCAT #1 “有的地方结论过于武断”,是指哪一篇的哪一部分呢?你带了个并发那一篇文章里的图片,我不太清楚你说的是哪里。

然后这个水印问题无所谓的,防的是那种爬了文章自动发布加广告的培训班营销号,对于那些愿意花时间洗稿的人而言加水印没多大意义,实在不行他也完全可以自己操作一遍去截图,截图肯定是要比改图快的。
2019-07-17 16:28:02 +08:00
回复了 ranlele 创建的主题 Python scrapy FilesPipeline 下载视频文件问题
看了一下 scrapy 的文档,FilesPipeline 完全没问题,用就完事了
1 ... 278  279  280  281  282  283  284  285  286  287 ... 324  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1216 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 57ms · UTC 17:40 · PVG 01:40 · LAX 09:40 · JFK 12:40
Developed with CodeLauncher
♥ Do have faith in what you're doing.