V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  lasuar  ›  全部回复第 82 页 / 共 85 页
回复总数  1688
1 ... 74  75  76  77  78  79  80  81  82  83 ... 85  
2019-06-19 22:49:29 +08:00
回复了 lasuar 创建的主题 求职 [广州求职] Python /Go 后端/爬虫
@vipppppp 哪家公司呢?
2019-06-19 22:49:16 +08:00
回复了 lasuar 创建的主题 求职 [广州求职] Python /Go 后端/爬虫
@gouwudang 暂不考虑哈
2019-06-13 23:20:42 +08:00
回复了 d0m2o08 创建的主题 Go 编程语言 大佬们帮我看看这个 defer 的问题呗
@SuperMild OK,差点误导楼主。原来是 defer 操作对匿名返回值和命名返回值两种情况的处理不同导致的。
2019-06-13 10:23:20 +08:00
回复了 d0m2o08 创建的主题 Go 编程语言 大佬们帮我看看这个 defer 的问题呗
defer 是会执行,但是你 return 后面加了 ret,此时的 ret 是 0, 那你函数的返回值就已经定死,参考 2 楼
2019-05-28 16:30:52 +08:00
回复了 fank99 创建的主题 Python 请教各位 Python 爬虫工程师有什么好的转职方向吗?
2019-05-28 14:25:14 +08:00
回复了 leegoo 创建的主题 Python Python scrapy yield 无法获取到返回内容
start_request 里面的请求那步卡住了?抓包看下,写法没问题
2019-05-28 14:22:35 +08:00
回复了 fank99 创建的主题 Python 请教各位 Python 爬虫工程师有什么好的转职方向吗?
既然你喜欢 Python,那何不做个高级 Pyer 呢;
如果你所在的城市有不少的 python 岗,那就把 django 玩透,再熟悉一下 mysql/redis/mongo,再看点架构设计文档找后端岗不是轻松吗。
2019-05-28 14:16:58 +08:00
回复了 zinfinb 创建的主题 Go 编程语言 继续付费找爬虫牛人啊
既然是找别人做,就不要想着投机套方案,之前 V 站也有这种人,最后在这里不敢发言了。
2019-05-27 14:42:56 +08:00
回复了 lasuar 创建的主题 编程 一个 selenium 的问题
@YuxiangLuo 老哥,你说的这个在这里还是不行;不过我找到办法了,可以看下我的 append。
2019-05-27 14:42:44 +08:00
回复了 lasuar 创建的主题 编程 一个 selenium 的问题
@lasuar 老哥,你说的这个在这里还是不行;不过我找到办法了,可以看下我的 append。
2019-05-27 10:59:12 +08:00
回复了 lasuar 创建的主题 编程 一个 selenium 的问题
@loryyang 嗯,xpath 确实很强大,我主要是喜欢 css 的语法简洁性
2019-05-27 10:40:03 +08:00
回复了 lasuar 创建的主题 编程 一个 selenium 的问题
@andylsr 我说的就是通过 id/class/name 属性无法定位具体元素的情况。
2019-05-27 08:49:25 +08:00
回复了 lasuar 创建的主题 编程 一个 selenium 的问题
@YuxiangLuo 老哥,如何根据 text 筛选呢?看了很多文档貌似都不行。
2019-05-27 08:09:37 +08:00
回复了 lasuar 创建的主题 编程 一个 selenium 的问题
@YuxiangLuo 谢谢,我先试下!
2019-04-21 22:06:52 +08:00
回复了 kristpan 创建的主题 程序员 如何从 Nginx 日志中识别爬虫的访问?
@kristpan 用户通过网页加载完页面后,进行翻页浏览数据时还需要请求 js 文件吗?如果只是判断有没有请求过 js 文件这根本不可行的,写爬虫之前都会使用浏览器对页面进行分析,之后再通过代码爬取。 所以你还得通过其他方式来判断,如果你只想筛出爬虫的请求,这其实很难(对于高级爬虫),也没必要。
2019-04-21 17:07:26 +08:00
回复了 kristpan 创建的主题 程序员 如何从 Nginx 日志中识别爬虫的访问?
* useragent 是否合法
* 请求频率是否稳定
* 请求路径是否有规律,楼上说的 /book/1,/book/2 这种
* 是否某一段时间有大量 IP 短时高频请求服务器(反常行为)
如果以上都正常,即使是爬虫也不妨碍服务器运行。
2019-03-27 11:18:55 +08:00
回复了 lasuar 创建的主题 Django django 内使用 threading 模块导致程序启动即崩溃
@Vegetable 这句话说没有设置“ enable-threads ”项就不会执行启动的 thread,然后我测试环境是执行了的,同样的 uwsgi 配置。我的 uwsgi 配置有“ thread = 2 ”,没有配置 “ enable-threads ”。
2019-03-27 10:41:27 +08:00
回复了 lasuar 创建的主题 Django django 内使用 threading 模块导致程序启动即崩溃
@est 大佬你好,请问有相关参考文档或博客吗?
2019-03-27 10:35:50 +08:00
回复了 lasuar 创建的主题 Django django 内使用 threading 模块导致程序启动即崩溃
@gulu
@nicevar
当时的做法是全局启动的这个任务,且测试环境代码稳定运行几天,上线后不行,两个环境的唯一不同就是线上环境处理的请求量要多一些。
1 ... 74  75  76  77  78  79  80  81  82  83 ... 85  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1139 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 33ms · UTC 18:49 · PVG 02:49 · LAX 10:49 · JFK 13:49
Developed with CodeLauncher
♥ Do have faith in what you're doing.