V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  qazwsxkevin  ›  全部回复第 22 页 / 共 23 页
回复总数  455
1 ... 14  15  16  17  18  19  20  21  22  23  
by the way,我没有路由器的管理权
2019-10-26 17:25:50 +08:00
回复了 qazwsxkevin 创建的主题 Python multiprocessing 的进程池,能否做到监控一些状态?
@ClericPy,有不明白的地方,concurrent.futures,比如:

```
eStatusSuit = []
e = futures.ProcessPoolExecutor(max_workers=5)
eStatus = e.submit(ProcessCaseID,someVarA ,someVarB)
eStatusSuit.append(eStatus)
#
eStatus = e.submit(ProcessCaseID,someVarC ,someVarD)
eStatusSuit.append(eStatus)
#
eStatus = e.submit(ProcessCaseID,someVarE ,someVarF)
eStatusSuit.append(eStatus)

#此时是向 e 提交了 3 个任务
#eStatus 对象,我看了一下,似乎是无法查看到 33 个任务具体状态,只能等待 eStatus 全体执行完毕,全部返回 eStatus.result()?
#eStatus.result()是个阻塞式,想不到怎么用。。。

#我是想建立能跑 5 个进程的可控队列,不知道这么干是否合适,还是有更方便的方式?

aExecutor = futures.ProcessPoolExecutor(max_workers=1)
bExecutor = futures.ProcessPoolExecutor(max_workers=1)
cExecutor = futures.ProcessPoolExecutor(max_workers=1)
dExecutor = futures.ProcessPoolExecutor(max_workers=1)
eExecutor = futures.ProcessPoolExecutor(max_workers=1)

然后做个
aExecutorStatus = aExecutor.submit(ProcessCaseID,someVarA ,someVarB)
bExecutorStatus = bExecutor.submit(ProcessCaseID,someVarC ,someVarD)
#省略...

#对各个 ExecutorStatus 的 running(),done()进行循环判断,哪个 False/True 了,就从 queue 里取任务提交过去,哪个失败了,再调度一下优先权
if aExecutorStatus.running():
xxx
#省略...

不知道是不是这样乱来的?
```
@momocraft
@ClericPy
嗯,明白了,感谢,回头我尽量把方式改为 with,有个基础概念不是很清晰的地方,with 包起来的内容,完成后我记得应该是全自动清的,而不用手动去 close,不知道有无理解错(刚起步写 python 没多久,以前基本没用过 with )


另请教 @ClericPy:见过大佬您多次推荐 cdp,其实很早想请教在 github 或者其它地方,有无简单入门的 demo 例子,可以实现 cdp 去 open link,对页面 id/xpath 进行点击,获取页面 html 代码这些简单的起步学习? 官网的每个方法的解释,比较碎...
@Trim21 嗯嗯,是的,是 finnally 里,其实我原本的代码里,finally 是没有的...
2019-10-22 16:27:28 +08:00
回复了 qazwsxkevin 创建的主题 Python 如何多线程(可控数量)历遍完字典?
@robinlovemaggie 我这两天自己学习了一下多线程,还不够深入,尽管上面高手们都提到了解决方法,其实一次取 5 个,每次 5 个这样压入函数进行独立线程处理,等 5 个处理完,再下一批,也是可以的,起码比起单线程处理要好多了。。。

细想了一下,保持 5 个,出 1 个进 1 个的 FIFO 队列算法,太难了,我这里的情况可能要连整个处理函数的设计都要改。。。

加上现在的集合来源,是字典,我本来在 for 的历遍里面是有一些 continue 拐弯的,现在也甚是头疼怎么改。。。
2019-10-22 14:49:16 +08:00
回复了 qazwsxkevin 创建的主题 Python 如何多线程(可控数量)历遍完字典?
@Vegetable,感谢解答~
@qza1212 ,是的,刚刚琢磨到,字典历遍方式似乎不太适合我这样放到线程队列里,正在琢磨其它办法。。。
@ps1aniuge 学习 ing...
2019-10-22 11:01:41 +08:00
回复了 qazwsxkevin 创建的主题 Python 如何多线程(可控数量)历遍完字典?
感谢大伙热心的回复,先挑一些疑问简单回帖了先,手上还有其它事在忙着 ^_^

@Vegetable,是在 Win 的环境下作业的,那么多了线程,历遍的效率总会有提高的吧?

@scukmh,磁盘读写么? 不多,doSomething 就是轮流去生成几个 10 几 kb 的文本,读几个 1MB,2MB 大小的文件,下载几个网页(这个就是要等爬虫的返回时间,不确定时间点就在这里)

doSomething 函数封装得很好,函数完全是独立的,不交叉到局外通信,while 到不完成不返回,超过重试次数就自己结束,有一个地方交叉,可能就是抛出异常的时候,会向"d:\error.log"写点东西,会担心同时多进程同时异常都往 error.log 写内容?
@skt041959 Win7,我做系统的时候特意用回 Administrator
@dantelovepizza 这不就是用了 pyinstaller 来编译的么?
@littlespider89 看来没办法了,有几个用到的库,只能在 3.6 以上使用。。。。
2019-10-07 10:42:45 +08:00
回复了 qazwsxkevin 创建的主题 Python selenium+webdriver 如何实现这种半自动响应?(爬虫)
@Karpov @ClericPy @napsterwu @ClericPy @jowenzzzzz
感谢各位老大热心肺腑的指导思路,
我自己也是用 firefox 的,老早有想法想找一个现成的 xpi 扩展,或者游猴脚本,触发一下就直接输出网页源代码保存到指定的文件夹,后来一直都没找到这样现成的 xpi,加上当时的欲望并不强烈(主要是我工作是搞数据通信传输的,并不是前端开发领域,搞 firefox 自定义扩展、脚本需要对浏览器的 DOM,JavaScript 功底比较好,对于我来说,这个学习成本也许有些高),所以这事情后来不了了之,你们的思路是对的,应该从浏览器本身着手,也许我真的应该要认真去翻一下 JavaScipt 和 Firefox 的 API 了。。。
@weyou 用 ORM 的话,不是要做一个 class 类定义了表结构先吗?! 表的字段类型 float,int 不对读写会有问题,也许我对 ORM 理解还不够深入吧。。。。
@lolizeppelin 嗯嗯,是的,因为现在表名,表结构,表的字段会经常变化,用 ORM 的方式要做 class 预定义字段的类型,这个不好搞,如果是直撸,代码会简单很多,目前不用 ORM,至少能完成功能先(改 ORM 等表稳定了再改也容易),所以你说得很对,2333 无法避免。。。
先看看目前这个坑怎么绕? ^_^
@jiezhi,改成[],在函数部分能编译通过,但是在调用函数部分,字段名不知道应该如何才是正确传入?
以下方式均不能传入:
tmpID = AnalyFunc.queryTeamNameStrgetTeamID('iteam_nick',ItemID,ItemName,tmpDFItemNameStr ,engine,queryconn)
tmpID = AnalyFunc.queryTeamNameStrgetTeamID('iteam_nick','ItemID','ItemName',tmpDFItemNameStr ,engine,queryconn)
tmpID = AnalyFunc.queryTeamNameStrgetTeamID('iteam_nick',[ItemID],[ItemName],tmpDFItemNameStr ,engine,queryconn)
tmpID = AnalyFunc.queryTeamNameStrgetTeamID('iteam_nick',*ItemID,*ItemName,tmpDFItemNameStr ,engine,queryconn)

@Latin,抱歉,真的看不懂,似乎也不适合我这种传入方式?
2019-09-13 13:42:29 +08:00
回复了 shicheng1993 创建的主题 问与答 购买 surface pro 的问题
@shicheng1993,一样的配置啊,我是 8388,键盘+主机套装,笔是 578,i5 8g+256G,分了 6 期,送了一张 128GB 的 TF 卡,用的是白条分期,我买回来就没有再去看什么价格了,现在高 100+10 的是大数据浮动杀熟价?
2019-09-09 22:28:41 +08:00
回复了 tengshe789 创建的主题 问与答 下决心了,报名高级软考!
按发送太快了,接上补充,似乎是唯一的,除了监理方面的一些智能化认证,就剩下软考在信息化工程类里有些用了,其它什么企业主导的考试,在体制里就是一片纸
2019-09-09 22:26:37 +08:00
回复了 tengshe789 创建的主题 问与答 下决心了,报名高级软考!
软件水平考试似乎是国内政企机关事业单位认可的信息化考试资格
2019-09-09 20:46:23 +08:00
回复了 qazwsxkevin 创建的主题 Android 什么 PC 桌面软件,可以在 PC 上'远程桌面'操作安卓?
谢各位,另问:scrcpy 在 win 里使用,
1、能不能不出现 command line console ? 就是那个 DOS 的窗口。。。
2、能不能预设置固定的手机屏幕映射出窗口大小?
2019-09-08 22:36:33 +08:00
回复了 shicheng1993 创建的主题 问与答 购买 surface pro 的问题
跟楼几乎一致的背景,
赶着准备出去吃烤串和啤酒,不然今晚睡不着,所以不会在线继续回复你
就几句结果
生产力,这玩意要买就买最新一代,5 月份有你这想法,6.18 活动免息免手续费在某东买了套装+笔,总价大概八千左右吧,分了 6 期,完全没压力,女友满意,我也满意。既然风声 10.2 出新机,那么 12 月铺货? 运气好也能碰双双 11 吧? 考虑下? 完。
2019-09-06 16:20:07 +08:00
回复了 qazwsxkevin 创建的主题 Python 可有比较齐全的文本编码任转成 UTF-8 轮子?
谢谢各位,我已经放弃了这个念头了。。。
@ClericPy,正如你所说,遇上了混合编码的情况,已经弄不下去了,只能先把目标分好类别,批量套函数解决。
2019-08-21 15:38:53 +08:00
回复了 Dustyposa 创建的主题 Python 如何加速 Python 的 import 模块的速度
没有人有 comment?
我也是大龄初学的,路过......
弱弱地回复一下楼主,这个好像是换猛一点 CPU 的电脑就能解决的问题吧?!
1 ... 14  15  16  17  18  19  20  21  22  23  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1892 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 29ms · UTC 16:17 · PVG 00:17 · LAX 08:17 · JFK 11:17
Developed with CodeLauncher
♥ Do have faith in what you're doing.