V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  joson1205  ›  全部回复第 1 页 / 共 2 页
回复总数  32
1  2  
2019-09-12 08:59:50 +08:00
回复了 dany813 创建的主题 程序员 预算 5000 买个笔记本,求老哥们推荐
5k ,前两天首发入手了联想 Air14,整体感觉还是不错的
难道只有我一个在研究游戏外挂吗?[dogo]
2019-08-14 17:00:15 +08:00
回复了 zky001 创建的主题 Python pandas 处理数据慢,求好方法
肯定是代码算法逻辑有问题,不可能那么久
2019-08-14 14:12:20 +08:00
回复了 yeyu1989 创建的主题 Python 从哪儿可以获取股票、基金行情(用爬虫或者服务)
会崩溃那就不叫数据库了.....
2019-08-13 12:14:51 +08:00
回复了 joson1205 创建的主题 Python Python 读取 Excel 超大数据文件问题
@jiang123574 嗯,已经用上了,目前用的就是它
@qwjhb 卖个鸡腿,尊重一下原创吧
2019-08-13 09:23:15 +08:00
回复了 ixuuux 创建的主题 Python 爬虫求助,关于图片上传
抓包分析一下吧,一楼正解
关键还是获取到后怎么用吧,不然没有意义.获取到的文章多数应该是转载吧,不知道有没有考虑文章排版的问题,超链接,图片,字体样式等等这些
2019-08-09 17:43:41 +08:00
回复了 joson1205 创建的主题 Python Python 读取 Excel 超大数据文件问题
@snw 其实刚开始拿到报表的时候就是用的 VBA 实现的,后面经过一系列的调整,运算已经是越来越复杂,而且又涉及到拆分,样式,单元格的合并等等这些,优化过一次,电脑还是都直接卡死,没办法,才考虑用的 Python.
可能是我水平不够....见笑..
2019-08-09 16:42:43 +08:00
回复了 joson1205 创建的主题 Python Python 读取 Excel 超大数据文件问题
@youthfire 简单搜索一下关于 pyExcelerate 的资料,这个库好像不支持添加单元格批注的,是我没找到方法吗?资料实在太少了,知道的可以告诉我一下,谢谢
2019-08-09 15:21:56 +08:00
回复了 joson1205 创建的主题 Python Python 读取 Excel 超大数据文件问题
@leavic 限制行数太少了,也满足不了日常业务需求
2019-08-09 14:32:07 +08:00
回复了 joson1205 创建的主题 Python Python 读取 Excel 超大数据文件问题
@youthfire 写入的代码目前比较完善,暂时不打算做改动,谢谢你的建议
2019-08-09 12:59:40 +08:00
回复了 joson1205 创建的主题 Python Python 读取 Excel 超大数据文件问题
@snw vba 在运算方面实在太慢了
2019-08-09 12:36:48 +08:00
回复了 joson1205 创建的主题 Python Python 读取 Excel 超大数据文件问题
目前找到最快的办法是 xlwings,预先打开了 xlsx 文件,在几秒钟内就能读取完成!

import xlwings as xw
# 事先打开了 xlsx 文件,会直接返回这个文件对象
wb = xw.Book("demo.xlsx")
sht1 = wb.sheets["sht111"]
sht2 = wb.sheets["sht222"]

sht1_value = sht1.range('A2:AU140000').value
sht2_value = sht2.range('A2:AQ19000').value
2019-08-09 11:49:40 +08:00
回复了 joson1205 创建的主题 Python Python 读取 Excel 超大数据文件问题
@alexfu 我拿到数据的时候属于一个核算节点,row 是固定的,基本不会有增删,没办法改成增量式计算,而且数据都是连续性的,skip_row 并不适用...
2019-08-09 11:35:33 +08:00
回复了 joson1205 创建的主题 Python Python 读取 Excel 超大数据文件问题
@wqzjk393 纠正一下,刚检查测试代码的时候发现有点异常,重新对比了一下,没到 100 秒,不过也是和 xlrd 速度差不多的,在 85 秒左右
2019-08-09 11:26:20 +08:00
回复了 joson1205 创建的主题 Python Python 读取 Excel 超大数据文件问题
@wqzjk393 试过了,比较慢,我正常 xlrd 读取要 85 秒,pandas 将近 100 秒
2019-08-09 10:56:59 +08:00
回复了 joson1205 创建的主题 Python Python 读取 Excel 超大数据文件问题
@1462326016 我认为 xlrd 单纯在读取速度上是比 openpyxl 快不少的.
@vest8 pywin32 没有用过,我查查资料,谢谢
2019-08-09 10:30:47 +08:00
回复了 joson1205 创建的主题 Python Python 读取 Excel 超大数据文件问题
@sikariba 我转 CSV 过程中数据都要过一遍内存吧
1  2  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2741 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 25ms · UTC 11:42 · PVG 19:42 · LAX 03:42 · JFK 06:42
Developed with CodeLauncher
♥ Do have faith in what you're doing.