首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  wudc  ›  全部回复第 2 页 / 共 2 页
回复总数  28
1  2  
❮ ❯
2017 年 12 月 26 日
回复了 wudc 创建的主题 › 程序员 › spark 将 dataframe 写到 hdfs 为什么会如此耗时？
@zhusimaji 嗯嗯，听你这么说我明白了，我分区是想防止过多结果文件的产生，现在看来有点画蛇添足了。
2017 年 12 月 25 日
回复了 wudc 创建的主题 › 程序员 › spark 将 dataframe 写到 hdfs 为什么会如此耗时？
@liprais 嗯，明白了，去掉 reparation 确实快了不少，谢谢！
2017 年 12 月 25 日
回复了 wudc 创建的主题 › 程序员 › spark 将 dataframe 写到 hdfs 为什么会如此耗时？
@Mondoz
@mind3x
好的，改成 coalesce 已经在测试，谢谢。
2017 年 12 月 25 日
回复了 wudc 创建的主题 › 程序员 › spark 将 dataframe 写到 hdfs 为什么会如此耗时？
@zhusimaji 卡在 df.repartition(20).write.json(savePath)这行了，数据量比较小时还可以但是数据量一大就栈溢出
2017 年 12 月 25 日
回复了 wudc 创建的主题 › 程序员 › spark 将 dataframe 写到 hdfs 为什么会如此耗时？
@liprais 想最后把结果写到 20 个文件中
2017 年 12 月 25 日
回复了 wudc 创建的主题 › 程序员 › spark 将 dataframe 写到 hdfs 为什么会如此耗时？
@linuxchild 嗯，谢谢，我加上了这段代码 df.persist(StorageLevel.MEMORY_AND_DISK_SER)，现在程序在跑
2017 年 9 月 14 日
回复了 wudc 创建的主题 › Python › 求教： Python +opengl 如何加载.obj 三维模型文件，并且利用三视图投影法，即从前后左右上下六个视点对三维模型进行投影，最终获取六张二维视图投影图片。
@Hzzone
@mrdemonson
感谢二位的建议，我考虑下
2017 年 9 月 14 日
回复了 wudc 创建的主题 › Python › 求教： Python +opengl 如何加载.obj 三维模型文件，并且利用三视图投影法，即从前后左右上下六个视点对三维模型进行投影，最终获取六张二维视图投影图片。
@mrdemonson 您有相关的资料吗？谢谢。
1  2  
❮ ❯
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   997 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 14ms · UTC 18:52 · PVG 02:52 · LAX 10:52 · JFK 13:52
♥ Do have faith in what you're doing.