推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2177 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近在学习使用 parallel python 模块进行分布式机器学习，遇到了一个问题：写了一个创建学习模型的函数，是分发到各计算节点上的，如下面的代码所示。Param 是一个字典，用于传送要构建模型的宏参数，当我不使用它使用默认的参数时，能够正常工作；当把两个#号去掉，使用传过来的参数时，就不能正常工作了。问一下我的代码错在了哪里？
ModelName = "LGBMRegressor"
params = { "max_depth": 1, "num_leaves": 4}
def CreateModel( ModelName, Params ):
max_depth, num_leaves = 10, 20
#if "max_depth" in Params: max_depth = Params[ "max_depth" ]
#if "num_leaves" in Params: num_leaves = Params[ "num_leaves" ]
Model, IsClassifier = None, True
ModelName = ModelName.lower()
if ModelName == "lgbmregressor":
IsClassifier = False
Model = lightgbm.LGBMRegressor( max_depth=max_depth, num_leaves=num_leaves )
return Model, IsClassifier
另外我若在本地创建好模型，把模型分发给各计算节点，程序就不能正常工作，如果在节点上创建模型，如上所示，就出现了上面的情况，该怎么解决？
ModelName = "LGBMRegressor"
params = { "max_depth": 1, "num_leaves": 4}
def CreateModel( ModelName, Params ):
max_depth, num_leaves = 10, 20
#if "max_depth" in Params: max_depth = Params[ "max_depth" ]
#if "num_leaves" in Params: num_leaves = Params[ "num_leaves" ]
Model, IsClassifier = None, True
ModelName = ModelName.lower()
if ModelName == "lgbmregressor":
IsClassifier = False
Model = lightgbm.LGBMRegressor( max_depth=max_depth, num_leaves=num_leaves )
return Model, IsClassifier
另外我若在本地创建好模型，把模型分发给各计算节点，程序就不能正常工作，如果在节点上创建模型，如上所示，就出现了上面的情况，该怎么解决？
13 条回复 • 2018-12-03 16:04:37 +08:00
 |
1
acone2003 OP 各位请注意，代码传上去之后没有缩进了，实际上是有的
|
 |
2
imn1 2018-12-03 09:47:32 +08:00
大小写
|
 |
3
sanxidiot 2018-12-03 09:59:26 +08:00 via Android
希望 v2 能改善一下对代码显示的支持吧，毕竟好歹也是程序员技术社区啊
|
 |
5
zhangchioulin 2018-12-03 10:32:03 +08:00
@sanxidiot #3 markdown 不行么。。。都说了是‘程序员技术社区’，那么 markdown 应该都会一点吧。。。就算不会也可以编辑器写完复制进来吧
|
 |
6
XIVN1987 2018-12-03 10:35:50 +08:00
|
|
7
zhangchioulin 2018-12-03 10:39:00 +08:00
@XIVN1987 #6 评论涉及到代码就‘ gist ’了吧。发帖 markdown 可用可不用，没有人强制要用 md，但是为了看的更清晰最好还是用 md 吧
|
|
8
sanxidiot 2018-12-03 10:44:20 +08:00 via Android
@zhangchioulin @GoLand 是我孤陋寡闻了，主要是看很多帖子都是直接复制代码，使得排版全无，以为没这些东西的...
|
 |
9
ant2017 2018-12-03 10:52:39 +08:00
if 语句格式不是要换行？
if "max_depth" in Params: max_depth = Params[ "max_depth" ] |
 |
10
wwg1994 2018-12-03 11:02:11 +08:00
不能正常工作是 python 报错还是结果不符合预期？
|
|
12
acone2003 OP 回 ant2017:换行也不行，试了。
回 wwg1994: 不是 python 报错，是不出结果。并且 CPU 占用率是 0 |
|
13
acone2003 OP 各位有点新进展，我把函数添加了一项，然后使用 xgboost 就没有问题。是不是 lightGBM 要依赖一些别的模块？ parallel Python 要求把必要的引用显式地写在代码中。添加后的相关代码如下：
def CreateModel( ModelName, Params ): max_depth, num_leaves, min_child_weight = 10, 20, 1 if "max_depth" in Params: max_depth = Params[ "max_depth" ] if "num_leaves" in Params: num_leaves = Params[ "num_leaves" ] if "min_child_weight" in Params: min_child_weight = Params[ "min_child_weight" ] Model, IsClassifier = None, True ModelName = ModelName.lower() if ModelName == "lgbmregressor": IsClassifier = False Model = lightgbm.LGBMRegressor( max_depth=max_depth, num_leaves=num_leaves ) elif ModelName == "xgbregressor": IsClassifier = False; Model = xgboost.XGBRegressor( n_jobs=16, max_depth=max_depth, min_child_weight=min_child_weight ) return Model, IsClassifier |
Select Language