我跟你们说， UCBerkeley 做了个牛逼的 Python 分布式计算框架，上灭 Spark 下踩 MapReduce

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2498 天前的主题，其中的信息可能已经有所发展或是发生改变。

标题只是打个广告。。。。灵感来自逼乎问题：如何看 UCBerkeley RISELab 即将问世的 Ray，replacement of Spark ？

项目在 github

https://github.com/ray-project/ray

里面有个 plasma 组件挺好用的。 zero copy 的共享内存对象存储引擎。

https://arrow.apache.org/blog/2017/08/08/plasma-in-memory-object-store/

第 1 条附言 · 2018-01-23 09:54:21 +08:00

具体对比：

https://arxiv.org/pdf/1712.05889.pdf

MapReduce, Apache Spark, Dryad, Dask, CIEL 的 throughput 和 latency 不行。

TensorFlow, Naiad, MPI, Canary 无法实现动态图计算。

Ray默认支持：

OpenAI gym
DeepMind Lab
Mujoco physics simulator
TensorFlow
Theano
PyTorch
Caffe

等框架。

ucberkeley

Spark

逼乎

hadoop

5 条回复 • 2018-01-20 21:53:15 +08:00

privil

2018-01-19 22:55:10 +08:00

前排围观，现在学 python 还来得及么，哈哈哈

nooper

2018-01-19 23:13:54 +08:00 via iPad

我用过了。看下性能。并没有那么理想

bbx

2018-01-20 05:31:05 +08:00

没仔细看，不过看到说用 arrow，如果 zero copy 是卖点，那么没啥新奇的，spark 也用了 arrow

janxin

2018-01-20 07:35:18 +08:00 via iPhone

看了下是分布深度学习框架？这个好像和 spark 差得远了点？

rogerchen

2018-01-20 21:53:15 +08:00

ray 是基于 actor model 做强化学习的分布式框架，框架确实解决了不少分布式机器学习的痛点。