本科毕设围绕 spark 开展,具体点是改进 spark 的资源调度系统。
由于身边没法部署大规模集群,能看到的问题可能相当有限。
想问问大家目前在生产环境看来 spark 现在主要的瓶颈和可改进的地方都有那些呢?
1
Todd_Leo 2015-12-24 10:08:41 +08:00
你可以去官方的 JIRA 上看看 issues
|
2
wilsoncao 2015-12-24 10:12:22 +08:00
只用过框架但没有认真思考过哪里有瓶颈。。。收藏关注一下大神的回答。。。就观察来看有些操作例如 mapbykey 非常耗时,非常耗时。。。不知道是不是跟资源调度有关。。
|
3
Abbey 2015-12-24 10:43:06 +08:00
阿里云买几台服务器吧。。。
|
4
mko0okmko0 2015-12-24 11:09:39 +08:00
你知道 spark 的
最小启动条件吗? 最佳 CP 值虚拟机推荐吗? 离线计算配置? 一秒软即时配置? 太多点可以玩了, 数据随便找个几 G 或是几 T 也可,倒在一起就可以玩了. 不要假设目标, 直接查找所有栏位 /数值的个别出现次数最多,降排序. 依照此排序推算某两个存在的正比关系, |
5
dsharpen 2015-12-24 11:48:38 +08:00
樓主:大家覺得登錄火星的瓶頸在哪兒?
1 樓:你可以到 NASA 看看最新的 issues 2 樓:只到達火星大氣,沒認真思考過登錄哪裏有瓶頸,收藏關注一下奧巴馬的回答。。。就觀察來看,擺脫天朝的五毛非常耗時,非常耗時。。。不知道是不是和被牆太久了有關。。 3 樓:淘寶買個一次性高仿八心八級箭着陸器吧。。。 4 樓:你知道火星嗎? 第五宇宙速度嗎? 最佳第六人如何坑隊友的嗎? 霍金電話性愛? 一秒軟掉毛都沒射? 太多點要考慮了, 轟趴隨便找幾個 G(男用)友或是幾個 T(女用),倒在一起就可以玩了。 不要放棄治療, 直接查找所有內褲 /bra 的個別出現次數最多,降排序, 依照此排序推算某兩個存在的婚外關係, (不好意思岔道了,最後似乎得出了和火星無關的結論...anyway ) |
6
zonghua 2015-12-24 11:52:51 +08:00 via iPhone
学校每个机房有六十台机子,只要五个机房的话。
|
8
mko0okmko0 2015-12-24 13:47:50 +08:00
@dsharpen 翻译很棒.超形象的.
难得被调侃后马上笑出来的哈哈哈. |
9
staticor 2016-01-12 19:04:22 +08:00
诚如, 这里不获得有效回答的好地方, 倒是也许能得到一些得到有效回答的渠道. find issues
|