V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
sighingnow
V2EX  ›  数据库

Vineyard:开源分布式内存数据管理引擎

  •  
  •   sighingnow · 2021-01-20 11:16:52 +08:00 · 1402 次点击
    这是一个创建于 1388 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我们最新开源了一个分布式内存数据管理引擎 Vineyard,它有这样一些特性:

    1. 分布式不可变数据的内存存储引擎
    2. 通过共享内存对上层应用提供零拷贝数据共享
    3. 对常见的数据结构(如 Tensor 、DataFrame 、Graph 等)提供内建高级 API 支持
    4. 内建的用于 I/O 、Migration 、Checkpoint 的可复用插件
    5. 完善的 C++ 和 Python 支持
    6. 集成 Kubernetes 以及 Helm,拥抱云原生生态,支持大规模的大数据分析应用

    欢迎大家关注、试用和向 Vineyard 贡献代码!

    8 条回复    2021-01-25 08:48:03 +08:00
    v2webdev
        1
    v2webdev  
       2021-01-20 11:29:07 +08:00   ❤️ 4
    阿里开源太吊了。
    GM
        2
    GM  
       2021-01-20 11:39:38 +08:00
    先问一下有没有用个代码里写死的特殊 token,就能全权访问所有数据?
    imkerberos
        3
    imkerberos  
       2021-01-20 11:52:18 +08:00
    又来污染环境。
    cholerae
        4
    cholerae  
       2021-01-20 12:53:41 +08:00
    不敢用阿里的开源
    IDAEngine
        5
    IDAEngine  
       2021-01-20 13:33:03 +08:00
    请问代码里面有没有加密的黑名单 白名单,像 fastjson 一样,

    denyHashCodes = new long[]{
    -8720046426850100497L,
    -8165637398350707645L,
    -8109300701639721088L,
    -8083514888460375884L,
    -7966123100503199569L,
    -7921218830998286408L,
    -7768608037458185275L,
    -7766605818834748097L,
    -6835437086156813536L,
    -6179589609550493385L,
    -5194641081268104286L,
    -4837536971810737970L,
    -4401390804044377335L,
    -4082057040235125754L,
    -3935185854875733362L,
    -2753427844400776271L,
    -2364987994247679115L,
    -2262244760619952081L,
    -1872417015366588117L,
    -1650485814983027158L,
    -1589194880214235129L,
    -1251419154176620831L,
    -254670111376247151L,
    -190281065685395680L,
    -9822483067882491L,
    33238344207745342L,
    99147092142056280L,
    313864100207897507L,
    1073634739308289776L,
    1203232727967308606L,
    1459860845934817624L,
    1502845958873959152L,
    3114862868117605599L,
    3547627781654598988L,
    3688179072722109200L,
    3730752432285826863L,
    3794316665763266033L,
    4147696707147271408L,
    4814658433570175913L,
    4904007817188630457L,
    5100336081510080343L,
    5347909877633654828L,
    5450448828334921485L,
    5688200883751798389L,
    5751393439502795295L,
    5944107969236155580L,
    6456855723474196908L,
    6511035576063254270L,
    6742705432718011780L,
    7017492163108594270L,
    7179336928365889465L,
    7442624256860549330L,
    8389032537095247355L,
    8409640769019589119L,
    8537233257283452655L,
    8838294710098435315L,
    8925522461579647174L
    0x86fc2bf9beaf7aefL,
    0x8eadd40cb2a94443L,
    0x8f75f9fa0df03f80L,
    0x8fd1960988bce8b4L,
    0x9172a53f157930afL,
    0x92122d710e364fb8L,
    0x94305c26580f73c5L,
    0x9437792831df7d3fL,
    0xa123a62f93178b20L,
    0xaa3daffdb10c4937L,
    0xb7e8ed757f5d13a2L,
    0xbcdd9dc12766f0ceL,
    0xc2eb1e621f439309L,
    0xc7599ebfe3e72406L,
    0xc963695082fd728eL,
    0xd9c9dbf6bbd27bb1L,
    0xdf2ddff310cdb375L,
    0xe09ae4604842582fL,
    0xe603d6a51fad692bL,
    0xe9184be55b1d962aL,
    0xe9f20bad25f60807L,
    0xeea210e8da2ec6e1L,
    0xfc773ae20c827691L,
    0xfd5bfc610056d720L,
    0xffdd1a80f1ed3405L,
    0x761619136cc13eL,
    0x1603dc147a3e358L,
    0x45b11bc78a3aba3L,
    0xee6511b66fd5ef0L,
    0x10b2bdca849d9b3eL,
    0x144277b467723158L,
    0x14db2e6fead04af0L,
    0x2b3a37467a344cdfL,
    0x313bb4abd8d4554cL,
    0x332f0b5369a18310L,
    0x33c64b921f523f2fL,
    0x34a81ee78429fdf1L,
    0x398f942e01920cf0L,
    0x42d11a560fc9fba9L,
    0x440e89208f445fb9L,
    0x46c808a4b5841f57L,
    0x4a3797b30328202cL,
    0x4ba3e254e758d70dL,
    0x4ef08c90ff16c675L,
    0x4fd10ddc6d13821fL,
    0x527db6b46ce3bcbcL,
    0x599b5c1213a099acL,
    0x5a5bd85c072e5efeL,
    0x5d92e6ddde40ed84L,
    0x616323f12c2ce25eL,
    0x63a220e60a17c7b9L,
    0x6749835432e0f0d2L,
    0x746bd4a53ec195fbL,
    0x74b50bb9260e31ffL,
    0x767a586a5107feefL,
    0x7aa7ee3627a19cf3L,
    0x7bddd363ad3998c6L
    };
    sighingnow
        6
    sighingnow  
    OP
       2021-01-20 19:38:54 +08:00
    @GM 没有。Vineyard 中 data access permission 取决于 UNIX domain socket 的 permission bits,和 token 无关。
    sighingnow
        7
    sighingnow  
    OP
       2021-01-20 19:39:14 +08:00
    @IDAEngine 没有。
    dbpe
        8
    dbpe  
       2021-01-25 08:48:03 +08:00
    和 Ignite 的优势是什么
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   982 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 22:06 · PVG 06:06 · LAX 14:06 · JFK 17:06
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.