• 请不要在回答技术问题时复制粘贴 AI 生成的内容
90928yao
V2EX  ›  程序员

TiDB 现在发展到什么程度了,相比 sharding 的方案有什么劣势呢

  •  
  •   90928yao · Sep 27, 2020 · 13369 views
    This topic created in 2237 days ago, the information mentioned may be changed or developed.

    最近看了点分库分表的方案,什么 shardingshapre (目前所在公司就是用的 sharding-jdbc ),mycat,谷歌的 vitess 等等若干方案。

    自己没有在生产使用过 TiDB,但是关于他的各种文章说得天花乱坠的,现在 TIDB 有足够的能力取代这些分库方案了吗? 但是感觉 TiDB 在中小型的公司并不流行(哪怕这些公司有分库分表的需求),是数据量不够大采用 TIDB 会增加的使用成本,运维成本吗?我个人感觉 对使用着来说 TiDB 比这些分库分表的方案是要方便一点

    50 replies  •  2020-11-20 11:27:27 +08:00
    jwk345
    jwk345
    Sep 27, 2020 via iPhone
    1
    defage
    defage
    Sep 27, 2020
    2
    主要还是黑盒的问题。
    mysql 使用了这么多年,团队、人员上对它很熟悉的人很多,sharding 也是。对于有能力的团队来说,能掌控住的话,失控的风险就比较低。
    tidb 就另说了,有很多业务也很适用,也有很多公司在用了。还是比较成熟的了,OLTP 和 OLAP 之间感觉它啥都想干,貌似都不是特别突出。
    realpg
    realpg
    Sep 27, 2020
    3
    TiDB 的硬件要求就注定小公司玩不起啊……
    MinQ
    MinQ
    Sep 27, 2020
    4
    看了一下 TiDB 的硬件需求,需要的服务器也太多了吧,感觉大部分业务给两个 MySQL 整个一主一从就完活了,分库分表方案都是自己想一个就完了
    tulumu
    tulumu
    Sep 27, 2020
    5
    tidb 已跪, 已经转 gp
    zoharSoul
    zoharSoul
    Sep 27, 2020
    6
    @tulumu gp 是啥?
    popoer
    popoer
    Sep 27, 2020
    7
    目前只用了 mysql 分区,分库分表和 TiDB 也研究过但没有使用,感觉对我们几千万数据量杀鸡用牛刀了
    wangyzj
    wangyzj
    Sep 27, 2020
    8
    @realpg #3 +1
    StarUDream
    StarUDream
    Sep 27, 2020❤️1
    9
    小公司,tidb 、tikv 、pd 单节点放在一个机器上就行了啊,后面业务增长了,横向扩设备就行。
    90928yao
    90928yao
    OP
    Sep 27, 2020
    11
    @tulumu 能说说吗
    mahone3297
    mahone3297
    Sep 27, 2020
    12
    所以,大家讨论 tidb 的时候,都没谈买商业服务是吗???
    那,确实,出了问题,mysql 网上搜或许还能搜到,tidb 资料应该少

    当然,买商业服务,应该确实贵
    服务器当然也要的多,也贵
    huntcool001
    huntcool001
    Sep 27, 2020
    13
    等阿里,腾讯云出了 managed TiDB 再说吧. 中小公司运维 DBA 也搞不定这玩意.
    realpg
    realpg
    Sep 27, 2020
    14
    @MinQ #4
    硬件要求高不是需要的服务器太多

    TIDB 不是应对大数据行数,而是应对高 IOPS

    除了 IDC 这类公司,基本小公司哪有拿得出来三五台全高 IOPS ( NVME 盘最合适)做存储节点的

    基本都停留在阿里云的破机器呢
    dzdh
    dzdh
    Sep 27, 2020
    15
    @huntcool001 阿里有对标产品 OceanBase
    dzdh
    dzdh
    Sep 27, 2020
    16
    @zoharSoul Greenplum 基于 PostgreSQL 的 OLAP 方案 不适合 OLTP
    dzdh
    dzdh
    Sep 27, 2020
    17
    同类产品 CockroachDB 没人提一下吗

    PostgreSQL 系的还有 Citus 也是 shardingnothing 啊
    dzdh
    dzdh
    Sep 27, 2020
    18
    小微企业小几千万的几台 PostgreSQL+citus 免费版足够了
    joesonw
    joesonw
    Sep 27, 2020
    19
    @huntcool001 腾讯之前和 PingCAP 合作过, 有 managed TiDB. 然后合作终止了, 腾讯云推出了自己的分布式 SQL. 你懂的.
    haohappy
    haohappy
    Sep 27, 2020
    20
    小几千万的索引建好 mysql 足够了
    andyangyu
    andyangyu
    Sep 27, 2020
    21
    我们公司在生产用 TIDB 集群, 4.0 以后支持机械盘部署了, 用 k8s 部署还是挺方便的.
    MinQ
    MinQ
    Sep 27, 2020
    23
    @realpg 五台虚机本身就不少了,我司的项目抠抠搜搜就给两台 MySQL 虚机。之前搞过一次用来计算兴趣点的项目,最高峰搞了 24 台 16C/32G 的 PG 来做查询,现在要求压缩掉 2/3,TPS 还不能下降,所以打算用 Solr+MySQL 来处理了
    Narcissu5
    Narcissu5
    Sep 27, 2020
    24
    我们穷逼公司硬件没给够,三天两头倒地不起,还不如 mysql 加个从库
    594duck
    594duck
    Sep 27, 2020 via iPhone
    25
    @StarUDream 然后在运行的飞机上换引擎么
    594duck
    594duck
    Sep 27, 2020 via iPhone
    26
    我兄弟是达梦数据库的,达梦对标 oracle9i 。

    TIDB 也好 oceanDB 也好在他们眼里就是弱鸡。

    这里说一下上海地区有需要达梦的可以找我兄弟。一律有优惠。

    我就这么说如果 oracle 11i 降价到 5 万元一整台服务器授权,保证企业用户立刻

    “啊呀真香”

    顶配 dell R740xd 512 内存,全 ssd 才多少钱。15 万一台好了,来三台,加上 EMC 两鸡头 4 盘柜,加上三套达梦。齐活了才多少钱。

    mysql 商业版本差不多这点钱,还要折腾什么直接上啊。


    oracle 一个 rman 就让人口水
    Lighfer
    Lighfer
    Sep 27, 2020❤️5
    27
    @594duck 达梦可别吹了,我们公司用了一年(政府项目,不得不用),给达梦都不知道排出了多少个 bug,最夸张一个,一条 insert 会引发数据库崩溃,100%必现,两个月前出现的。包括配套的产品,管理工具、迁移工具、ETL,都是 bug 一堆。,不可否认达梦服务态度很好,也是国产化必要的存在,但数据库确实没多强。
    以上发言仅从使用者角度出发
    leeg810312
    leeg810312
    Sep 27, 2020 via Android
    28
    @594duck 达梦面向 zf 机构和国企,用 MySQL 的群体都是中小企业、个人或互联网公司,从没有听说这些群体有用达梦的
    realpg
    realpg
    Sep 27, 2020
    29
    @MinQ #23
    这玩意的设计应用 都不是跑在 VM 里面的
    是跑在物理机里……

    我这有测试玩的集群 性能真心彪悍
    三个节点,每个节点 4 块 3DWPD 的 1.6TB NVME 盘
    realpg
    realpg
    Sep 27, 2020
    30
    @594duck #26
    达梦,没问题时候无敌
    有问题时候就是垃圾中的战斗机

    曾经遇到过简单查询爆卡,工程师专业的折腾了两个小时给解决了,然后开票收了 8000 块钱服务费……合同名义是买了一个什么扩展……
    realpg
    realpg
    Sep 27, 2020
    31
    实际上,跟工程师私下沟通,其实是他们程序的 bug,以前没发现过的,现场代码级修复的。
    kerro1990
    kerro1990
    Sep 27, 2020
    32
    用的蟑螂 CockroachDB,TiDB 的话很多 mysql 函数不兼容或者返回结果不一致,已放弃
    xiaoyangsa
    xiaoyangsa
    Sep 27, 2020❤️1
    33
    对于生产环境,还是要选熟悉的,搞得定的,别去当小白鼠帮别人排雷了
    dzdh
    dzdh
    Sep 28, 2020
    34
    @kerro1990 用多久了 生产环境吗?多大量?求分享。免费版不支持 Geo 分区吧?
    594duck
    594duck
    Sep 28, 2020 via iPhone
    35
    @Lighfer 老哥用的辛苦了,我不在国内所以也没用过他们的,但是听朋友讲起来比起其他国产数据库,他还是最靠谱的那个。
    @leeg810312 可不是这么说的,如果 150 万买齐核心数据库对国内互联网动则上亿的流水来说简直不值钱。一般创新公司必须拿出企业利润 30%来对技术进行升级。而且我认为只有付费才会有良性发展,比如一个互联网公司用了 30 个 mysql,那买 1/10 的 mysql 企业版用来作为支持不过分的。不然哪里来的发展。
    @realpg 只能说老哥辛苦了,毕竟哪怕 cisco 这种底层东西,都会出 bug 要开 case 。但是想你说的一条 inster 都崩溃也是难言了。

    谢谢各位老哥的回复,我好好敲打一下我朋友去。叫他下次和我吹的时候谨慎一点。
    kerro1990
    kerro1990
    Sep 28, 2020
    36
    @dzdh 生产环境,用的 AWS,跨机房数据同步,日落地数据 8000W 左右,总数据量 10T 左右,稳定运行 2 年多了,没有档级重启过
    kerro1990
    kerro1990
    Sep 28, 2020
    37
    @594duck 达梦闭门造车的玩意,维护成本很高,而且很多核心部件不开源,因为用了很多开源组件
    dzdh
    dzdh
    Sep 28, 2020
    38
    @kerro1990 如果没有真的强区域化业务比如按大区拆分的业务组、子母公司啥的,是不是官方的 Geo-Partition 就有点鸡肋了。
    kerro1990
    kerro1990
    Sep 28, 2020
    39
    @dzdh 应该有吧,我们暂时没用到这块
    specita
    specita
    Sep 28, 2020
    40
    sharding 的方案优缺点还是比较明显的,我现在接手的就是用的 sharding,主要是按 sharding 的方式跑数据处理,提高效率,但是数据量上来后,需要扩容再多 sharding 点表成本就很高了。另外报表查询也是个突出的问题。所以最近也在选型,我目前倾向于用 spark-sql 批处理,汇总数据再导入 mysql 或者 hbase 吧。tidb 不敢用的原因还是因为不了解,怕当小白鼠。
    dzdh
    dzdh
    Sep 28, 2020
    41
    @kerro1990 对 Yugabyte 评价如何?
    StarUDream
    StarUDream
    Sep 28, 2020
    42
    @594duck #25 扩容又不停机,又不停止线上业务。何来在运行的飞机上换引擎的说法?
    stephenxiaxy
    stephenxiaxy
    Sep 28, 2020
    43
    小公司玩不起
    kerro1990
    kerro1990
    Sep 28, 2020
    44
    @dzdh OLTP 的话比 cockroachDB 性能差一点,另外事物的粒度和隔离级别不一样
    dzdh
    dzdh
    Sep 28, 2020
    45
    @kerro1990 cockroach 同机多盘支持怎么样? 会不会分布不平均。感谢大佬科普
    tulumu
    tulumu
    Sep 30, 2020
    46
    @zoharSoul GreenPlum , pg 协议, OLAP +OLTP 数据库
    tulumu
    tulumu
    Sep 30, 2020
    47
    @90928yao 就是一个分布式的 pg, 里面全部放大宽表, 甚至可以基于 GP 做数仓
    lance6716
    lance6716
    Oct 1, 2020 via Android
    48
    可以免费试用一下 tidb cloud

    https://en.pingcap.com/products/tidbcloud/trial/
    simuhunluo
    simuhunluo
    Nov 20, 2020
    49
    @kerro1990 贵司用 cockroach 的场景大概是啥呢,可否简单分享下
    simuhunluo
    simuhunluo
    Nov 20, 2020
    50
    @zoharSoul greenplum
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1270 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 65ms · UTC 17:23 · PVG 01:23 · LAX 09:23 · JFK 12:23
    ♥ Do have faith in what you're doing.