V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  leeg810312  ›  全部回复第 3 页 / 共 44 页
回复总数  866
1  2  3  4  5  6  7  8  9  10 ... 44  
2023-05-15 20:33:36 +08:00
回复了 Braisdom 创建的主题 程序员 智能 SQL 分析系统(我的新作品)
@leeg810312 既然这个产品也要数据分层,现有主流模式的 DW 层也在变薄,那么 2 者从客户角度就相差不大了。我不太认可“不需要按场景设计分层数据”这个说法,你只要需要为了要查询的数据设计中间表,那就是在针对一个查询场景设计了,这种情况我理解可以算是 Ad hoc 设计,而主流方法是事先设计分层表。

MPP 数据库物化视图也是要其底层的计算引擎查出来的,MPP 的计算引擎是很昂贵的资源,不能忽略不计,实际上就不是不需要额外的计算层,区别是用 MPP 自己的计算引擎,还是外部的计算引擎 Spark/Flink 这种。

另外,我认为第三方 SQL 辅助编写理论上无法优化。这个产品的 SQL 最终是运行在 MPP 上,不可能通过改写 MPP 的 SQL 引擎而优化,所以只能是按目标 MPP 的最佳实践生成,所谓优化实际上是尽力不劣化 SQL ,或者说现在生成的 SQL 可能还不是最优。不仅大数据,常规数据库开发领域都在用各种工程化方法、架构设计尽力避免复杂的 SQL 而不是去怎么生成一个复杂的 SQL ,SQL 越复杂,优化器越难优化 SQL ,在实际工程中也越难衡量优化的效果。因此,我不觉得生成复杂 SQL 是值得探索的技术路径。

也许会提升响应需求的变化,但我看到的代价并不低,换来的效果值不值得可能只有真实案例才能检验。

以上是我一家之言,我认可这个产品的 BI 用户体验确实有提升,但还没有到具有独家优势的程度,还是之前的观点,有卖点的产品总会有人用,而且也不是只有技术一个因素,希望 OP 能找到自己的目标用户。
2023-05-15 17:59:40 +08:00
回复了 Braisdom 创建的主题 程序员 智能 SQL 分析系统(我的新作品)
@Braisdom 行业现有的大数据计算引擎已经好到可以低成本实时计算海量数据了吗?分层仅仅是为了降低 SQL 复杂度?不是还有性能优化的考量吗? MPP 性能在增长,但总有上限。从原始表复制清洗后直接计算到报表,看上去不手写 SQL 且少了 2 层,但很明显没有可重复利用的 DW 层和 ADS 层,很多报表指标都必须从原始数据层提取来计算,当数据量增加到一定程度必定会遇到性能瓶颈,而且会比分层架构更容易更频繁地遇到性能瓶颈。随着数据量快速增长,每隔几个月频繁让客户提升硬件现实吗?还是做 SQL 调优?如果生成的 SQL 被认为是最优,那剩下的调优不就要做分层做中间表吗?所以这个产品如何保证一直只用原始数据写 SQL 呢?
2023-05-15 15:31:32 +08:00
回复了 Braisdom 创建的主题 程序员 智能 SQL 分析系统(我的新作品)
不太明白直接在数据库计算的意义指向?大数据分析通常都是在数仓数据库做分析(一般不可能允许直接连接业务系统数据库做大数据分析),这个产品的解决方案我理解没错的话是只要 ETL 到 ODS 层就可以做分析了。不过,这听上去并不是一个显著的优点,(可能与我们的客户群体有关)因为你提到的 MPP 性能在变强,实际上现在的设计趋向是 DW 层在变薄,DW 不再细分很多层,存很多宽表了,基本上 ODS 层清洗转换后存到 DW 层,然后就能通过计算引擎写 SQL 输出所有 ADS 层需求的指标数据,用到的 DW 层宽表不会经常发生大量变动,所以避免 报表需求变动导致 DW 层变动而且直连数仓数据库 ODS 层这个需求,我觉得这个需求并不强。

另外,实际工作中,SQL 是行业标准,是数据分析师的必备技能,现有的 SQL 编写辅助工具已经很强,而且写 SQL 在整个 BI 工作流程中不占很多时间。

集成 ChatGPT 很难建立壁垒,其他竞品很容易就能集成 ChatGPT 加强自身特性。

BI 产品竞争非常激烈,仅从 OP 的产品描述看,我个人觉得竞争优势不是很明显。我想这个产品的目标群体可能是有计划以数据驱动业务的中小企业,如果能找到这样的客户,加上匹配的定价、运维、售后等会有市场机会。
2023-04-22 06:34:05 +08:00
回复了 yuyue001 创建的主题 程序员 ChatGPT 总是 429 怎么解决?“429 Too Many Requests”
虽然 API 开了 gpt4 ,测试用了些,但太贵了,费用是 3.5 的 10 倍,不舍得用,目前大多数时候 3.5 够用了
2023-04-21 13:59:38 +08:00
回复了 yuyue001 创建的主题 程序员 ChatGPT 总是 429 怎么解决?“429 Too Many Requests”
我现在用 API ,自己做个仿真前后端,放到受支持地区的虚拟机上,连 Cloudflare 人机检测都没有了,舒服多了
2023-04-21 13:53:28 +08:00
回复了 aljun 创建的主题 程序员 请教下 AWS, Azure, GCP 使用体验对比
@aljun AKS 和 EKS 有啥不同吗?从 k8s 本身来说,它们都在 k8s 集群里加了自己的监控和 DNS 等服务,我没有注意到它们还有什么别的不一样?
2023-04-15 13:41:23 +08:00
回复了 zhangfuguan 创建的主题 程序员 简书几月不见弄成这比样了?
csdn 和 jianshu 只是国内技术社区衰败的缩影,想想你多久看一次这些社区上的文章,是通过什么途径看的,是不是通过搜索引擎搜到看完就离开了,你最后一次在这些社区发贴、回帖
2023-03-17 18:50:27 +08:00
回复了 leeg810312 创建的主题 OpenAI OpenAI 账号额度用完了怎么充钱
@cairnechen 实名认证是国内服务商,有人脸识别
感觉这楼里包括 OP 在内很多技术人都还是活在微软是靠卖 Windows 赚大钱的年代,Windows 只占微软业务总量一个零头都多少年了
2023-03-16 21:35:46 +08:00
回复了 suley 创建的主题 程序员 chatgpt 订阅提示这个,是卡的问题?
我搜集的信息显示,ChatGPT plus 支付风控比较严格,目前好像只能美国支付,美国卡美国 IP 美国地址,而且之前有用其他地区 IP 访问过也可能失败(有网友推测的风控条件,不完全确定)。使用 API 只要创建支付方式,这个绑定信用卡没有那么严格检查,我现在就是用 API ,没有问题
2023-03-13 11:22:24 +08:00
回复了 leeg810312 创建的主题 OpenAI OpenAI 账号额度用完了怎么充钱
根据网友提供的信息,周末测试了 nobepay ,目前可用该公司提供的美国虚拟卡支付 chatgpt plus 费用或创建月付支付方式。

归纳几点:
1 、从使用过程中看到的信息,nobepay 是一家国内跨境支付服务公司,服务似乎在美国阿里云,身份审核比较严,注册时需要实名过的微信号,另需要邀请码(网上搜的一个),注册完成后走一遍实名流程,然后才能充值、开虚拟卡

2 、我目前试了在线充值 500 元,另加 1%充值手续费,没有试过找客服充值,据说可用免充值手续费

3 、开卡页面有每张卡说明,我选了一张 5 开头的美国 master 卡,填了一个网上找的美国免税州地址,页面上提供随机地址生成,不知道是否有效。名义上是信用卡,但只能充钱用,有开卡费和卡片充值手续费,所以实质当作借记卡用。前 10 张开卡 1 元,卡片有效期 1 年,手续费 3%,最低充值 30 美元,汇率转换约 2%,用卡成本总体约 5%。

结论:
注册、充值、使用没有 depay 那么麻烦,且个人可用,用卡成本虽说有点小贵,但还可以接收。如果有更好的充值方式,欢迎分享。
2023-03-11 21:56:07 +08:00
回复了 sjmcefc2 创建的主题 程序员 近在咫尺,却无法分享文件,这个苦恼怎么解决?
#4 据说是挺方便,只要局域网就可以,但不知道为啥我试了不成功。最近看到有推荐一个 https://localsend.org ,可以跨平台,也是只要局域网,只是要按照客户端,不过用下来确实可以。
2023-03-10 19:07:16 +08:00
回复了 leeg810312 创建的主题 OpenAI OpenAI 账号额度用完了怎么充钱
@xiaoz Depay 要交易所买币,不在考虑范围内。Qbit 参考链接打不开,我自己去尝试,还要注册公司,进行不下去。Payoneer 似乎也是要公司的。其他卡没有注册方式。准备最后去试试 NobePay

@icatme 楼里其他方法都试过了,最后还有 NobePay 去试下


@webdesigner 没有英国卡可以试,你可以试下。欢迎反馈结果

@HaneRo 国内发行的卡一律不行,支付网关有校验
2023-03-09 11:52:31 +08:00
回复了 Lininin 创建的主题 程序员 gpt 的 api 访问权限被封禁了,有相同遭遇的吗?
我记得只有 chatgpt plus 是说只在美国地区开放,API 也有这种限制吗?
搭个升级预演环境,测试一遍升级,可以把绝大多数坑都踩到,做好升级失败回滚预案,然后升级生产环境。几年不升级,跨几个大版本升级很可能会遇到数据迁移和必须大版本逐个升级的情况,反而更麻烦
2023-03-04 18:02:23 +08:00
回复了 leeg810312 创建的主题 OpenAI OpenAI 账号额度用完了怎么充钱
@ultra 必须去美国办卡吧,为了这个去领事馆排长队办签证去美国旅游一趟有点划不来
2023-02-08 13:22:06 +08:00
回复了 nigga 创建的主题 程序员 咸鱼一堆人兜售美本学位证怕不是假证?
社区大学有机会转到我们国家承认的大学,甚至是排名较高的大学,有的人想去好大学,直接申请过不了,也会走这条路,一直是合法路径,不过直接买学位涉嫌违法
盒马本质是会员制,要求是支付宝注册用户。新手机号可用不注册支付宝,还是用原来支付宝账号登录,购买地址联系人填写自己的新手机号。我就是这么用的,我的日常联系手机不是我的支付宝账号绑定的手机号。
2023-01-18 11:13:49 +08:00
回复了 linuxgo 创建的主题 Linux MX Linux 连续 12 个月排名 NO.1,太厉害了
井底之蛙是形容没有见过好东西,随便搞出个发行版就是好东西?那么多发行版就是垃圾,最好永远没见过。
@815979670 模拟器针对的都是过时的机型了,怎么会影响买当前一代的硬件?
1  2  3  4  5  6  7  8  9  10 ... 44  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2700 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 28ms · UTC 10:26 · PVG 18:26 · LAX 02:26 · JFK 05:26
Developed with CodeLauncher
♥ Do have faith in what you're doing.