V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  sgld  ›  全部回复第 1 页 / 共 1 页
回复总数  16
6 天前
回复了 sgld 创建的主题 Python 时间序列进行异常检测(通过近 24h 数据) Python
@Sawyerhou 我懂你意思了,预测本身就是距离结尾越远越不准,而且我这里没有用 growth='logistic',等于用的是线性那个,最远的话偏差会越大
所以就把我需要异常检测的点位置靠近模型训练的点结束位置靠近一些比较好。

关于最后一个图那个前值填充那边,应该是不需要的,那个些突出来的本身就是异常点,需要检测异常然后报警提醒。
6 天前
回复了 sgld 创建的主题 Python 时间序列进行异常检测(通过近 24h 数据) Python
@huangyezhufeng 好的好的,我了解一下,之前都是中文搜索的资料,没有尝试去看 paper
6 天前
回复了 sgld 创建的主题 Python 时间序列进行异常检测(通过近 24h 数据) Python
@Sawyerhou

我传到了图床 --- 限制原因只能拍

如下所示,前面三张图前面曲线拟合都很不错,最后一段显然是预测出现了异常问题,最后一张则是效果非常好。

https://smms.app/image/Kt3W4fMBYLs5DHo
https://smms.app/image/49rGbuEsMqVSYP8
https://smms.app/image/QY4KleB1rRWOiuL
https://smms.app/image/QtcTOUvaqwjoMZR

这里使用的是 prophet ,没有使用参数 growth='logistic'(最后一段会飞,不知道为啥)
6 天前
回复了 sgld 创建的主题 Python 时间序列进行异常检测(通过近 24h 数据) Python
@Sawyerhou 好像没法添加图片 qwq
append 不行

目前使用 prophet 尝试了大概 20+个指标(孤立森林的方法并不会放弃,对于点异常还是很好用的)

问题就是最后面抽,这个预测最后明显是预测出现问题了的,前面拟合都还不错。

预测大概是 24 个点,训练的数据集大概是 7*24*6 = 1008 个点(不是很多)

主要是最后的部分出问题了 --- 预测曲线很突兀的下降,趋势非常陡峭,就很奇怪,然后报异常。前面的拟合都很好
6 天前
回复了 sgld 创建的主题 Python 时间序列进行异常检测(通过近 24h 数据) Python
@shicheng1993 好的好的,我学习一下
6 天前
回复了 sgld 创建的主题 Python 时间序列进行异常检测(通过近 24h 数据) Python
@Sawyerhou 今天在培训,晚点回去丢。倒不是检测不出,太敏感了。误报率比较高

也有检测不出的,就是本来一个液位下降,中间有一段水箱之间窜水,斜率变了一点,那个异常确实看起来不像,不考虑那种。
6 天前
回复了 sgld 创建的主题 Python 时间序列进行异常检测(通过近 24h 数据) Python
@watry 好的,卡尔曼滤波还没尝试过,我尝试下预处理效果
6 天前
回复了 sgld 创建的主题 Python 时间序列进行异常检测(通过近 24h 数据) Python
@013231 滑动窗口尝试过,误报率比较大,可能当时没有认真一个个调整窗口的原因,指数滑动方法也尝试过。
6 天前
回复了 sgld 创建的主题 Python 时间序列进行异常检测(通过近 24h 数据) Python
@Do1phln 这样的效率怎么样呢?因为需要处理的确实不少。
22 天前
回复了 sgld 创建的主题 Python for 循环里面的迭代器到底怎么迭代的
@qianzanqi 感谢大佬,源码大概意思能理解,明确指出了 index + 1 ,FT_ATOMIC_STORE_SSIZE_RELAXED 这些就去问大模型理解了,不太熟悉。
index < 0 就会返回 NUll ,item == NULL 就把 index 设置为-1 。从而退出循环
22 天前
回复了 sgld 创建的主题 Python for 循环里面的迭代器到底怎么迭代的
@lisongeee 确实很清楚的 index+1 qwq
感谢大佬
@amlee 这是多进程的事吧
103 天前
回复了 jianghu52 创建的主题 Python 是我太菜了,还是 pandans 就是这么慢
@sgld apply
103 天前
回复了 jianghu52 创建的主题 Python 是我太菜了,还是 pandans 就是这么慢
问题中提到 tb6k 后面第 5 8 10 行的内容赋值给 tb4k 后三列。这里是不是 5 8 10 列

打错了的话,就两个表格 join 一下(前面有回答提到了),然后使用索引取需要的列。

如果不是别无他法,遍历都是最次选,实在不行考虑 aplly 这些🤩
103 天前
回复了 jianghu52 创建的主题 Python 是我太菜了,还是 pandans 就是这么慢
大概率代码问题,问题描述其实没太看明白,但是 pandas 中逐行遍历是效率最低的一种做法。可以考虑能不能使用矢量化的方法替代,没有代码也不清楚。

stackoverflow 中有很多这方面的回答,可以去看看。
246 天前
回复了 hagerhu 创建的主题 程序员 你是怎样开始程序员职业生涯的?
@spicy777 想请教下,已经入了一行怎么跳另一行呢,qwq 现在行情不太敢裸辞 all in ,但是当下工作干着又确实无味,不仅和学得机械无关,更别说程序员了 0.0
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5208 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 19ms · UTC 01:21 · PVG 09:21 · LAX 18:21 · JFK 21:21
Developed with CodeLauncher
♥ Do have faith in what you're doing.