目前自己是一个超菜的弱鸡。 准备做的是一个回归器模型（不是分类器）。
已经从原始输入提取出了不少特征值。但是这些特征值都还没有经过清洗。
目前观察了一下这些值，发现存在以下问题：
请问一下各位前辈，这些数据问题怎么处理？按什么顺序处理？谢谢大家了
（数据量还是比较大的，10k 条 x 2k 特征）
（我原本计划用有效值的平均值来填充无效值，但是统计后发现，离群值造成了平均值和中位值偏差太大）
 |
1
wannaspring Jun 4, 2022
问题 1. 根据你数据的实际情况， 如果是正态分布的，使用平均值填入，如果没有必要使用 dropna 丢弃
问题 2. pyOD 处理 outliers 不错 一般是 find na -> dropna -> labelencoder -> epa -> find outliers (interquartile ) -> handle outliers with pyOD -> data scaling(保证在同一比例) -> data spliting(train & test) -> create model -> model train -> mode evaluate |
|
2
wannaspring Jun 4, 2022
@wannaspring 我个人一般这么做， 但是我也是个菜鸟
|
Select Language