经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 程序设计 » Python3 » 查看文章
【scikit-learn基础】--『预处理』之 缺失值处理
来源:cnblogs  作者:wang_yb  时间:2023/12/22 16:21:05  对本文有异议

数据的预处理是数据分析,或者机器学习训练前的重要步骤。
通过数据预处理,可以

  • 提高数据质量,处理数据的缺失值、异常值和重复值等问题,增加数据的准确性和可靠性
  • 整合不同数据,数据的来源和结构可能多种多样,分析和训练前要整合成一个数据集
  • 提高数据性能,对数据的值进行变换,规约等(比如无量纲化),让算法更加高效

本篇介绍的缺失值处理,是数据预处理中非常重要的一步,因为很多机器学习算法都假设数据是完整的,算法的执行过程中没有考虑缺失值的影响。
所以,为了提高数据质量、改进数据分析结果、提高数据挖掘和机器学习的效果,缺失值处理必不可少。

1. 原理

处理缺失值的手段大致有4类

  1. 删除存在缺失值数据行
  2. 填充缺失值
  3. 不处理缺失值
  4. 用深度学习方法处理

1.1. 删除缺失值数据

删除缺失值是最简单的一种处理方式,不过,在某些情况下,这可能会导致数据的大量丢失。
如果数据丢失过多,可能会改变数据的分布,影响模型的准确性。

所以,只有在缺失值占比很小的情况下,才会考虑使用这种处理方式。
删除缺失值用pandas库的方法即可,比如:

  1. import pandas as pd
  2. df = pd.util.testing.makeMissingDataframe()
  3. print("删除前: {} 行".format(len(df)))
  4. df = df.dropna()
  5. print("删除后: {} 行".format(len(df)))
  6. # 运行结果
  7. 删除前: 30
  8. 删除后: 19

1.2. 填充缺失值

直接删除存在缺失值的数据行虽然简单,但是在实际应用中,使用的并不多。
实际情况下,使用最多的还是填充缺失值。

scikit-learn库中,填充缺失值的方式主要有:

1.2.1. 均值填充

均值填充就是用缺失值所在列的平均值来填充缺失值。

  1. from sklearn.impute import SimpleImputer
  2. data = np.array([[1, 2, 3], [4, np.nan, 6], [7, 8, np.nan]])
  3. print("均值填充前:\n{}".format(data))
  4. imp = SimpleImputer(missing_values=np.nan, strategy="mean")
  5. data = imp.fit_transform(data)
  6. print("均值填充后:\n{}".format(data))
  7. # 运行结果
  8. 均值填充前:
  9. [[ 1. 2. 3.]
  10. [ 4. nan 6.]
  11. [ 7. 8. nan]]
  12. 均值填充后:
  13. [[1. 2. 3. ]
  14. [4. 5. 6. ]
  15. [7. 8. 4.5]]

填充的54.5分别是第二列第三列的平均值。

1.2.2. 中位数填充

中位数填充就是用缺失值所在列的中位数来填充缺失值。

  1. from sklearn.impute import SimpleImputer
  2. data = np.array([[1, 2, 3], [4, np.nan, 6], [7, 8, np.nan], [10, 11, 12]])
  3. print("中位数填充前:\n{}".format(data))
  4. imp = SimpleImputer(missing_values=np.nan, strategy="median")
  5. data = imp.fit_transform(data)
  6. print("中位数填充后:\n{}".format(data))
  7. # 运行结果
  8. 中位数填充前:
  9. [[ 1. 2. 3.]
  10. [ 4. nan 6.]
  11. [ 7. 8. nan]
  12. [10. 11. 12.]]
  13. 中位数填充后:
  14. [[ 1. 2. 3.]
  15. [ 4. 8. 6.]
  16. [ 7. 8. 6.]
  17. [10. 11. 12.]]

填充的86分别是第二列第三列的中位数。

1.2.3. 众数填充

众数填充就是用缺失值所在列的众数数来填充缺失值。

  1. from sklearn.impute import SimpleImputer
  2. data = np.array([[1, 2, 3], [4, np.nan, 6], [7, 8, np.nan], [10, 8, 3]])
  3. print("众数填充前:\n{}".format(data))
  4. imp = SimpleImputer(missing_values=np.nan, strategy="most_frequent")
  5. data = imp.fit_transform(data)
  6. print("众数填充后:\n{}".format(data))
  7. # 运行结果
  8. 众数填充前:
  9. [[ 1. 2. 3.]
  10. [ 4. nan 6.]
  11. [ 7. 8. nan]
  12. [10. 8. 3.]]
  13. 众数填充后:
  14. [[ 1. 2. 3.]
  15. [ 4. 8. 6.]
  16. [ 7. 8. 3.]
  17. [10. 8. 3.]]

填充的83分别是第二列第三列的众数。

1.2.4. 常量填充

常量填充就是用指定的常量来填充缺失值。

  1. from sklearn.impute import SimpleImputer
  2. data = np.array([[1, 2, 3], [4, np.nan, 6], [7, 8, np.nan]])
  3. print("常量填充前:\n{}".format(data))
  4. imp = SimpleImputer(missing_values=np.nan, fill_value=100, strategy="constant")
  5. data = imp.fit_transform(data)
  6. print("常量填充后:\n{}".format(data))
  7. # 运行结果
  8. 常量填充前:
  9. [[ 1. 2. 3.]
  10. [ 4. nan 6.]
  11. [ 7. 8. nan]]
  12. 常量填充后:
  13. [[ 1. 2. 3.]
  14. [ 4. 100. 6.]
  15. [ 7. 8. 100.]]

缺失值用常量100填充了。

1.2.5. 插值填充

插值填充就是使用线性插值或多项式插值等方法,基于已知的数据点估计缺失值。

  1. from sklearn.experimental import enable_iterative_imputer
  2. from sklearn.impute import IterativeImputer
  3. data = np.array([[1, 2, 3], [4, np.nan, 6], [7, 8, np.nan]])
  4. print("插值填充前:\n{}".format(data))
  5. imp = IterativeImputer(max_iter=10, random_state=0)
  6. data = imp.fit_transform(data)
  7. print("插值填充后:\n{}".format(data))
  8. # 运行结果
  9. 插值填充前:
  10. [[ 1. 2. 3.]
  11. [ 4. nan 6.]
  12. [ 7. 8. nan]]
  13. 插值填充后:
  14. [[1. 2. 3. ]
  15. [4. 5.00203075 6. ]
  16. [7. 8. 8.99796726]]

1.2.6. K近邻填充

K近邻填充就是利用K近邻算法,找到与缺失值最近的K个数据点,用它们的值的平均数或中位数来填充缺失值。

  1. from sklearn.impute import KNNImputer
  2. data = np.array([[1, 2, 3], [4, np.nan, 6], [7, 8, np.nan], [10, 11, 12]])
  3. print("K近邻填充前:\n{}".format(data))
  4. imp = KNNImputer(n_neighbors=2)
  5. data = imp.fit_transform(data)
  6. print("K近邻填充后:\n{}".format(data))
  7. # 运行结果
  8. K近邻填充前:
  9. [[ 1. 2. 3.]
  10. [ 4. nan 6.]
  11. [ 7. 8. nan]
  12. [10. 11. 12.]]
  13. K近邻填充后:
  14. [[ 1. 2. 3.]
  15. [ 4. 5. 6.]
  16. [ 7. 8. 9.]
  17. [10. 11. 12.]]

2. 作用

缺失值处理的主要作用包括:

  1. 提高数据完整性和准确性:如果数据中存在缺失值,可能会影响分析的准确性,甚至导致错误的结论。因此,通过填补缺失值,我们可以确保数据的完整性和准确性。
  2. 提升数据质量:缺失值可能会降低数据的质量,使得数据分析变得更为困难。通过处理缺失值,我们可以提升数据的质量,使得分析结果更加可靠。
  3. 提高算法性能:许多机器学习和数据挖掘算法在处理不完整数据时性能会下降。处理缺失值可以使得这些算法更好地运行,提高其性能。
  4. 减少信息丢失:在某些情况下,缺失值可能代表着某些信息的丢失。通过对这些缺失值进行处理,我们可以尽量减少信息丢失的数量。
  5. 消除或减少噪声:缺失值的存在可能会引入数据中的噪声,这种噪声可能会对数据分析产生干扰,甚至影响模型的训练效果。通过填补这些缺失值,我们可以消除或减少这种噪声。

3. 总结

在选择处理缺失值的方法时,需要考虑数据的性质、缺失值的比例、数据的分布以及具体的分析任务等因素。
同时,不同的方法可能适用于不同的场景,需要结合具体情况进行选择。

原文链接:https://www.cnblogs.com/wang_yb/p/17921351.html

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号