[文章轉貼] 超詳細匯總，十大數據處理技巧！ ！
文章轉自微信公眾號:機器學習與人工智慧AI 文章原始連結: https://mp.weixin.qq.com/s/Pi0-7rNLMSHhc7jmNH217g 今天帶給大家的是十大屬於處理技巧，牽涉到的有： 缺失值處理（Handling Missing Values） 數據標準化（Data Normalization） 資料歸一化（Data Scaling） 類別編碼（Categorical Encoding） 資料降維（Dimensionality Reduction） 資料去重（Removing Duplicates） 資料分箱（Data Binning） 特徵選擇（Feature Selection） 資料變換（Data Transformation） 資料平衡處理（Handling Imbalanced Data） 具體原理和使用方式，下面跟大家一起聊聊~ 1. 缺失值處理（Handling Missing Values） 介紹 在現實資料集中，缺失值的存在是普遍現象。直接包含缺失值的資料會使機器學習模型無法有效訓練，因此常見的缺失值處理方法包括刪除缺失值、平均值插補、中位數插補、眾數插補以及基於迴歸模型的插補等。 核心點 刪除法 ：直接去掉含有缺失值的行或列。 插補法 ：使用平均數、中位數、眾數或迴歸模型來填補缺失值。 原理 假設我們有一個特徵 ，其中存在一些缺失值。最簡單的插補方式是用平均值來取代缺失值。假設缺失值為 ，則平均值插補的公式為： （ 用 非 缺 失 数 据 的 均 值 填 补 缺 失 值 ） 可以類似地用中位數或眾數來插補。 核心公式 均值插補： （ 均 值 插 补 公 式 ） 程式碼範例 import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn.impute import SimpleImputer # 创建虚拟数据集 np.random.seed( 0 ) data = { 'A' : [ 1 , 2 ...