1. 项目概述为什么数据特征分析是建模前的“必修课”刚入行做数据分析或者机器学习那会儿我最常犯的错误就是拿到数据后迫不及待地就开始跑模型。调参、换算法折腾半天结果模型效果时好时坏完全摸不着头脑。后来被一位前辈点醒“你连你的‘兵’数据都不了解怎么指望他们打好仗模型预测” 这句话让我醍醐灌顶。他说的“了解”指的就是数据特征分析。这绝不是数据科学流程中一个可选的、锦上添花的步骤而是决定项目成败的基石。数据特征分析简单说就是在构建正式模型之前对数据集中的每一个变量特征进行系统性、多角度的“体检”和“摸底”。它的核心目标不是直接得出预测结论而是回答一系列关键问题这些数据质量如何有没有“脏数据”特征之间有什么关系哪些特征可能对目标变量影响最大数据的分布形态是怎样的只有把这些问题搞清楚了我们才能进行有效的特征工程比如编码、缩放、构造新特征才能为后续的模型选择、参数调优提供坚实的依据避免在错误的方向上浪费大量时间。很多人尤其是新手容易把特征分析和数据可视化、描述性统计混为一谈。可视化是特征分析的重要手段和呈现方式描述性统计是特征分析的基础组成部分但特征分析的内涵要广得多、深得多。它是一个结合了统计方法、领域知识、业务逻辑和可视化技术的综合性探索过程。接下来我就结合自己踩过的坑和总结的经验把这套“内功心法”系统地梳理一遍。2. 核心分析框架从单变量到多变量的系统性视角特征分析不能东一榔头西一棒子需要一个清晰的框架来指导。我通常遵循一个从微观到宏观、从简单到复杂的递进式分析路径确保不遗漏任何关键信息。2.1 第一阶段单变量分析——认识每一个“士兵”这是最基础的一步目标是深入了解每一个特征自身的统计特性和分布情况。好比新兵入伍你得先知道每个人的身高、体重、视力等基本情况。2.1.1 数值型特征分析对于连续或离散的数值特征如年龄、收入、温度我们关注以下几个核心点集中趋势与离散程度这是描述数据分布最基本的两类指标。均值反映平均水平但对极端值异常值非常敏感。比如一个地区的人均收入可能因为几个亿万富翁而被显著拉高。中位数将数据排序后位于中间的值对异常值不敏感能更好地反映“典型”水平。众数出现频率最高的值常用于分类数据但对数值型数据有时意义不大。标准差/方差衡量数据围绕均值的波动大小。方差大意味着数据点更分散模型可能需要更复杂的方式来拟合。极差最大值与最小值的差非常粗略地反映数据范围。四分位距第三四分位数与第一四分位数的差描述了中间50%数据的范围比极差更稳健。实际操作中我习惯用pandas的.describe()方法快速获取这些统计量它能一次性给出计数、均值、标准差、最小值、四分位数和最大值效率极高。分布形态了解数据分布的形状对后续的模型假设如线性回归的正态分布假设和特征变换至关重要。偏度衡量分布不对称性的程度。偏度0为右偏正偏长尾在右偏度0为左偏负偏长尾在左。许多模型假设数据是对称的显著的偏态可能需要对数变换、Box-Cox变换等进行校正。峰度衡量分布曲线尖峭或扁平的程度。与正态分布相比峰度高意味着有更尖锐的峰值和更厚的尾部极端值更多峰度低则意味着分布更平坦。可视化是观察分布形态最直观的方式。直方图配合核密度估计曲线是首选。此外Q-Q图是检验数据是否服从某种理论分布如正态分布的利器如果点大致落在一条直线上则符合该分布。异常值检测异常值可能是数据录入错误、测量误差也可能是真实的极端情况如欺诈交易。无论哪种都需要特别关注因为它们会严重影响许多统计量和模型性能。基于标准差的方法假设数据服从正态分布通常认为距离均值3个标准差以外的点为异常值。但这种方法对非正态数据效果不佳。基于四分位距的方法更稳健。通常将小于Q1 - 1.5 * IQR或大于Q3 1.5 * IQR的值视为异常值。这是我最常用的方法之一。可视化工具箱线图是展示数据分布和识别异常值的绝佳工具它能直观显示中位数、四分位数和潜在的异常点。2.1.2 类别型特征分析对于分类特征如性别、城市、产品类别分析重点不同频数与比例计算每个类别出现的次数和占比。这是最基本的信息可以用value_counts()轻松获得。类别数量与分布均匀性类别数量是否过多高基数特征这会为后续的独热编码带来维度灾难。类别分布是否极度不平衡如99%是A类1%是B类这会导致模型严重偏向多数类需要采用重采样、调整类别权重等策略。可视化柱状图是展示类别频数的标准选择。对于类别较多的特征可以考虑按频数排序后绘制看起来更清晰。注意在单变量分析阶段如果发现某个特征缺失值比例极高比如超过70%就需要慎重考虑是否直接删除该特征因为其提供的信息可能非常有限且噪声很大。2.2 第二阶段多变量关系分析——洞察“士兵”间的配合了解单个特征后下一步是探究特征与特征、特征与目标变量之间的关系。这是特征分析中最能体现业务洞察和技术结合的部分。2.2.1 特征与目标变量的关系这是我们最关心的关系直接指向预测目标。数值目标变量回归问题散点图绘制单个特征与目标变量的散点图可以直观观察是否存在线性、非线性关系或趋势。相关系数计算皮尔逊相关系数量化线性关系的强度和方向-1到1。但要注意它只能度量线性关系对于曲线关系可能为0。同时高相关不等于因果。类别目标变量分类问题分组统计/可视化对于数值特征可以按目标类别分组绘制叠加的核密度估计图或小提琴图观察不同类别下该特征的分布差异。差异越大通常意味着该特征区分能力越强。统计检验可以使用方差分析检验不同类别组的均值是否有显著差异。2.2.2 特征与特征之间的关系特征间的相关性过高多重共线性会影响一些模型如线性回归、逻辑回归的稳定性和可解释性。数值特征间相关矩阵热力图这是最常用的工具。计算所有数值特征两两之间的相关系数并用热力图可视化。颜色越深红或蓝相关性越强。我们需要警惕那些高度相关如绝对值0.8的特征对考虑是否删除其中一个或进行主成分分析等降维处理。类别特征间/类别与数值特征间分组聚合可以计算某个类别特征不同取值下另一个数值特征的均值、中位数等观察其变化。方差分析检验不同类别组间的数值特征均值是否有显著差异。卡方检验用于检验两个类别特征是否独立。2.3 第三阶段高级与自动化分析视角在基础分析之上还有一些更深入或更高效的方法。2.3.1 模型辅助的特征重要性分析在完成基础清洗和简单编码后可以快速训练一个简单的、对特征尺度不敏感的模型如随机森林、梯度提升树来评估特征的初步重要性。这能给我们一个方向性的指导知道应该把特征工程的重点放在哪些特征上。但切记此时的结论是初步的因为特征尚未经过充分工程处理。2.3.2 自动化EDA工具对于常规或快速的数据探查可以使用一些自动化EDA库来提升效率如pandas-profiling(现在叫ydata-profiling) 或Sweetviz。它们能一键生成包含单变量分析、相关性分析、缺失值分析等的详细HTML报告。但我的经验是自动化报告适合做第一次全景扫描而深度的、结合业务逻辑的特征分析必须手动进行。自动化工具无法理解“客户年龄为-1”在业务上意味着什么也无法判断“邮政编码”的前三位可能比完整编码蕴含更多地域信息。3. 核心分析工具与实操要点工欲善其事必先利其器。下面结合Python生态讲讲具体怎么操作并分享一些关键的注意事项。3.1 Python工具栈选择与配置我的标准工具组合是pandasnumpy做数据处理matplotlibseaborn做可视化。seaborn基于matplotlib提供了更高级、更美观的统计图形接口能极大提升作图效率。# 基础导入 import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns # 设置seaborn样式和图形显示 sns.set_style(whitegrid) plt.rcParams[font.sans-serif] [SimHei] # 用来正常显示中文标签 plt.rcParams[axes.unicode_minus] False # 用来正常显示负号 %matplotlib inline # 在Jupyter Notebook中内嵌显示图形3.2 单变量分析实操代码与解读假设我们有一个名为df的DataFrame其中包含数值特征‘age’,‘income’和类别特征‘education’。3.2.1 数值特征快速概览# 描述性统计 print(df[[age, income]].describe()) # 输出会包含 count, mean, std, min, 25%, 50%, 75%, max # 单独查看偏度和峰度 print(年龄偏度:, df[age].skew()) print(年龄峰度:, df[age].kurt()) print(收入偏度:, df[income].skew()) print(收入峰度:, df[income].kurt())3.2.2 分布可视化与异常值检测fig, axes plt.subplots(2, 2, figsize(14, 10)) # 1. 直方图与核密度估计 sns.histplot(df[age], kdeTrue, axaxes[0, 0]) axes[0, 0].set_title(年龄分布直方图) # 2. 箱线图识别异常值 sns.boxplot(xdf[age], axaxes[0, 1]) axes[0, 1].set_title(年龄箱线图) # 3. Q-Q图检验正态性 from scipy import stats stats.probplot(df[age], distnorm, plotaxes[1, 0]) axes[1, 0].set_title(年龄Q-Q图) # 4. 小提琴图结合箱线图和核密度估计 sns.violinplot(xdf[age], axaxes[1, 1]) axes[1, 1].set_title(年龄小提琴图) plt.tight_layout() plt.show()3.2.3 类别特征分析# 频数统计 edu_counts df[education].value_counts() edu_percentage df[education].value_counts(normalizeTrue) print(edu_counts) print(edu_percentage) # 柱状图 plt.figure(figsize(10,6)) # 按频数从高到低排序后绘图 order df[education].value_counts().index sns.countplot(datadf, xeducation, orderorder) plt.xticks(rotation45) # 如果类别名较长旋转标签 plt.title(教育程度分布) plt.show()实操心得画图时一定要给图形加上清晰的标题和坐标轴标签。plt.tight_layout()能自动调整子图参数使图形更紧凑美观。对于偏态严重的数值特征在绘图前可以考虑先做对数变换这样图形会更容易观察。3.3 多变量关系分析实操3.3.1 特征与目标关系以回归问题为例假设目标变量是‘price’。# 散点图观察关系 plt.figure(figsize(8,6)) sns.scatterplot(datadf, xage, yprice, alpha0.6) # alpha设置透明度防止点重叠 plt.title(年龄与价格关系散点图) plt.show() # 计算相关系数 correlation df[[age, income, price]].corr() print(correlation[price].sort_values(ascendingFalse))3.3.2 特征间关系——相关矩阵热力图# 计算所有数值特征的相关矩阵 numeric_cols df.select_dtypes(include[np.number]).columns corr_matrix df[numeric_cols].corr() # 绘制热力图 plt.figure(figsize(12, 8)) # annotTrue 显示数值 fmt.2f 保留两位小数 cmapcoolwarm 使用冷暖色系 center0 以0为中心 sns.heatmap(corr_matrix, annotTrue, fmt.2f, cmapcoolwarm, center0, squareTrue) plt.title(数值特征间相关系数热力图) plt.show()3.3.3 类别与数值特征关系# 绘制不同教育程度下收入的分布箱线图小提琴图 plt.figure(figsize(14,6)) plt.subplot(1,2,1) sns.boxplot(datadf, xeducation, yincome) plt.xticks(rotation45) plt.title(不同教育程度的收入分布箱线图) plt.subplot(1,2,2) sns.violinplot(datadf, xeducation, yincome) plt.xticks(rotation45) plt.title(不同教育程度的收入分布小提琴图) plt.tight_layout() plt.show()4. 从分析到行动特征工程的方向指引特征分析本身不是目的它的价值在于为后续的特征工程和建模提供决策依据。下面这张表总结了常见分析发现及其对应的行动建议分析发现可能的问题建议的行动特征工程方向单变量分析缺失值比例高40%信息量不足引入噪声考虑直接删除该特征缺失值比例中等5%-40%信息部分缺失使用均值/中位数/众数填充、预测模型填充或增加“是否缺失”的指示特征数值特征偏度大不符合模型正态假设影响模型性能进行对数变换、Box-Cox变换、平方根变换等存在异常值且非录入错误对模型如线性模型、基于距离的模型干扰大使用缩尾处理、RobustScaler缩放或考虑使用对异常值不敏感的模型如树模型类别特征类别数过多高基数独热编码后维度爆炸考虑目标编码、频率编码、或合并低频类别为“其他”类别分布极度不平衡模型会偏向多数类在特征层面可尝试过采样/欠采样或在模型层面调整类别权重多变量分析特征与目标变量相关性极低特征可能无关紧要初步筛选时可考虑剔除但需结合业务判断有时非线性关系需构造新特征两个数值特征高度相关0.8多重共线性影响模型稳定性和解释性删除其中一个或使用PCA等降维方法生成不相关的新特征特征与目标存在非线性关系线性模型无法捕捉尝试多项式特征、分段离散化、或使用树模型等能处理非线性的算法5. 常见问题与排查技巧实录在实际操作中总会遇到一些坑。这里记录几个典型问题和我的解决思路。5.1 问题相关矩阵热力图中很多特征显示为NaN空值无法计算相关系数。排查思路检查数据类型pandas的.corr()方法默认只计算数值列之间的相关系数。使用df.dtypes检查很可能有些本质是数值的列如‘年龄’被误识别为object类型可能是因为其中混入了非数字字符如“28岁”。检查缺失值pandas的.corr()默认会排除含有缺失值的行。如果某两列同时有缺失值的行很少可能导致计算时有效样本不足。解决方案对于类型问题使用pd.to_numeric(errors‘coerce’)进行强制转换非数字会变成NaN然后再处理这些NaN。对于缺失值可以先使用.fillna()用适当的方法填充或者使用.corr(min_periods1)参数降低计算要求但需理解其统计意义可能受影响。更稳妥的做法是df.select_dtypes(include[np.number]).corr()只选择纯数值列进行计算。5.2 问题箱线图显示有很多“异常值”但业务上这些值似乎是合理的比如超高收入者。排查思路这是统计定义与业务认知的冲突。箱线图的异常点判定Q1-1.5IQR, Q31.5IQR是一个纯粹的统计经验法则并未考虑业务背景。解决方案不要盲目删除首先确认这些点是否为数据录入错误。如果不是它们很可能是重要的“边缘案例”包含了关键信息。分箱处理对于像收入这样的特征可以考虑使用分箱离散化将连续值转换为高、中、低等有序类别这样既能保留信息又能减少极端值的影响。使用稳健的缩放方法在特征缩放时使用RobustScaler基于中位数和四分位数而不是StandardScaler基于均值方差后者受异常值影响大。模型选择如果此类特征很重要可以考虑使用对异常值不敏感的模型如决策树、随机森林。5.3 问题特征重要性分析中某个业务上认为很重要的特征排名却很靠后。排查思路特征尺度问题树模型虽然对尺度不敏感但如果特征未经处理其重要性计算可能仍有细微影响。确保进行了适当的缩放或分箱。信息泄露/冗余该特征的信息可能已经被其他一个或多个特征组合所包含多重共线性。模型发现用其他特征已经可以很好地预测因此降低了该特征的重要性。非线性关系未被捕捉树模型默认的“重要性”通常是基于不纯度减少如基尼指数计算的对于复杂的非线性或交互关系单棵浅树可能无法有效评估。与目标变量关系弱可能业务直觉有偏差该特征与目标变量的直接关联性确实不强。解决方案检查该特征与其他特征的相关性。尝试单独绘制该特征与目标变量的关系图散点图、分组箱线图直观感受其影响力。不要完全依赖单一模型的单一重要性指标。可以结合多种方法如Permutation Importance、SHAP值进行综合判断。最终业务理解应作为重要参考。如果业务强烈坚持可以保留该特征在后续的模型迭代中观察其去留对验证集性能的影响。5.4 问题自动化EDA报告看起来信息很多但不知道从哪里入手分析。解决方案建立自己的分析优先级清单。我个人的习惯是看概览先看数据形状、缺失值概况、数据类型。对数据整体有个把握。抓主要矛盾重点关注缺失率最高的几个特征、与目标变量相关性最高的几个特征、以及数据分布最异常偏态、峰度过高的特征。深入细节针对上述“问题特征”回到原始数据结合业务逻辑进行手动深入分析。自动化报告是“扫描仪”而你是需要做出诊断和决策的“医生”。数据特征分析是一个需要耐心和细心同时紧密结合业务思考的过程。它没有太多炫酷的算法但却是整个数据科学项目中耗时最长、也最体现分析师功底的环节之一。花在特征分析上的每一分钟都会在后续的建模和调优阶段加倍地回报你。刚开始可能会觉得繁琐但当你养成了系统分析的习惯你会发现你对数据的“手感”会越来越好做出的判断也会越来越准确。 数据特征分析：建模前的系统性数据体检与特征工程指南
1. 项目概述为什么数据特征分析是建模前的“必修课”刚入行做数据分析或者机器学习那会儿我最常犯的错误就是拿到数据后迫不及待地就开始跑模型。调参、换算法折腾半天结果模型效果时好时坏完全摸不着头脑。后来被一位前辈点醒“你连你的‘兵’数据都不了解怎么指望他们打好仗模型预测” 这句话让我醍醐灌顶。他说的“了解”指的就是数据特征分析。这绝不是数据科学流程中一个可选的、锦上添花的步骤而是决定项目成败的基石。数据特征分析简单说就是在构建正式模型之前对数据集中的每一个变量特征进行系统性、多角度的“体检”和“摸底”。它的核心目标不是直接得出预测结论而是回答一系列关键问题这些数据质量如何有没有“脏数据”特征之间有什么关系哪些特征可能对目标变量影响最大数据的分布形态是怎样的只有把这些问题搞清楚了我们才能进行有效的特征工程比如编码、缩放、构造新特征才能为后续的模型选择、参数调优提供坚实的依据避免在错误的方向上浪费大量时间。很多人尤其是新手容易把特征分析和数据可视化、描述性统计混为一谈。可视化是特征分析的重要手段和呈现方式描述性统计是特征分析的基础组成部分但特征分析的内涵要广得多、深得多。它是一个结合了统计方法、领域知识、业务逻辑和可视化技术的综合性探索过程。接下来我就结合自己踩过的坑和总结的经验把这套“内功心法”系统地梳理一遍。2. 核心分析框架从单变量到多变量的系统性视角特征分析不能东一榔头西一棒子需要一个清晰的框架来指导。我通常遵循一个从微观到宏观、从简单到复杂的递进式分析路径确保不遗漏任何关键信息。2.1 第一阶段单变量分析——认识每一个“士兵”这是最基础的一步目标是深入了解每一个特征自身的统计特性和分布情况。好比新兵入伍你得先知道每个人的身高、体重、视力等基本情况。2.1.1 数值型特征分析对于连续或离散的数值特征如年龄、收入、温度我们关注以下几个核心点集中趋势与离散程度这是描述数据分布最基本的两类指标。均值反映平均水平但对极端值异常值非常敏感。比如一个地区的人均收入可能因为几个亿万富翁而被显著拉高。中位数将数据排序后位于中间的值对异常值不敏感能更好地反映“典型”水平。众数出现频率最高的值常用于分类数据但对数值型数据有时意义不大。标准差/方差衡量数据围绕均值的波动大小。方差大意味着数据点更分散模型可能需要更复杂的方式来拟合。极差最大值与最小值的差非常粗略地反映数据范围。四分位距第三四分位数与第一四分位数的差描述了中间50%数据的范围比极差更稳健。实际操作中我习惯用pandas的.describe()方法快速获取这些统计量它能一次性给出计数、均值、标准差、最小值、四分位数和最大值效率极高。分布形态了解数据分布的形状对后续的模型假设如线性回归的正态分布假设和特征变换至关重要。偏度衡量分布不对称性的程度。偏度0为右偏正偏长尾在右偏度0为左偏负偏长尾在左。许多模型假设数据是对称的显著的偏态可能需要对数变换、Box-Cox变换等进行校正。峰度衡量分布曲线尖峭或扁平的程度。与正态分布相比峰度高意味着有更尖锐的峰值和更厚的尾部极端值更多峰度低则意味着分布更平坦。可视化是观察分布形态最直观的方式。直方图配合核密度估计曲线是首选。此外Q-Q图是检验数据是否服从某种理论分布如正态分布的利器如果点大致落在一条直线上则符合该分布。异常值检测异常值可能是数据录入错误、测量误差也可能是真实的极端情况如欺诈交易。无论哪种都需要特别关注因为它们会严重影响许多统计量和模型性能。基于标准差的方法假设数据服从正态分布通常认为距离均值3个标准差以外的点为异常值。但这种方法对非正态数据效果不佳。基于四分位距的方法更稳健。通常将小于Q1 - 1.5 * IQR或大于Q3 1.5 * IQR的值视为异常值。这是我最常用的方法之一。可视化工具箱线图是展示数据分布和识别异常值的绝佳工具它能直观显示中位数、四分位数和潜在的异常点。2.1.2 类别型特征分析对于分类特征如性别、城市、产品类别分析重点不同频数与比例计算每个类别出现的次数和占比。这是最基本的信息可以用value_counts()轻松获得。类别数量与分布均匀性类别数量是否过多高基数特征这会为后续的独热编码带来维度灾难。类别分布是否极度不平衡如99%是A类1%是B类这会导致模型严重偏向多数类需要采用重采样、调整类别权重等策略。可视化柱状图是展示类别频数的标准选择。对于类别较多的特征可以考虑按频数排序后绘制看起来更清晰。注意在单变量分析阶段如果发现某个特征缺失值比例极高比如超过70%就需要慎重考虑是否直接删除该特征因为其提供的信息可能非常有限且噪声很大。2.2 第二阶段多变量关系分析——洞察“士兵”间的配合了解单个特征后下一步是探究特征与特征、特征与目标变量之间的关系。这是特征分析中最能体现业务洞察和技术结合的部分。2.2.1 特征与目标变量的关系这是我们最关心的关系直接指向预测目标。数值目标变量回归问题散点图绘制单个特征与目标变量的散点图可以直观观察是否存在线性、非线性关系或趋势。相关系数计算皮尔逊相关系数量化线性关系的强度和方向-1到1。但要注意它只能度量线性关系对于曲线关系可能为0。同时高相关不等于因果。类别目标变量分类问题分组统计/可视化对于数值特征可以按目标类别分组绘制叠加的核密度估计图或小提琴图观察不同类别下该特征的分布差异。差异越大通常意味着该特征区分能力越强。统计检验可以使用方差分析检验不同类别组的均值是否有显著差异。2.2.2 特征与特征之间的关系特征间的相关性过高多重共线性会影响一些模型如线性回归、逻辑回归的稳定性和可解释性。数值特征间相关矩阵热力图这是最常用的工具。计算所有数值特征两两之间的相关系数并用热力图可视化。颜色越深红或蓝相关性越强。我们需要警惕那些高度相关如绝对值0.8的特征对考虑是否删除其中一个或进行主成分分析等降维处理。类别特征间/类别与数值特征间分组聚合可以计算某个类别特征不同取值下另一个数值特征的均值、中位数等观察其变化。方差分析检验不同类别组间的数值特征均值是否有显著差异。卡方检验用于检验两个类别特征是否独立。2.3 第三阶段高级与自动化分析视角在基础分析之上还有一些更深入或更高效的方法。2.3.1 模型辅助的特征重要性分析在完成基础清洗和简单编码后可以快速训练一个简单的、对特征尺度不敏感的模型如随机森林、梯度提升树来评估特征的初步重要性。这能给我们一个方向性的指导知道应该把特征工程的重点放在哪些特征上。但切记此时的结论是初步的因为特征尚未经过充分工程处理。2.3.2 自动化EDA工具对于常规或快速的数据探查可以使用一些自动化EDA库来提升效率如pandas-profiling(现在叫ydata-profiling) 或Sweetviz。它们能一键生成包含单变量分析、相关性分析、缺失值分析等的详细HTML报告。但我的经验是自动化报告适合做第一次全景扫描而深度的、结合业务逻辑的特征分析必须手动进行。自动化工具无法理解“客户年龄为-1”在业务上意味着什么也无法判断“邮政编码”的前三位可能比完整编码蕴含更多地域信息。3. 核心分析工具与实操要点工欲善其事必先利其器。下面结合Python生态讲讲具体怎么操作并分享一些关键的注意事项。3.1 Python工具栈选择与配置我的标准工具组合是pandasnumpy做数据处理matplotlibseaborn做可视化。seaborn基于matplotlib提供了更高级、更美观的统计图形接口能极大提升作图效率。# 基础导入 import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns # 设置seaborn样式和图形显示 sns.set_style(whitegrid) plt.rcParams[font.sans-serif] [SimHei] # 用来正常显示中文标签 plt.rcParams[axes.unicode_minus] False # 用来正常显示负号 %matplotlib inline # 在Jupyter Notebook中内嵌显示图形3.2 单变量分析实操代码与解读假设我们有一个名为df的DataFrame其中包含数值特征‘age’,‘income’和类别特征‘education’。3.2.1 数值特征快速概览# 描述性统计 print(df[[age, income]].describe()) # 输出会包含 count, mean, std, min, 25%, 50%, 75%, max # 单独查看偏度和峰度 print(年龄偏度:, df[age].skew()) print(年龄峰度:, df[age].kurt()) print(收入偏度:, df[income].skew()) print(收入峰度:, df[income].kurt())3.2.2 分布可视化与异常值检测fig, axes plt.subplots(2, 2, figsize(14, 10)) # 1. 直方图与核密度估计 sns.histplot(df[age], kdeTrue, axaxes[0, 0]) axes[0, 0].set_title(年龄分布直方图) # 2. 箱线图识别异常值 sns.boxplot(xdf[age], axaxes[0, 1]) axes[0, 1].set_title(年龄箱线图) # 3. Q-Q图检验正态性 from scipy import stats stats.probplot(df[age], distnorm, plotaxes[1, 0]) axes[1, 0].set_title(年龄Q-Q图) # 4. 小提琴图结合箱线图和核密度估计 sns.violinplot(xdf[age], axaxes[1, 1]) axes[1, 1].set_title(年龄小提琴图) plt.tight_layout() plt.show()3.2.3 类别特征分析# 频数统计 edu_counts df[education].value_counts() edu_percentage df[education].value_counts(normalizeTrue) print(edu_counts) print(edu_percentage) # 柱状图 plt.figure(figsize(10,6)) # 按频数从高到低排序后绘图 order df[education].value_counts().index sns.countplot(datadf, xeducation, orderorder) plt.xticks(rotation45) # 如果类别名较长旋转标签 plt.title(教育程度分布) plt.show()实操心得画图时一定要给图形加上清晰的标题和坐标轴标签。plt.tight_layout()能自动调整子图参数使图形更紧凑美观。对于偏态严重的数值特征在绘图前可以考虑先做对数变换这样图形会更容易观察。3.3 多变量关系分析实操3.3.1 特征与目标关系以回归问题为例假设目标变量是‘price’。# 散点图观察关系 plt.figure(figsize(8,6)) sns.scatterplot(datadf, xage, yprice, alpha0.6) # alpha设置透明度防止点重叠 plt.title(年龄与价格关系散点图) plt.show() # 计算相关系数 correlation df[[age, income, price]].corr() print(correlation[price].sort_values(ascendingFalse))3.3.2 特征间关系——相关矩阵热力图# 计算所有数值特征的相关矩阵 numeric_cols df.select_dtypes(include[np.number]).columns corr_matrix df[numeric_cols].corr() # 绘制热力图 plt.figure(figsize(12, 8)) # annotTrue 显示数值 fmt.2f 保留两位小数 cmapcoolwarm 使用冷暖色系 center0 以0为中心 sns.heatmap(corr_matrix, annotTrue, fmt.2f, cmapcoolwarm, center0, squareTrue) plt.title(数值特征间相关系数热力图) plt.show()3.3.3 类别与数值特征关系# 绘制不同教育程度下收入的分布箱线图小提琴图 plt.figure(figsize(14,6)) plt.subplot(1,2,1) sns.boxplot(datadf, xeducation, yincome) plt.xticks(rotation45) plt.title(不同教育程度的收入分布箱线图) plt.subplot(1,2,2) sns.violinplot(datadf, xeducation, yincome) plt.xticks(rotation45) plt.title(不同教育程度的收入分布小提琴图) plt.tight_layout() plt.show()4. 从分析到行动特征工程的方向指引特征分析本身不是目的它的价值在于为后续的特征工程和建模提供决策依据。下面这张表总结了常见分析发现及其对应的行动建议分析发现可能的问题建议的行动特征工程方向单变量分析缺失值比例高40%信息量不足引入噪声考虑直接删除该特征缺失值比例中等5%-40%信息部分缺失使用均值/中位数/众数填充、预测模型填充或增加“是否缺失”的指示特征数值特征偏度大不符合模型正态假设影响模型性能进行对数变换、Box-Cox变换、平方根变换等存在异常值且非录入错误对模型如线性模型、基于距离的模型干扰大使用缩尾处理、RobustScaler缩放或考虑使用对异常值不敏感的模型如树模型类别特征类别数过多高基数独热编码后维度爆炸考虑目标编码、频率编码、或合并低频类别为“其他”类别分布极度不平衡模型会偏向多数类在特征层面可尝试过采样/欠采样或在模型层面调整类别权重多变量分析特征与目标变量相关性极低特征可能无关紧要初步筛选时可考虑剔除但需结合业务判断有时非线性关系需构造新特征两个数值特征高度相关0.8多重共线性影响模型稳定性和解释性删除其中一个或使用PCA等降维方法生成不相关的新特征特征与目标存在非线性关系线性模型无法捕捉尝试多项式特征、分段离散化、或使用树模型等能处理非线性的算法5. 常见问题与排查技巧实录在实际操作中总会遇到一些坑。这里记录几个典型问题和我的解决思路。5.1 问题相关矩阵热力图中很多特征显示为NaN空值无法计算相关系数。排查思路检查数据类型pandas的.corr()方法默认只计算数值列之间的相关系数。使用df.dtypes检查很可能有些本质是数值的列如‘年龄’被误识别为object类型可能是因为其中混入了非数字字符如“28岁”。检查缺失值pandas的.corr()默认会排除含有缺失值的行。如果某两列同时有缺失值的行很少可能导致计算时有效样本不足。解决方案对于类型问题使用pd.to_numeric(errors‘coerce’)进行强制转换非数字会变成NaN然后再处理这些NaN。对于缺失值可以先使用.fillna()用适当的方法填充或者使用.corr(min_periods1)参数降低计算要求但需理解其统计意义可能受影响。更稳妥的做法是df.select_dtypes(include[np.number]).corr()只选择纯数值列进行计算。5.2 问题箱线图显示有很多“异常值”但业务上这些值似乎是合理的比如超高收入者。排查思路这是统计定义与业务认知的冲突。箱线图的异常点判定Q1-1.5IQR, Q31.5IQR是一个纯粹的统计经验法则并未考虑业务背景。解决方案不要盲目删除首先确认这些点是否为数据录入错误。如果不是它们很可能是重要的“边缘案例”包含了关键信息。分箱处理对于像收入这样的特征可以考虑使用分箱离散化将连续值转换为高、中、低等有序类别这样既能保留信息又能减少极端值的影响。使用稳健的缩放方法在特征缩放时使用RobustScaler基于中位数和四分位数而不是StandardScaler基于均值方差后者受异常值影响大。模型选择如果此类特征很重要可以考虑使用对异常值不敏感的模型如决策树、随机森林。5.3 问题特征重要性分析中某个业务上认为很重要的特征排名却很靠后。排查思路特征尺度问题树模型虽然对尺度不敏感但如果特征未经处理其重要性计算可能仍有细微影响。确保进行了适当的缩放或分箱。信息泄露/冗余该特征的信息可能已经被其他一个或多个特征组合所包含多重共线性。模型发现用其他特征已经可以很好地预测因此降低了该特征的重要性。非线性关系未被捕捉树模型默认的“重要性”通常是基于不纯度减少如基尼指数计算的对于复杂的非线性或交互关系单棵浅树可能无法有效评估。与目标变量关系弱可能业务直觉有偏差该特征与目标变量的直接关联性确实不强。解决方案检查该特征与其他特征的相关性。尝试单独绘制该特征与目标变量的关系图散点图、分组箱线图直观感受其影响力。不要完全依赖单一模型的单一重要性指标。可以结合多种方法如Permutation Importance、SHAP值进行综合判断。最终业务理解应作为重要参考。如果业务强烈坚持可以保留该特征在后续的模型迭代中观察其去留对验证集性能的影响。5.4 问题自动化EDA报告看起来信息很多但不知道从哪里入手分析。解决方案建立自己的分析优先级清单。我个人的习惯是看概览先看数据形状、缺失值概况、数据类型。对数据整体有个把握。抓主要矛盾重点关注缺失率最高的几个特征、与目标变量相关性最高的几个特征、以及数据分布最异常偏态、峰度过高的特征。深入细节针对上述“问题特征”回到原始数据结合业务逻辑进行手动深入分析。自动化报告是“扫描仪”而你是需要做出诊断和决策的“医生”。数据特征分析是一个需要耐心和细心同时紧密结合业务思考的过程。它没有太多炫酷的算法但却是整个数据科学项目中耗时最长、也最体现分析师功底的环节之一。花在特征分析上的每一分钟都会在后续的建模和调优阶段加倍地回报你。刚开始可能会觉得繁琐但当你养成了系统分析的习惯你会发现你对数据的“手感”会越来越好做出的判断也会越来越准确。