如果你在一个风控或招聘算法项目里做过公平性改造大概率见过这个场景合规团队看了一眼模型说“性别特征删掉吧”。你删了重新训练AUC 几乎不变然后你把结果发回去。对方看完却回复“预测分数在男女群体上的分布差异还是很大你确认公平了”更麻烦的是当你顺着结果去排查会发现一个此前被忽略的问题——你根本说不清这些差异到底来自哪条因果路径。教育背景是性别和结果之间的中介变量还是压跟无关的并行因素模型是用教育背景“间接复现”了性别信息还是面试流程本身存在偏好两种解释对应完全不同的公平性结论而数据本身往往无法替你回答。这正是“Causal Perception因果感知 竞争性 SCM 情境化公平Situated Fairness”要解决的问题。我的核心判断是公平性不能只在预测层打补丁必须上升到因果层建模而因果层本身就存在多个模型“竞争”的不确定性最终只能靠情境化公平来完成裁决。读完这篇文章你会理解为什么公平性必须建立在因果结构上而不是相关性上同一份数据为什么会同时支持多个互相矛盾的因果模型以及如何把“情境化公平”这种听起来很理论的概念落地成可操作、可评审、可监控的工程流程。1. 这篇文章真正要解决的问题1.1 三个常见误区第一个误区删掉敏感特征就等于消除歧视。只要数据里存在与敏感属性强相关的代理变量模型就会用代理变量“暗度陈仓”。这是公平性项目里最常被纠正的认知。第二个误区想办法让两个群体的预测均值相等就完成了公平。现实中公平性远比“统计均等”复杂。医疗分诊里承认群体风险差异是合理的招聘初筛里让群体间结果完全均等却可能损害效率。同一个指标换个场景意义完全不同。第三个误区一张因果图就是真相。很多团队做完因果图就直接对着图算效应、写审计报告。但观测数据对因果图的辨识能力是有限的多张结构不同的图可能对数据拟合得同样好。这样的图如果恰好画错了后面的公平性结论全部站不住。1.2 读者画像与阅读收益这篇文章适合以下读者算法工程师正在处理模型公平性、偏差审计想知道怎么区分“直接歧视路径”和“间接影响路径”。AI 产品经理与合规成员需要一种比“删特征”更严谨的公平性评估框架。风控、招聘、医疗 AI 等领域的从业者业务决策会对不同群体产生不同影响需要结构性分析手段。研究公平性与因果推断的学生想理解 SCM 理论在真实工程中的定位与局限。读完本文你的收获不是“多学一个库”而是掌握一套从数据到模型选择、再到公平性裁决的完整方法论。2. 三个关键词因果感知、SCM 与情境化公平2.1 因果感知不是“更聪明的预测”因果感知的源头在认知科学。心理学家发现人类观察两个台球碰撞时并不是先感知“球 A 在动、球 B 随后动”再推断“A 导致 B”而是在知觉层面直接就“看到”了因果关系。这种自动、快速、几乎不可抑制的因果体验就是因果感知。在 AI 工程里借用这个词我的理解是我们希望机器学习系统不只学习特征之间的相关性而是在表示层面显式编码因果结构。通俗地说模型回答的不只是“看到 X 升高Y 会怎样”的关联问题而是“如果我们主动干预 XY 会变成什么”的干预问题。因果感知不是某个开源工具的名字而是一种建模视角。落到工程上它的最小实现单位就是结构因果模型SCM。2.2 SCM公平性审计的数学骨架结构因果模型Structural Causal ModelSCM由 Judea Pearl 系统提出。一个 SCM 包含三部分一组外生变量未解释的噪声项和内生变量模型中要被解释的变量一组结构方程描述每个内生变量如何由其父节点和外生变量决定外生变量的联合概率分布。SCM 通常用有向无环图DAG可视化箭头指向表示“因果方向”。它在公平性中的价值是把“歧视”这种模糊的社会概念翻译成精确的因果量。比如“性别导致结果差异”可以进一步拆分总效应Total Effect敏感属性对结果的整体影响直接效应Direct Effect不经过任何中介变量敏感属性对结果的直接影响间接效应Indirect Effect通过中介变量传导的影响。直接效应更接近“面试官偏好”这类歧视证据间接效应则对应“教育背景差异导致结果差异”这类背景性影响。SCM 给了我们一个把这两种效应干净拆开的数学框架。2.3 情境化公平从公式回到场景传统公平性研究喜欢定义普适公式比如 demographic parity 要求两个群体获得正向结果的概率相同equalized odds 要求模型误差在不同群体间一致。这些指标计算简单但现实效果常常不尽人意。情境化公平的核心观点是公平不是脱离场景的抽象量而是在具体决策情境、具体利益相关者和具体社会后果中被临时定义出来的。同一个差异在贷款场景可能是红线在医疗分诊场景可能反而是合理的风险分层。工程后果是公平性审计不该以“跑出一张指标表”结束而要在模型开发之前就定义清楚——谁来决策、影响谁、哪些因果路径是被允许的、哪些是不被允许的。这些约束最终会反过来参与因果模型的选择。为了便于理解把三个概念先放在一张表里概念回答的问题在本文中的角色因果感知系统如何理解因果关系目标层让公平性判断基于因果结构SCM用什么形式化表示因果结构建模层搭建竞争性候选模型情境化公平多模型冲突时听谁的决策层用场景与利益相关者约束裁决3. 为什么公平性必须走到因果层一个招聘筛选案例3.1 传统做法为什么失效假设一个招聘初筛场景我们有三个关键变量G敏感属性代表性别等受保护属性E教育背景例如受教育年限Y是否通过面试。传统公平性改造通常是三步删掉 G重新训练模型比较模型预测结果在两个群体上的分布差异。如果差异变小就宣布“公平”如果差异没变小就继续调阈值。问题出在第二步和第三步之间。如果 G 和 E 强相关删掉 G 之后模型照样能从 E 中学到足够多的“群体信息”。你看到的分布差异既可能来自面试官对特定群体的直接偏好G 直接影响 Y也可能来自两个群体在教育背景上的结构性差异G 通过 E 影响 Y。在预测层做任何操作都无法区分这两条路径。而这恰恰是公平性判断最需要的信息。3.2 从预测层上升到因果层用因果语言重新描述上面场景。候选因果图有两种常见版本路径一G → E → Y性别只通过教育背景影响结果路径二G → E → Y 且 G → Y性别在影响教育背景的同时还直接作用于面试结果。在路径一只剩教育路径的情况下如果教育机会本身是公平的那么结果差异更多来自背景差异招聘流程本身未必需要整改。在路径二存在的情况下直接效应就是“歧视路径”的量化证据需要在流程层面干预。这就是从“预测层公平”到“因果层公平”的关键跃迁先问清楚差异来自哪条路径再决定要不要改。没有因果模型你连“差异是什么”都说不清。4. 竞争性 SCM同一份数据多个因果解释4.1 什么是竞争性 SCM竞争性 SCM指变量集合相同但因果边集合不同的多个结构因果模型都能对同一份观测数据给出合理的拟合。它们对“敏感属性如何影响结果”的解释互相冲突但都是数据上的“合法候选”。这不是理论上的边缘情况。在观测数据中X→Y 和 X←Y 这两种方向在特定条件下会产生等价的分布特征没有额外实验或领域知识就无法区分。更不用说真实业务里还存在未观测混杂因素、测量误差和样本选择偏差。换句话说因果模型不是“画完就结束”而是“画完才开始”。工程上要做的是同时保留多个候选模型而不是只相信一个。4.2 竞争模型导致公平性结论冲突回到招聘案例。SCM-A 认为 G 不直接影响 YSCM-B 认为 G 直接指向 Y。假设数据来自 SCM-B 的真实世界但你只按 SCM-A 建模直接效应会被漏掉你会得出“流程不存在直接歧视”的错误结论。反过来如果数据实际来自 SCM-A你却强行按 SCM-B 估计就会把原本由中介路径解释的差异误判为歧视证据导致业务方被迫修改本来没有问题的流程。公平性问题在这里有了新的复杂性不仅需要估计效应还需要报告“模型之间的不确定性”。4.3 直接效应、间接效应与总效应为了评估竞争 SCM需要先统一度量。以招聘案例为例把 G 对 Y 的总效应写成 TETE 总效应即 G 变化单位时 Y 的平均变化DE 直接效应即控制 E 之后G 对 Y 的剩余影响IE 间接效应即通过 E 传导的那部分影响TE DE IE在线性模型中成立。工程上直接效应近似等于“把 E 加入回归后 G 的系数”间接效应等于“总效应减直接效应”。注意这是线性近似严谨的因果推断需要借助匹配、工具变量或 do-演算但分解思路是一样的。有了效应分解竞争 SCM 之间的差异就变成可比较的数字如果 DE 不显著SCM-A 更可信如果 DE 显著SCM-B 更可信。下一步再由情境化公平来判断哪些路径允许存在。5. 环境准备与核心流程拆解5.1 环境与依赖本文代码以 Python 演示环境建议 Python 3.8 以上暂无特殊版本要求。核心依赖如下pip install pandas numpy networkx matplotlib statsmodels如果希望做更严格的因果识别可以额外安装pip install dowhyDoWhy 在本文不是必需项核心逻辑用 statsmodels 的线性模型即可说清楚。公司内网无法安装第三方库时pandas 与 numpy 已经能完成大部分效应分解计算。5.2 六步核心流程从一份观测数据到情境化公平判断我建议按下面六步推进第一步定义决策场景与利益相关者。明确谁在什么场景下做决策决策影响谁。这一步输出的是“公平性评审会议”的参会名单。第二步梳理变量与因果假设。列出所有相关变量画第一版 DAG。明确哪些是敏感属性、哪些是中介变量、哪些是混杂因子。第三步构建候选 SCM 集合。至少构建“无直接效应”和“有直接效应”两版模型不要只画一张图。第四步估计因果效应。对每个候选 SCM估计总效应、直接效应和间接效应。第五步计算公平性指标。将效应分解映射到公平性指标例如群体通过率差异、直接效应显著性。第六步情境化裁决与持续监控。让领域专家和利益相关者参与选择允许路径并把结论记录到模型卡。5.3 流程中的常见错误常见错误之一是在第二步就把中介变量当混杂因子控制。比如为了估计 G 对 Y 的直接效应把 E 强行当作混杂因子放入回归这是对的但如果目标是估计总效应就不能控制 E否则会阻塞 G 到 Y 的间接路径。另一个错误是第三步只画一张“看起来合理”的图然后按一个模型出结论。竞争性 SCM 的要点就是承认存在多个合理模型并显式比较它们。6. 完整示例与代码实现6.1 生成演示数据我们用模拟数据解释实现思路。真实业务里的数据往往更复杂但代码逻辑是通用的。import numpy as np import pandas as pd np.random.seed(42) n 2000 # 敏感属性0 与 1 代表两个受保护群体 G np.random.binomial(1, 0.5, n) # 教育背景与 G 存在相关 E 12.0 1.2 * G np.random.normal(0, 1.5, n) # 面试分数E 影响较大G 存在一点直接效应 Y_score 0.15 * G 0.45 * (E - 12.0) np.random.normal(0, 1.0, n) Y (Y_score np.median(Y_score)).astype(int) df pd.DataFrame({G: G.astype(int), E: np.round(E, 2), Y: Y}) df.head()这段代码生成 2000 条模拟记录。真实世界中 G 对 Y 存在 0.15 的直接效应但模型和数据不会直接告诉你这一点需要靠候选 SCM 比较来发现。6.2 可视化两个竞争 SCM用 NetworkX 把两个候选模型画出来。import networkx as nx import matplotlib.pyplot as plt def draw_scm(edges, title, filename): g nx.DiGraph() g.add_edges_from(edges) pos {G: (0, 1), E: (1, 1), Y: (0.5, 0)} nx.draw(g, pos, with_labelsTrue, node_color#d0e6ff, node_size1800, font_size14, arrowsize20) plt.title(title) plt.savefig(filename) plt.show() draw_scm([(G, E), (E, Y)], SCM-AG 不直接影响 Y, scm_a.png) draw_scm([(G, E), (G, Y), (E, Y)], SCM-BG 直接影响 Y, scm_b.png)SCM-A 是“无直接歧视”假设SCM-B 是“存在直接歧视路径”假设。接下来用数据判断哪个更可信。6.3 效应分解用线性概率模型近似分解直接效应、间接效应和总效应。这里 Y 是二值变量严格来说应使用 logit 模型或专门的因果推断方法但线性近似足以演示分解逻辑。import statsmodels.api as sm def total_effect(df): X sm.add_constant(df[[G]]) model sm.OLS(df[Y], X).fit() return model.params[G] def direct_effect(df): X sm.add_constant(df[[G, E]]) model sm.OLS(df[Y], X).fit() return model.params[G] te total_effect(df) de direct_effect(df) ie te - de print(f总效应TE: {te:.4f}) print(f直接效应DE: {de:.4f}) print(f间接效应IE通过 E 中介: {ie:.4f})如果数据生成过程与真实世界一致我们会看到直接效应为正。这意味着 SCM-B 中“G 直接指向 Y”的路径有数据支持不能在审计时忽略。6.4 公平性指标与情境化裁决先计算最基本的群体通过率差异def demographic_parity(df, pred_colY, group_colG): rates df.groupby(group_col)[pred_col].mean() return abs(rates[1] - rates[0]) dp demographic_parity(df) print(f群体通过率差异Demographic Parity Gap: {dp:.4f})再模拟“只保留 E 到 Y 路径”时如果不存在直接效应通过率差异会下降多少df_no_direct df.copy() X sm.add_constant(df[[E]]) model sm.OLS(df[Y], X).fit() df_no_direct[Y_pred] (model.predict(X) np.mean(model.predict(X))).astype(int) dp_no_direct demographic_parity(df_no_direct, pred_colY_pred) print(f仅教育中介路径下的通过率差异: {dp_no_direct:.4f})最后用一个函数演示情境化裁决的输出结构def situational_fairness_decision(te, de, contextNone): if context is None: context { legal_direct_discrimination: True, allow_indirect_path: True, concern_group: G } print( 情境化公平评估 ) print(f总效应TE: {te:.4f}) print(f直接效应DE: {de:.4f}) print(f间接效应IE: {te - de:.4f}) direct_discrimination_detected abs(de) 0.01 if context[legal_direct_discrimination] and direct_discrimination_detected: print(结论检测到直接效应按当前情境应视为需要整改的歧视路径。) elif context[allow_indirect_path]: print(结论未发现显著直接效应结果差异可由中介路径解释情境允许。) else: print(结论即使差异来自中介路径在当前情境下也不被允许需要进一步处理。)调用situational_fairness_decision(tete, dede, context{ legal_direct_discrimination: True, allow_indirect_path: True, concern_group: G })这里 0.01 只是一个演示阈值。真实项目中阈值应由领域专家结合业务影响、法规要求和群体后果共同确定而不是拍脑袋写死。7. 运行结果与效果验证7.1 预期输出基于上面设定的模拟参数合理预期输出为总效应TE约 0.12 到 0.20直接效应DE0.05 左右显著不等于 0间接效应IE约 0.05 到 0.10群体通过率差异约 0.10 到 0.15仅教育中介路径下的通过率差异低于原始差异但仍可能不为 0。具体数值以实际运行为准。关键是判断趋势DE 显著不等于 0说明“G 直接指向 Y”这条路径不能忽略SCM-B 比 SCM-A 更能解释数据。7.2 Bootstrap 置信区间单次效应估计不够可靠建议做 Bootstrap 置信区间判断 DE 是否稳定地不等于 0rng np.random.default_rng(7) boot_de [] for _ in range(500): idx rng.integers(0, len(df), sizelen(df)) d df.iloc[idx] X sm.add_constant(d[[G, E]]) m sm.OLS(d[Y], X).fit() boot_de.append(m.params[G]) lower, upper np.percentile(boot_de, [2.5, 97.5]) print(f直接效应 Bootstrap 95% CI: ({lower:.4f}, {upper:.4f}))如果 CI 不包含 0可以更放心地认为存在直接效应。7.3 敏感性分析思路Bootstrap 只能处理抽样不确定性处理不了“模型本身画错了”这种结构性不确定性。敏感性分析的思路是假设存在一个未观测混杂变量 U考察 U 对 G 和 Y 的影响强度在什么范围内会翻转 DE 的结论。工程上可以做一个参数扫描逐步增大 U 对 G 和 Y 的效应系数观察 DE 的变化轨迹。如果 DE 在小扰动下就变号说明结论脆弱不应直接写进审计报告。DoWhy 等库也提供敏感性分析方法但这类分析的核心不是工具本身而是对模型假设透明度的坚持。8. 常见问题与排查思路问题现象可能原因排查方式解决方案数据无法区分两个竞争 SCM因果图存在马尔可夫等价查看模型等价类寻找变量集合上的条件独立约束差异结合领域知识选择方向或设计随机实验补充信息直接效应估计结果与业务直觉不符中介变量与结果之间存在未观测混杂检查是否错误控制了对撞变量审查 DAG 遗漏边补全 DAG使用工具变量或敏感性分析验证多个 SCM 拟合度接近BIC/AIC 无法决策数据信息量不足以支撑因果方向识别查看效应估计的置信区间是否相互覆盖报告模型集合不上调单一结论引入干预数据情境化公平被质疑太主观利益相关者价值诉求冲突记录各方意见和决策依据引入结构化算法影响评估先试点再全量没有领域专家参与建模组织缺少跨学科评审机制识别业务侧关键决策人先用探索性分析给出候选模型再邀请专家评审二值结果用线性回归近似线性概率模型可能超出 0-1 区间检查预测值是否越界改用 logit/probit 或专门因果推断库9. 最佳实践与工程建议第一建模前先完成因果图评审。因果图不是算法工程师的自嗨产物它会影响审计结论必须由懂业务的专家和法务人员一起看。把评审记录留档作为模型卡的一部分。第二把公平性指标绑定到因果路径而不是只绑定预测值。不要只报告“群体通过率差异”还要报告这个差异可以被哪个因果模型解释以及 SCM 之间的不确定性有多高。第三保留候选模型集合。很多团队只训练一个 SCM然后在上面做精细推断。真正稳妥的做法是同时保留“无直接效应”和“有直接效应”两个模型对比它们的估计结果和稳定性。第四模型卡中记录以下信息变量定义、因果假设、候选模型列表、效应估计与置信区间、敏感性分析结论、参与评审的人员。这份文档既要给算法团队看也要给合规和业务团队看。第五敏感属性数据的获取和使用必须谨慎。涉及受保护属性的数据处理应遵循数据最小化原则在合法合规的前提下进行匿名化和去标识化。因果分析需要敏感属性参与建模不代表可以把原始数据散落到各处。第六因果结论不要直接上线。未经敏感性分析的因果推断只是模型假设下的推断。上线前至少要做小范围灰度并设计好回滚机制。第七建立持续监控。公平性不是一次性指标。模型上线后模型分布会漂移敏感属性与预测结果的关系也会变化需要定期重算直接效应和群体差异指标。10. 总结与后续学习方向这篇文章真正想讲的是一件事公平性不能靠删特征和调阈值解决而要在因果结构上回答“差异从哪条路径来”当多个 SCM 给出相互矛盾的因果解释时数据本身未必能帮你站队最终需要情境化公平来完成决策。从工程角度看你已经具备了一套可执行的框架用 SCM 形式化因果假设用效应分解区分直接路径和间接路径用 Bootstrap 和敏感性分析评估结论稳健性用情境化评审决定哪些路径允许存在用模型卡和持续监控维持结论的生命力。如果希望在因果推断方向上继续深入建议从下面几个方向入手安装 DoWhy 或 EconML把一个真实业务表格跑成完整的因果推断流程阅读 Pearl 的因果推断入门书重点关注 do-演算、反事实与中介分析找一次真实的公平性审计项目试着从数据中构造多个候选 SCM而不是直接采用别人的结论。最后提醒情境化公平意味着公平性永远是一个持续校准的过程而不是一个可以一次性交付的算法属性。不要用“删掉敏感特征”这种表面动作消耗团队和业务方对算法治理的信任。因果模型也许不能给你完美的答案但它至少能让你在说“这个模型公平”时知道自己是在什么假设下说的。