机器学习与深度学习算法完整演进体系扫盲原理代表模型对照表一、核心任务扫盲所有算法最终只干这4件事所有AI/机器学习算法无论简单还是复杂都归属于四大基础任务是所有模型的底层逻辑零基础可直接理解1. 聚类 Clustering无监督学习核心定义无标签、无标准答案算法根据数据相似度自动把相似数据分为同一组。解决问题数据没有标注、不知道分类规则需要机器自动挖掘数据结构、划分群体。典型场景客户分群、用户画像、异常群体挖掘、商品聚类2. 分类 Classification监督学习核心定义有标签、有标准答案输入特征输出离散类别是/否、类别A/B/C。解决问题基于已有历史数据预测样本所属类别做判断、甄别、预测。典型场景点击率预测、流失预测、风控欺诈判断、商品类目识别3. 回归 Regression监督学习核心定义有标签、有标准答案输入特征输出连续数值。解决问题预测具体数值、量化结果做数值预估和趋势分析。典型场景销量预测、客单价预测、收益预估、用户活跃度打分4. 降维Dimensionality Reduction无监督预处理核心定义压缩高维特征保留核心有效信息剔除冗余、噪声特征。解决问题特征过多导致计算慢、模型过拟合、特征冗余、维度灾难问题。典型场景特征预处理、数据可视化、模型加速、降噪二、算法整体层级关系核心认知1、人工智能 AI ⊇ 机器学习 ML ⊇ 深度学习 DL2、行业通用通俗分类论文/答辩/文档通用传统机器学习人工特征工程、浅层模型、适合结构化表格数据深度学习神经网络自动特征学习、适合海量数据/非结构化数据文本/图像/序列3、补充独立范式强化学习、图学习、生成学习不属于传统ML/普通DL为独立算法体系补齐完整AI算法大类三、传统机器学习全体系原理作用解决问题一无监督学习聚类算法1. K-MeansK均值聚类算法逻辑人工指定聚类数量K随机初始化聚类中心迭代计算每个样本到中心点的距离将样本归到最近簇不断更新簇中心直至结果稳定。核心作用快速对海量数据做无监督分组工业界最通用的聚类算法。解决问题无标签数据自动分群低成本实现用户分层、商品聚类。2. K-MedoidsPAM算法逻辑改良版K-Means簇中心不使用平均值而是选取数据中真实存在的样本点作为中心。核心作用抗异常值、抗极端数据聚类结果更稳定。解决问题解决K-Means对大额、极端异常样本敏感的问题适配RFM客户分群。3. GMM高斯混合模型算法逻辑假设整批数据由多个高斯分布叠加生成通过概率迭代求解每个样本属于每个簇的概率实现软聚类。核心作用输出概率分值而非硬性分类支持模糊分群。解决问题解决K-Means硬分类缺陷适配边界模糊、重叠度高的数据。4. DBSCAN密度聚类算法逻辑基于样本密度聚类高密度区域自动成簇低密度样本判定为噪声/异常点无需手动指定K值。核心作用自动识别异常值、不规则形状聚类。解决问题无法确定聚类数量、存在大量异常数据的场景。二无监督学习降维算法1. PCA主成分分析算法逻辑通过正交变换将高维冗余特征映射为低维主成分最大化保留数据核心方差信息。核心作用特征压缩、降噪、数据可视化、加速模型训练。解决问题特征维度过高、特征冗余、维度灾难导致的模型低效、过拟合问题。三监督学习分类算法1. 逻辑回归算法逻辑基于线性计算结果通过Sigmoid函数映射为0-1概率值设定阈值完成二分类。核心作用快速二分类、输出概率、极强可解释性。解决问题简单线性分类场景需要合规、可解释的预测任务风控、评分。2. SVM支持向量机算法逻辑寻找最优超平面最大化两类样本间隔通过核函数处理非线性数据。核心作用中小样本高精度分类适配非线性数据。解决问题低数据量、高维度小样本分类难题。3. 随机森林算法逻辑集成多棵独立决策树通过随机采样样本随机采样特征降低单树过拟合最终投票输出分类结果。核心作用通用型分类/回归、输出特征重要度、抗噪声、抗过拟合。解决问题单决策树过拟合、泛化能力差的问题。4. XGBoost / LightGBM梯度提升树算法逻辑串行迭代训练多棵决策树每棵树拟合上一轮的预测残差叠加结果输出预测值加入正则化抑制过拟合。核心作用结构化数据最强基线高精度分类、回归。解决问题传统模型精度低、泛化能力弱是工业表格数据最优模型。四监督学习回归算法1. 线性回归算法逻辑拟合最优直线最小化预测值与真实值的误差实现数值预测。核心作用简单数值预测、趋势分析。2. 岭回归 / Lasso 回归正则化线性回归算法逻辑在线性回归基础上分别增加L2、L1正则约束抑制模型过拟合Lasso可自动压缩无效特征权重、实现特征筛选。核心作用解决多元线性回归过拟合、特征多重共线性问题适配高维小样本回归任务。解决问题普通线性回归泛化能力差、冗余特征干扰预测结果的问题。3. 决策树CART/ID3/C4.5算法逻辑基于信息熵、基尼系数筛选最优特征分裂节点逐层生成if-else规则树叶子节点输出分类/回归结果。核心作用极强可解释性是随机森林、XGBoost、LightGBM的底层基础模型。解决问题黑白盒模型无法输出业务规则、无法落地解释的场景。五传统机器学习补充大类集成学习通用范式核心说明非独立模型是机器学习核心训练范式通过组合多个弱模型叠加得到高精度强模型分为Bagging、Boosting两大流派。1. Bagging流派并行集成代表模型随机森林算法逻辑多模型并行训练样本、特征随机采样投票/平均输出结果降低方差、抗过拟合。2. Boosting流派串行集成代表模型XGBoost、LightGBM、AdaBoost算法逻辑多模型串行迭代每一轮重点修正上一轮错误样本逐步降低模型偏差提升精度。六传统机器学习补充大类半监督/自监督学习1. 半监督学习算法逻辑利用少量标注样本 大量无标注样本联合训练挖掘无标注数据分布特征辅助模型学习。核心作用解决业务标注数据稀缺、标注成本高的痛点。2. 自监督学习算法逻辑无需人工标签通过数据自身特性自动构造预训练任务掩码预测、序列续写让模型自主学习数据底层特征。核心作用大模型、特征预训练核心范式适配海量无标注数据。四、深度学习推荐/排序算法全体系工业主流CTR模型全部为神经网络模型主打自动特征学习、适配海量用户行为序列、高阶特征交叉用于广告、电商、短视频排序。1. DeepFM算法逻辑FM浅层特征交叉 DNN深层特征学习共享Embedding层同时学习低阶、高阶特征组合。核心作用自动特征交叉无需人工构造组合特征。解决问题传统模型需要人工构造特征、高阶交叉特征挖掘不足的问题。2. DIN深度兴趣网络算法逻辑引入候选商品注意力机制根据当前推荐物品对用户历史行为动态加权精准匹配用户实时兴趣。核心作用捕捉用户多样化、差异化兴趣。解决问题传统模型对所有历史行为均等加权无法区分用户兴趣偏好权重的问题。3. DIEN深度兴趣演化网络算法逻辑DIN升级版通过GRU抽取时序兴趣AUGRU注意力门控模拟用户兴趣随时间演变的过程搭配辅助损失优化训练。核心作用建模用户兴趣时序变化、兴趣迁移。解决问题DIN忽略行为时序无法捕捉用户兴趣动态变化的问题。算法逻辑联合训练CTR、CTCVR双任务基于全曝光样本空间训练通过CTR任务辅助稀疏CVR任务学习。核心作用广告转化率CVR预估。解决问题CVR任务样本稀疏、样本选择偏差SSB两大行业痛点。5. MMoE/PLE多任务学习算法逻辑多专家网络任务门控共享底层特征适配多个预测任务PLE优化任务冲突问题。核心作用同时预测点击、收藏、加购、转化多个目标。解决问题多任务训练相互干扰、跷跷板效应一个任务变好、其他任务变差。6. 经典基线模型补充WideDeep / PNNWideDeep算法逻辑Wide线性支路记忆历史规则 Deep深度支路泛化新特征双向互补训练。核心作用工业界最早的CTR基线模型兼顾记忆性与泛化性。解决问题单一模型无法同时兼顾历史规则记忆和新场景泛化的问题。PNN乘积神经网络算法逻辑通过特征内积/外积运算显式做特征交叉强化高阶特征组合能力。核心作用精准挖掘高维稀疏特征交叉信息。解决问题普通DNN特征交叉不充分、隐性特征挖掘不足的问题。五、新增独立算法大类补齐完整AI体系一图学习 GNN图神经网络独立体系核心场景处理节点、边关联的结构化数据社交关系、商品关联、知识图谱、风控团伙1. GCN图卷积网络算法逻辑聚合邻居节点特征通过卷积运算学习图结构关联信息实现节点特征更新。核心作用挖掘静态图结构特征适配风控团伙识别、用户关系建模。解决问题普通模型无法学习数据之间关联关系的缺陷。2. GAT图注意力网络算法逻辑引入注意力机制对不同邻居节点分配不同权重重点学习关键关联节点特征。核心作用适配非均匀图结构精准捕捉核心关联关系。解决问题GCN对所有邻居均等加权无法区分关键关联节点的问题。二强化学习 RL独立训练范式核心逻辑无固定标签智能体与环境交互通过奖励/惩罚信号迭代优化策略动态决策最优行为。1. DQN深度Q网络算法逻辑用神经网络拟合Q值行为价值选取价值最高的动作执行。核心作用离散动作决策游戏AI、推荐动态排序。2. PPO近端策略优化算法逻辑约束策略更新幅度避免模型训练震荡稳定迭代优化。核心作用工业级主流RL算法LLM的RLHF、推荐强化优化核心模型。三生成式深度学习CV/NLP通用1. GAN生成对抗网络算法逻辑生成器伪造数据、判别器甄别真假对抗训练提升数据生成质量。核心作用图像生成、数据增强、样本补全。2. Transformer 系列大模型代表模型BERT双向理解、GPT自回归生成、RoBERTa算法逻辑基于自注意力机制全局建模序列依赖关系并行训练、捕捉长距离语义。核心作用NLP语义理解、文本生成、多模态任务底座。四时序深度学习1. RNN/LSTM/GRU算法逻辑循环结构记忆历史时序信息LSTM/GRU优化长序列梯度消失问题。核心作用用户行为序列、销量时序预测、文本时序建模。六、全算法分类汇总对比表完整版算法大类细分任务代表模型核心算法逻辑解决核心问题传统机器学习无监督聚类K-Means指定K值迭代更新簇中心按距离分组无标签数据自动分群快速用户/商品分层聚类K-Medoids以真实样本为簇中心替代均值中心解决K-Means对异常值、极端数据敏感问题聚类GMM基于高斯分布概率建模输出样本归属概率解决硬分类缺陷适配边界模糊数据聚类DBSCAN基于样本密度聚类自动识别噪声与簇无固定簇数、含大量异常数据的聚类场景降维PCA正交变换压缩特征保留核心数据信息特征冗余、维度灾难、模型训练低效半监督学习半监督聚类/分类少量标签大量无标签数据联合训练业务标注数据稀缺、标注成本过高问题自监督学习特征预训练模型数据自构造标签自主学习底层特征海量无标注数据无法利用、特征提取低效问题传统机器学习监督分类逻辑回归线性计算Sigmoid映射概率阈值分类需要高可解释性的二分类场景风控、评分分类SVM寻找最优分隔超平面核函数处理非线性数据小样本、高维数据高精度分类分类/回归决策树(CART)基于基尼系数/信息熵分裂节点生成规则树需要可解释业务规则的预测场景分类/回归随机森林多决策树随机采样集成投票输出结果单决策树过拟合、泛化能力差分类/回归XGBoost/LightGBM串行提升树拟合残差正则化约束结构化数据预测精度低、泛化能力弱回归线性回归拟合最优直线最小化整体预测误差简单线性相关数据数值预测回归岭回归/Lasso线性回归正则约束抑制过拟合、筛选特征特征冗余、多重共线性、模型过拟合问题深度学习推荐/CTR点击率预估WideDeepWide记忆规则Deep泛化特征双向融合兼顾业务规则记忆与新场景泛化能力点击率预估DeepFMFM低阶交叉DNN高阶特征学习自动特征组合人工特征交叉成本高、高阶特征挖掘不足点击率预估DIN候选感知注意力动态加权用户历史行为均等加权无法区分用户个性化兴趣点击率预估DIEN时序GRUAUGRU建模用户兴趣演变过程忽略行为时序无法捕捉兴趣动态迁移点击率预估PNN特征乘积运算显式挖掘高阶交叉特征稀疏特征交叉不充分、隐性特征缺失问题转化率预估ESMM全空间多任务联合训练CTR辅助CVR学习CVR样本稀疏、样本选择偏差问题多任务预估MMoE/PLE多专家门控机制共享私有任务特征多任务训练相互干扰、跷跷板效应图学习GNN图节点分类/回归GCN聚合邻居节点特征学习静态图结构关联无法挖掘数据关联关系、团伙特征的问题图节点分类/回归GAT图注意力机制差异化加权邻居节点GCN均等加权、无法识别核心关联节点问题强化学习RL动态决策DQN神经网络拟合行为价值选取最优动作离散场景动态决策、实时优化问题策略优化PPO约束策略更新幅度稳定迭代优化奖励RL训练震荡、不稳定适配LLM微调、推荐优化通用深度学习时序建模LSTM/GRU循环记忆结构解决长序列梯度消失问题长时序数据记忆失效、特征丢失问题生成/理解BERT/GPT自注意力机制全局建模序列语义关系长文本语义理解、内容生成、多模态任务七、终极选型口诀快速记忆·完整版相关术语表格结构化数据、用户分群K-Means、GMM、XGBoost需要可解释、风控合规场景逻辑回归、决策树、规则模型广告点击率、特征交叉不足DeepFM、PNN、WideDeep用户个性化兴趣匹配DIN用户兴趣随时间变化DIEN、LSTM/GRU广告转化CVR预测ESMM多目标同时预测MMoE/PLE关系/团伙挖掘风控/社交GCN、GAT动态决策、在线优化PPO、DQN文本理解、内容生成BERT、GPT系列标注数据稀缺场景半监督/自监督学习特征冗余、维度过高PCA降维、Lasso特征筛选配套刚才提到的其它任务英文排序Ranking异常检测Anomaly Detection拟合度Fit过拟合Overfitting欠拟合Underfitting归一化Normalization标准化StandardizationZ‑score监督学习Supervised Learning无监督学习Unsupervised Learning生成Generation表征学习 / 嵌入Representation Learning / Embedding时间序列预测Time‑Series Forecasting强化学习Reinforcement Learning多任务学习Multi‑task Learning AI算法演进之路
机器学习与深度学习算法完整演进体系扫盲原理代表模型对照表一、核心任务扫盲所有算法最终只干这4件事所有AI/机器学习算法无论简单还是复杂都归属于四大基础任务是所有模型的底层逻辑零基础可直接理解1. 聚类 Clustering无监督学习核心定义无标签、无标准答案算法根据数据相似度自动把相似数据分为同一组。解决问题数据没有标注、不知道分类规则需要机器自动挖掘数据结构、划分群体。典型场景客户分群、用户画像、异常群体挖掘、商品聚类2. 分类 Classification监督学习核心定义有标签、有标准答案输入特征输出离散类别是/否、类别A/B/C。解决问题基于已有历史数据预测样本所属类别做判断、甄别、预测。典型场景点击率预测、流失预测、风控欺诈判断、商品类目识别3. 回归 Regression监督学习核心定义有标签、有标准答案输入特征输出连续数值。解决问题预测具体数值、量化结果做数值预估和趋势分析。典型场景销量预测、客单价预测、收益预估、用户活跃度打分4. 降维Dimensionality Reduction无监督预处理核心定义压缩高维特征保留核心有效信息剔除冗余、噪声特征。解决问题特征过多导致计算慢、模型过拟合、特征冗余、维度灾难问题。典型场景特征预处理、数据可视化、模型加速、降噪二、算法整体层级关系核心认知1、人工智能 AI ⊇ 机器学习 ML ⊇ 深度学习 DL2、行业通用通俗分类论文/答辩/文档通用传统机器学习人工特征工程、浅层模型、适合结构化表格数据深度学习神经网络自动特征学习、适合海量数据/非结构化数据文本/图像/序列3、补充独立范式强化学习、图学习、生成学习不属于传统ML/普通DL为独立算法体系补齐完整AI算法大类三、传统机器学习全体系原理作用解决问题一无监督学习聚类算法1. K-MeansK均值聚类算法逻辑人工指定聚类数量K随机初始化聚类中心迭代计算每个样本到中心点的距离将样本归到最近簇不断更新簇中心直至结果稳定。核心作用快速对海量数据做无监督分组工业界最通用的聚类算法。解决问题无标签数据自动分群低成本实现用户分层、商品聚类。2. K-MedoidsPAM算法逻辑改良版K-Means簇中心不使用平均值而是选取数据中真实存在的样本点作为中心。核心作用抗异常值、抗极端数据聚类结果更稳定。解决问题解决K-Means对大额、极端异常样本敏感的问题适配RFM客户分群。3. GMM高斯混合模型算法逻辑假设整批数据由多个高斯分布叠加生成通过概率迭代求解每个样本属于每个簇的概率实现软聚类。核心作用输出概率分值而非硬性分类支持模糊分群。解决问题解决K-Means硬分类缺陷适配边界模糊、重叠度高的数据。4. DBSCAN密度聚类算法逻辑基于样本密度聚类高密度区域自动成簇低密度样本判定为噪声/异常点无需手动指定K值。核心作用自动识别异常值、不规则形状聚类。解决问题无法确定聚类数量、存在大量异常数据的场景。二无监督学习降维算法1. PCA主成分分析算法逻辑通过正交变换将高维冗余特征映射为低维主成分最大化保留数据核心方差信息。核心作用特征压缩、降噪、数据可视化、加速模型训练。解决问题特征维度过高、特征冗余、维度灾难导致的模型低效、过拟合问题。三监督学习分类算法1. 逻辑回归算法逻辑基于线性计算结果通过Sigmoid函数映射为0-1概率值设定阈值完成二分类。核心作用快速二分类、输出概率、极强可解释性。解决问题简单线性分类场景需要合规、可解释的预测任务风控、评分。2. SVM支持向量机算法逻辑寻找最优超平面最大化两类样本间隔通过核函数处理非线性数据。核心作用中小样本高精度分类适配非线性数据。解决问题低数据量、高维度小样本分类难题。3. 随机森林算法逻辑集成多棵独立决策树通过随机采样样本随机采样特征降低单树过拟合最终投票输出分类结果。核心作用通用型分类/回归、输出特征重要度、抗噪声、抗过拟合。解决问题单决策树过拟合、泛化能力差的问题。4. XGBoost / LightGBM梯度提升树算法逻辑串行迭代训练多棵决策树每棵树拟合上一轮的预测残差叠加结果输出预测值加入正则化抑制过拟合。核心作用结构化数据最强基线高精度分类、回归。解决问题传统模型精度低、泛化能力弱是工业表格数据最优模型。四监督学习回归算法1. 线性回归算法逻辑拟合最优直线最小化预测值与真实值的误差实现数值预测。核心作用简单数值预测、趋势分析。2. 岭回归 / Lasso 回归正则化线性回归算法逻辑在线性回归基础上分别增加L2、L1正则约束抑制模型过拟合Lasso可自动压缩无效特征权重、实现特征筛选。核心作用解决多元线性回归过拟合、特征多重共线性问题适配高维小样本回归任务。解决问题普通线性回归泛化能力差、冗余特征干扰预测结果的问题。3. 决策树CART/ID3/C4.5算法逻辑基于信息熵、基尼系数筛选最优特征分裂节点逐层生成if-else规则树叶子节点输出分类/回归结果。核心作用极强可解释性是随机森林、XGBoost、LightGBM的底层基础模型。解决问题黑白盒模型无法输出业务规则、无法落地解释的场景。五传统机器学习补充大类集成学习通用范式核心说明非独立模型是机器学习核心训练范式通过组合多个弱模型叠加得到高精度强模型分为Bagging、Boosting两大流派。1. Bagging流派并行集成代表模型随机森林算法逻辑多模型并行训练样本、特征随机采样投票/平均输出结果降低方差、抗过拟合。2. Boosting流派串行集成代表模型XGBoost、LightGBM、AdaBoost算法逻辑多模型串行迭代每一轮重点修正上一轮错误样本逐步降低模型偏差提升精度。六传统机器学习补充大类半监督/自监督学习1. 半监督学习算法逻辑利用少量标注样本 大量无标注样本联合训练挖掘无标注数据分布特征辅助模型学习。核心作用解决业务标注数据稀缺、标注成本高的痛点。2. 自监督学习算法逻辑无需人工标签通过数据自身特性自动构造预训练任务掩码预测、序列续写让模型自主学习数据底层特征。核心作用大模型、特征预训练核心范式适配海量无标注数据。四、深度学习推荐/排序算法全体系工业主流CTR模型全部为神经网络模型主打自动特征学习、适配海量用户行为序列、高阶特征交叉用于广告、电商、短视频排序。1. DeepFM算法逻辑FM浅层特征交叉 DNN深层特征学习共享Embedding层同时学习低阶、高阶特征组合。核心作用自动特征交叉无需人工构造组合特征。解决问题传统模型需要人工构造特征、高阶交叉特征挖掘不足的问题。2. DIN深度兴趣网络算法逻辑引入候选商品注意力机制根据当前推荐物品对用户历史行为动态加权精准匹配用户实时兴趣。核心作用捕捉用户多样化、差异化兴趣。解决问题传统模型对所有历史行为均等加权无法区分用户兴趣偏好权重的问题。3. DIEN深度兴趣演化网络算法逻辑DIN升级版通过GRU抽取时序兴趣AUGRU注意力门控模拟用户兴趣随时间演变的过程搭配辅助损失优化训练。核心作用建模用户兴趣时序变化、兴趣迁移。解决问题DIN忽略行为时序无法捕捉用户兴趣动态变化的问题。算法逻辑联合训练CTR、CTCVR双任务基于全曝光样本空间训练通过CTR任务辅助稀疏CVR任务学习。核心作用广告转化率CVR预估。解决问题CVR任务样本稀疏、样本选择偏差SSB两大行业痛点。5. MMoE/PLE多任务学习算法逻辑多专家网络任务门控共享底层特征适配多个预测任务PLE优化任务冲突问题。核心作用同时预测点击、收藏、加购、转化多个目标。解决问题多任务训练相互干扰、跷跷板效应一个任务变好、其他任务变差。6. 经典基线模型补充WideDeep / PNNWideDeep算法逻辑Wide线性支路记忆历史规则 Deep深度支路泛化新特征双向互补训练。核心作用工业界最早的CTR基线模型兼顾记忆性与泛化性。解决问题单一模型无法同时兼顾历史规则记忆和新场景泛化的问题。PNN乘积神经网络算法逻辑通过特征内积/外积运算显式做特征交叉强化高阶特征组合能力。核心作用精准挖掘高维稀疏特征交叉信息。解决问题普通DNN特征交叉不充分、隐性特征挖掘不足的问题。五、新增独立算法大类补齐完整AI体系一图学习 GNN图神经网络独立体系核心场景处理节点、边关联的结构化数据社交关系、商品关联、知识图谱、风控团伙1. GCN图卷积网络算法逻辑聚合邻居节点特征通过卷积运算学习图结构关联信息实现节点特征更新。核心作用挖掘静态图结构特征适配风控团伙识别、用户关系建模。解决问题普通模型无法学习数据之间关联关系的缺陷。2. GAT图注意力网络算法逻辑引入注意力机制对不同邻居节点分配不同权重重点学习关键关联节点特征。核心作用适配非均匀图结构精准捕捉核心关联关系。解决问题GCN对所有邻居均等加权无法区分关键关联节点的问题。二强化学习 RL独立训练范式核心逻辑无固定标签智能体与环境交互通过奖励/惩罚信号迭代优化策略动态决策最优行为。1. DQN深度Q网络算法逻辑用神经网络拟合Q值行为价值选取价值最高的动作执行。核心作用离散动作决策游戏AI、推荐动态排序。2. PPO近端策略优化算法逻辑约束策略更新幅度避免模型训练震荡稳定迭代优化。核心作用工业级主流RL算法LLM的RLHF、推荐强化优化核心模型。三生成式深度学习CV/NLP通用1. GAN生成对抗网络算法逻辑生成器伪造数据、判别器甄别真假对抗训练提升数据生成质量。核心作用图像生成、数据增强、样本补全。2. Transformer 系列大模型代表模型BERT双向理解、GPT自回归生成、RoBERTa算法逻辑基于自注意力机制全局建模序列依赖关系并行训练、捕捉长距离语义。核心作用NLP语义理解、文本生成、多模态任务底座。四时序深度学习1. RNN/LSTM/GRU算法逻辑循环结构记忆历史时序信息LSTM/GRU优化长序列梯度消失问题。核心作用用户行为序列、销量时序预测、文本时序建模。六、全算法分类汇总对比表完整版算法大类细分任务代表模型核心算法逻辑解决核心问题传统机器学习无监督聚类K-Means指定K值迭代更新簇中心按距离分组无标签数据自动分群快速用户/商品分层聚类K-Medoids以真实样本为簇中心替代均值中心解决K-Means对异常值、极端数据敏感问题聚类GMM基于高斯分布概率建模输出样本归属概率解决硬分类缺陷适配边界模糊数据聚类DBSCAN基于样本密度聚类自动识别噪声与簇无固定簇数、含大量异常数据的聚类场景降维PCA正交变换压缩特征保留核心数据信息特征冗余、维度灾难、模型训练低效半监督学习半监督聚类/分类少量标签大量无标签数据联合训练业务标注数据稀缺、标注成本过高问题自监督学习特征预训练模型数据自构造标签自主学习底层特征海量无标注数据无法利用、特征提取低效问题传统机器学习监督分类逻辑回归线性计算Sigmoid映射概率阈值分类需要高可解释性的二分类场景风控、评分分类SVM寻找最优分隔超平面核函数处理非线性数据小样本、高维数据高精度分类分类/回归决策树(CART)基于基尼系数/信息熵分裂节点生成规则树需要可解释业务规则的预测场景分类/回归随机森林多决策树随机采样集成投票输出结果单决策树过拟合、泛化能力差分类/回归XGBoost/LightGBM串行提升树拟合残差正则化约束结构化数据预测精度低、泛化能力弱回归线性回归拟合最优直线最小化整体预测误差简单线性相关数据数值预测回归岭回归/Lasso线性回归正则约束抑制过拟合、筛选特征特征冗余、多重共线性、模型过拟合问题深度学习推荐/CTR点击率预估WideDeepWide记忆规则Deep泛化特征双向融合兼顾业务规则记忆与新场景泛化能力点击率预估DeepFMFM低阶交叉DNN高阶特征学习自动特征组合人工特征交叉成本高、高阶特征挖掘不足点击率预估DIN候选感知注意力动态加权用户历史行为均等加权无法区分用户个性化兴趣点击率预估DIEN时序GRUAUGRU建模用户兴趣演变过程忽略行为时序无法捕捉兴趣动态迁移点击率预估PNN特征乘积运算显式挖掘高阶交叉特征稀疏特征交叉不充分、隐性特征缺失问题转化率预估ESMM全空间多任务联合训练CTR辅助CVR学习CVR样本稀疏、样本选择偏差问题多任务预估MMoE/PLE多专家门控机制共享私有任务特征多任务训练相互干扰、跷跷板效应图学习GNN图节点分类/回归GCN聚合邻居节点特征学习静态图结构关联无法挖掘数据关联关系、团伙特征的问题图节点分类/回归GAT图注意力机制差异化加权邻居节点GCN均等加权、无法识别核心关联节点问题强化学习RL动态决策DQN神经网络拟合行为价值选取最优动作离散场景动态决策、实时优化问题策略优化PPO约束策略更新幅度稳定迭代优化奖励RL训练震荡、不稳定适配LLM微调、推荐优化通用深度学习时序建模LSTM/GRU循环记忆结构解决长序列梯度消失问题长时序数据记忆失效、特征丢失问题生成/理解BERT/GPT自注意力机制全局建模序列语义关系长文本语义理解、内容生成、多模态任务七、终极选型口诀快速记忆·完整版相关术语表格结构化数据、用户分群K-Means、GMM、XGBoost需要可解释、风控合规场景逻辑回归、决策树、规则模型广告点击率、特征交叉不足DeepFM、PNN、WideDeep用户个性化兴趣匹配DIN用户兴趣随时间变化DIEN、LSTM/GRU广告转化CVR预测ESMM多目标同时预测MMoE/PLE关系/团伙挖掘风控/社交GCN、GAT动态决策、在线优化PPO、DQN文本理解、内容生成BERT、GPT系列标注数据稀缺场景半监督/自监督学习特征冗余、维度过高PCA降维、Lasso特征筛选配套刚才提到的其它任务英文排序Ranking异常检测Anomaly Detection拟合度Fit过拟合Overfitting欠拟合Underfitting归一化Normalization标准化StandardizationZ‑score监督学习Supervised Learning无监督学习Unsupervised Learning生成Generation表征学习 / 嵌入Representation Learning / Embedding时间序列预测Time‑Series Forecasting强化学习Reinforcement Learning多任务学习Multi‑task Learning