简介基于Python的虚假新闻多模态识别项目是一份面向高校课程设计和期末大作业的高分参考代码包。项目围绕文本与图像等多模态信息借助BERT预训练模型、LightGBM、CatBoost等主流算法构建完整识别流程覆盖从原始数据清洗、图文特征提取、模型集成到预测结果分析的完整链路代码注释详细适合从零复现或二次开发。压缩包内共三十九个文件十六个Python源码文件构成核心实现另有Jupyter Notebook交互演示、Markdown说明文档、Shell训练测试脚本、TSV数据集文件、JSON与TFEvents配置及训练日志同时附有环境依赖清单与一键运行脚本整体体积仅三百五十三KB轻量易用。目前已有三百八十七人学习/下载。通过阅读文档与注释可以快速理解多模态特征融合和模型集成思路利用现成脚本直接运行或拓展用于课程答辩、期末大作业或独立课题扩展时都能提供有力支撑是入门虚假新闻检测的一份实用资料。1. 虚假新闻检测不只是文本分类多模态识别到底在补哪块短板把文本丢进 BERT把配图丢进 ResNet再把两路特征一拼分类准确率就该往上走——这个直觉在我第一次做虚假新闻检测多模态识别项目时很快就被推翻了。单纯拼接两路特征效果经常比只读文本还差。原因说穿了很简单一条新闻的文本和配图信息量不在同一个尺度上噪声模式也不在同一个频道里。虚假新闻检测要抓的不是“这张图假不假”而是“图配文是否说得通”。多模态识别真正在补的短板是跨模态的不一致性。这个方向适合三类人准备课程设计或毕业设计的学生做内容风控落地的开发者以及想从单模态过渡到多模态入门的人。它同时要求你会 NLP、懂 CV、能组织数据管线是一个典型的工程型题目。整体目标就是跑通端到端流程量化多模态带来的真实增益并且能解释模型什么时候失效、为什么失效。2. 选型决定上限文本分支、视觉分支与融合策略的取舍多模态模型的上限不是由某一个分支决定的而是由你“怎么把两路信息合起来”决定的。我在实际项目中常见的失败模式是两个分支各自都很强拼在一起反而互相干扰。所以这一章先不谈代码先把选型理清楚这部分想明白了后面写代码就是填表格的事。2.1 文本分支从轻量基线到 BERT 的路线选择文本分支要回答的核心问题是新闻正文到底是短文本还是长文章。短文本用 TF-IDF 损失太大长文章直接整篇喂给 BERT 也很浪费。我一般会按三档来选而不是一开始就上重模型。基础档是 TF-IDF 加逻辑回归。这档模型只能当作 baseline用来确认数据管道有没有跑通它本身没有上下文语义但作为对照能让你看清深度学习模型到底带来多少提升。第二档是 TextCNN 加预训练词向量训练快、显存占用小、单 epoch 跑下来用不了几分钟这是课程设计里性价比最高的方案。第三档是 BERT 及其变体效果上限最高但显存和训练时间翻倍涨而且调参翻车概率也大。很多标着“高分项目”的方案都写了 BERT但答辩时经常被追问一个问题“你的 BERT 是被冻结的为什么效果还行”这个问题的坑在于不是所有人都会意识到 BERT 微调在几千条新闻数据上很容易过拟合。我的建议是折中BERT 做编码但冻结大部分层后面接一个可训练的 TextCNN 头这样既吃到预训练语义又不会把模型训练时间拖到不可接受。2.2 视觉分支为什么是预训练 ResNet 而不是从零训练 CNN虚假新闻的配图来源很杂常见的有新闻首图、社交平台截图、被二次压缩的老照片。这些图的共性是清晰度参差不齐有的被加了水印有的被截掉一角和你平时做图像分类用的 ImageNet 风格差得很远。在这类数据上从零训练一个 CNN几乎必然过拟合因为样本量撑不起几百层的卷积参数。我用的是 ImageNet 预训练的 ResNet18 或 ResNet50去掉最后的全连接分类层取平均池化后的特征向量。ResNet18 在大多数场景下够用因为虚假新闻配图里真正需要的是“场景级”而不是“物体级”的语义。如果数据量超过两万张再考虑 ResNet50。前几层卷积学的是边缘、颜色、纹理这类通用特征直接冻结只微调最后几个 block既省显存又不容易跑偏。视觉模型输出特征维显存占用建议场景ResNet18512低样本量几千到一万的常规数据集ResNet502048中图像质量高、样本量大从零训练 CNN自定义低不推荐过拟合风险极高视觉分支的另一个关键点是输入尺寸。新闻配图不要硬 resize 到大尺寸224x224 是性价比很高的选择再往上加分辨率对准确率提升很有限显存却会明显上涨。2.3 融合策略早拼接、晚决策和注意力融合怎么选融合是整个多模态项目的核心也是标题里“多模态识别”真正落地的地方。常见的融合方式有三种代价和效果差距很大。第一种是特征拼接也叫早融合。BERT 吐出一个 768 维向量ResNet 吐出一个 512 维向量拼成 1280 维再过几层全连接。实现最简单也能学到一部分跨模态交互但有个隐患两个分支的数值尺度如果差很多强的会把弱的压得几乎没有梯度。比如 ResNet 特征输出被归一化到单位长度而 BERT 的 pooler 输出没有拼接后全连接层的权重会偏向其中一路。第二种是晚融合常见做法是把两个分支各自输出的概率取平均或加权投票。这种方案几乎不会翻车因为两个分类器独立训练最后只是决策合并。但它有一个硬伤模型根本没有看到图与文的对应关系所谓多模态识别就只剩下名字实际效果和两条单模态通道的结果相差无几。第三种是注意力融合也是我目前最推荐的方案。用文本特征作为 query图像特征作为 key 和 value计算一个跨模态注意力权重。你可以理解成模型在读正文的每一句时自己决定要不要看一眼图、看图的哪个区域。这条路效果上限最高但需要更多数据来训练注意力参数数据量少于五千条时容易看到融合部分过拟合。融合方式实现成本能否学到跨模态关联常见失败点特征拼接低弱强势模态压过弱势模态概率平均极低不可只有合并没有融合注意力融合中高强数据少时注意力过拟合时间紧就先用概率平均打底拿到一组不翻车的结果中期换成特征拼接加门控想要冲高分再把拼接升级成交叉注意力。这个升级路径每一步都能单独出一张消融实验表写在文档说明里非常加分。3. 数据的骨架数据集怎么选项目目录怎么搭模型选型再好数据没接好也是白搭。很多新手在拿到代码后第一件事就是跑训练结果在数据格式上耗掉两三天。这一章把数据集的选型、项目目录的组织方式和清洗细节一次说清。3.1 公开数据集怎么选FakeNewsNet、LIAR 与中文场景做虚假新闻检测多模态识别最常用的公开数据集是 FakeNewsNet。它包含两个子集gossipcop 和 politifact每条新闻除了正文文本外还带有配图 URL 和社交上下文。gossipcop 子集规模相对大适合做主力训练politifact 数量少适合做迁移验证。注意这两个子集的标签分布都不均衡真实新闻明显多于假新闻后面要专门处理。LIAR 是纯文本数据集每条样本是短句加说话人信息没有配图。它不能直接用于多模态任务但可以拿来做文本分支的基准测试验证一下你的文本编码器在不同数据来源上的稳定性。中文场景下常见的公开数据集是微博虚假新闻数据但这类数据在分享流传过程中标签往往被改动过网上拿到的版本不一定和论文里的划分一致。如果你准备做中文方向我建议拿原始数据后自己重做一遍标签抽检随机抽 100 条让人工复核别直接信任下载下来的 label 字段。字段类型说明idstr新闻唯一标识用于划分数据titlestr新闻标题contentstr新闻正文清洗后image_pathstr配图本地路径labelint1 表示假新闻0 表示真实新闻3.2 项目目录怎么搭一个能直接答辩的结构代码组织方式直接影响你的文档说明能不能写清楚也影响别人拿到源代码后能否复现。我一般会按配置、数据、模型、工具四个维度拆开而不是把全部代码堆在几个文件里。下面这个结构可以作为参照fake_news_detection/ ├── config/ │ └── default.yaml ├── data/ │ ├── raw/ │ ├── processed/ │ └── split/ ├── models/ │ ├── text_model.py │ ├── vision_model.py │ └── fusion_model.py ├── utils/ │ ├── dataset.py │ ├── train.py │ └── metrics.py ├── requirements.txt ├── README.md └── run_train.pyconfig 目录单独放一个 yaml 配置文件里面写学习率、batch size、epoch、截断长度这些参数而不是把它们硬编码在训练脚本里。原因很直接你在调参时每改一次学习率就要去翻训练函数一旦参数散落在十个地方改漏一个就会造成“这次效果变差但不知道改了什么”的尴尬局面。models 目录按文本、图像、融合分成三个文件。很多人把三个模块写在同一个文件里看起来代码短了但实际上换文本分支或换图像分支时要动的地方会互相牵扯。分开写之后想从 ResNet18 换成 ResNet50只需要改 vision_model.py 里的一个类。utils/dataset.py 负责数据加载utils/train.py 放训练循环metrics.py 里放准确率、精确率、召回率、F1 的计算。README 里写清楚 python 版本、依赖安装命令和每一步的运行命令这对“文档说明”占分比重高的项目尤其重要。3.3 文本和图谱清洗三个容易忽略的预处理细节数据清洗这一步多做一点后面模型训练就少折腾一点。第一个坑是 HTML 转义和不可见字符。从新闻页面采集下来的正文常见的情况是包含\xa0、ndash;、quot;这类残留直接丢进 BERT 会让分词器多出很多无意义的 token。清洗时先做一次 HTML 反转义再把空白字符统一替换成空格。import re import html def clean_text(raw: str) - str: if not isinstance(raw, str): return text html.unescape(raw) text re.sub(r[\x00-\x08\x0b-\x1f\x7f], , text) text re.sub(r\s, , text).strip() return text这段代码的逻辑很简单先用 html.unescape 把实体还原成字符然后去掉控制字符最后把连续空白折叠成一个空格。参数说明只有一处要注意\s在 Python 默认匹配\n、\t和普通空格不需要额外传 flags。第二个坑是图片读取通道问题。OpenCV 的cv2.imread读出来是 BGR 顺序PIL 读出来是 RGB如果不统一模型推理时看到的颜色是错位的。我在项目里统一用 PIL 读图避免隐式转换。第三个坑是文本截断位置。BERT 的输入长度有限长新闻必须截断。主流做法是只保留前 128 或 256 个 token这个策略对新闻基本够用因为导语通常在前两段。但如果你的数据集里有一部分文章采用“事件背景在前、关键结论在后”的结构只留头部会丢掉结论。稳妥的截断策略是保留头部和尾部各一段truncationTrue时手动指定max_length128并且把return_overflowing_tokens打开溢出部分再补一次截断拼接。这个细节在测试集上可能只影响零点几个百分点但能防止个别样本出现“关键后半段被整体切断”的情况。4. 训练代码这样写从数据加载到双流前向再到训练循环这一章直接给出一套能在 PyTorch 里跑通的最小实现。代码不是最花哨的但每一段都对应前面选型章节的决策适合作为项目主体代码也方便后续替换成更复杂的结构。4.1 自定义 Dataset把文本编码和图像变换打包PyTorch 的 DataLoader 要求数据先被封装成 Dataset。我的做法是让每条样本同时返回编码后的文本和预处理后的图像注意不要在这里对文本做词表映射那是 tokenizer 的工作。import torch from torch.utils.data import Dataset from PIL import Image class FakeNewsDataset(Dataset): def __init__(self, df, tokenizer, transformNone): self.df df self.tokenizer tokenizer self.transform transform def __len__(self): return len(self.df) def __getitem__(self, idx): row self.df.iloc[idx] # 清洗后的正文防止空值直接让 tokenizer 抛异常 text str(row[clean_text]) tokens self.tokenizer( text, max_length128, paddingmax_length, truncationTrue, return_tensorspt ) # 统一转成 RGB避免灰度图或带透明通道的图导致维度不匹配 image Image.open(row[image_path]).convert(RGB) if self.transform: image self.transform(image) label torch.tensor(float(row[label]), dtypetorch.float32) return { input_ids: tokens[input_ids].squeeze(0), attention_mask: tokens[attention_mask].squeeze(0), image: image, label: label }关于参数max_length128是前面文本选型里确定的截断长度如果你的正文普遍超过五百字可以提到 256但要注意 BERT 的显存占用会随长度增加而快速上涨。return_tensorspt让 tokenizer 直接返回 PyTorch Tensor省掉手动转换。squeeze(0)是因为 tokenizer 默认返回带 batch 维度的张量形状[1, seq_len]在 Dataset 里要去掉这个多余的维度。label转成 float 是因为后面要用的损失函数是BCEWithLogitsLoss它要求标签是浮点类型。4.2 双流模型特征维度和 dropout 是关键模型主体按前面的选型实现BERT 负责文本ResNet18 负责图像特征拼接后过一个 MLP。这里重点是维度对齐和分类层的输出设计。import torch import torch.nn as nn class MultiModalClassifier(nn.Module): def __init__(self, text_encoder, image_encoder): super().__init__() self.text_encoder text_encoder self.image_encoder image_encoder self.classifier nn.Sequential( nn.Linear(768 512, 256), nn.GELU(), nn.Dropout(0.3), nn.Linear(256, 1) ) def forward(self, input_ids, attention_mask, image): text_feat self.text_encoder( input_idsinput_ids, attention_maskattention_mask ).pooler_output image_feat self.image_encoder(image) fused torch.cat([text_feat, image_feat], dim1) return self.classifier(fused).squeeze(1)768 512是 BERT base 的 pooler 输出维度和 ResNet18 平均池化后特征维度的拼接如果换成别的 backbone这两个数字要改。pooler_output和最后一层 hidden state 的区别在于pooler 经过了 tanh 激活语义更浓缩做分类更合适。分类层最后输出 1 维而不是 2 维配合BCEWithLogitsLoss使用数值上比CrossEntropyLoss更稳定而且输出值可以直接解释成正样本对数几率。Dropout(0.3)这个参数在多模态融合里格外重要。融合层是两路特征的交汇点也是最容易过拟合的位置dropout 小于 0.2 时融合层基本起不到正则作用大于 0.5 又会明显拉慢收敛。从 0.3 起步调整是一个合理的做法。4.3 训练循环分层学习率、梯度裁剪和模型保存训练阶段最关键的参数是学习率而且不是一个学习率管全部。BERT 微调过猛会把预训练权重冲坏图像分支和融合层则需要更大的学习率才能快速收敛。我的做法是给三部分分别配置学习率经验值如下。from torch.optim import AdamW from torch.nn.utils import clip_grad_norm_ optimizer AdamW([ {params: text_encoder.parameters(), lr: 2e-5}, {params: image_encoder.parameters(), lr: 5e-5}, {params: classifier.parameters(), lr: 1e-4}, ]) for epoch in range(epochs): model.train() for batch in train_loader: input_ids batch[input_ids].to(device) attention_mask batch[attention_mask].to(device) image batch[image].to(device) labels batch[label].to(device) logits model(input_ids, attention_mask, image) loss loss_fn(logits, labels) optimizer.zero_grad() loss.backward() clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step()学习率这里三个数字看着接近实际上差别很大。BERT 用 2e-5 是因为它在预训练阶段已经被充分优化过大的步长会让它快速遗忘通用语义图像分支用 5e-5因为 ResNet 只微调最后几个 block步子可以稍大融合分类层是从零训练的需要 1e-4 才能在十几个 epoch 内收敛。clip_grad_norm_的max_norm1.0是针对多模态模型特别重要的配置两路梯度如果尺度差异大梯度范数很容易爆炸裁剪能保证更新方向不被其中一路劫持。模型保存不要只保存最终的权重而要按验证集 F1 动态保存最优权重。做法是在每个 epoch 结束后跑一遍验证集如果 F1 比当前最优值高就把state_dict存一份文件名带上 F1 数值。5. 高频翻车点排查五个多模态项目的“现象-原因-解决”这一章的每一条都是我实际踩过的坑。多模态项目的翻车点比单模态多得多而且很多错误不会直接报异常只会显示为“效果变差”排查起来特别费劲。以下五条按优先级排序建议直接对照检查你的训练流程。5.1 加了图像分支效果反而倒退现象单文本分支验证集 F1 有 0.83拼接图像后掉到 0.78多次重跑结果一致。原因有两种可能一是图像分支过拟合把训练集的噪声细节当成了有用特征二是两路特征尺度差异大图像特征经过全局池化后数值范围远小于 BERT 特征融合层实际上主要在拟合文本特征图像分支等于白加。解决方法是先单独验证图像分支的分类能力如果单图像 F1 本身就低于 0.7就不要指望融合能提升效果优先增强图像分支的数据增强、加大 dropout或者换成更强的预训练模型。5.2 按行随机划分数据测试集泄漏现象训练时验证集 F1 很高测试集表现也不错但人工抽检时发现同一个热点事件的系列报道同时出现在训练集和测试集里。原因在于 DataFrame 按train_test_split默认分行切分没有考虑同一新闻事件的多篇衍生报道。解决方法是按新闻主题或事件 ID 分组划分用StratifiedGroupKFold代替普通的 KFold保证同一事件的所有新闻只出现在一个集合中。5.3 用同一个学习率训练所有模块BERT 被冲坏现象训练前几个 epoch loss 下降正常到第 3 个 epoch 后验证集指标反而还低于只训练两个 epoch 的结果。原因常见的是对 BERT 用了和其他层一样的学习率像 1e-4 这个级别对预训练模型来说太大了。解决方法是按 4.3 节的分层策略设置学习率并做一个简单实验固定其他部分只对比 BERT 学习率 2e-5 和 1e-4 的验证集 F1你会看到差距通常在 3 到 5 个百分点。5.4 6G 显存跑不动 BERT 加 ResNet现象batch size 设成 16 直接 OOM报错出现在 BERT 的 embedding 层。原因是文本长度和 batch size 共同决定了显存峰值BERT 的激活值会随序列长度线性增长。解决办法按顺序尝试batch size 降到 4图片尺寸从 224 降到 192打开 PyTorch 的混合精度训练。如果还想再省就把 BERT 换成更小的变体或者冻结掉 BERT 的全部参数让它只做特征提取。5.5 模型成了黑匣子答辩时解释不了判断依据现象对方问“这条新闻模型为什么判为假”你只能回答“深度学习模型学出来的”。这种回答在课程设计答辩里非常吃亏。原因是模型没有提供任何可解释性的输出接口。解决方法是保存训练时每条样本输入模型前的文本和图像特征用最简单的方式做注意力可视化把 token 对应的注意力权重抽取出来权重高的词标红。这个操作代码量不大但对“文档说明”的完整度帮助极大。6. 从 60 分提到 90 分给项目加这三个动作第一个动作是补一张消融实验表。这张表至少包含四行单文本分支、单图像分支、特征拼接、注意力融合。每一行记录验证集上的准确率、精确率、召回率和 F1。没有这张表你的多模态方案就只是一个“拼起来”的模型有了它你能明确说出图像分支带来了多少增益融合策略比概率平均高了多少这才是“高分项目”里最能说服评审的材料。第二个动作是做可视化把模型从黑匣子里放出来。文本分支抽取 attention 权重把权重最高的几个 token 在原文里标出来图像分支用 Grad-CAM 生成热力图叠加在配图上。把这两样东西贴进文档说明读者一眼就能看出模型在关注什么。可视化代码不复杂但要注意保存的是原始尺寸图不是训练时 resize 后的 224x224 小图。第三个动作是把运行链路打磨完整。README 里写清 python 版本、依赖安装命令、数据目录结构、训练和推理各自的启动命令requirements.txt 里的包一定要和实际运行环境完全一致。你不在文档里写的步骤别人复现时就可能卡住卡住一次你的可信度就掉一截。我自己的教训是花了两周把模型 F1 从 0.76 调到 0.82却没花半天把可视化补上结果答辩时评委只记住了“模型是黑匣子”。从那之后我每做一个项目都会把消融表和可视化当成代码的一部分来写而不是最后临时补。希望这个顺序能帮到你。本文还有配套的精品资源点击获取