简介面向中文文本分类入门者与NLP学习者这是一份基于TensorFlow实现、融合RNN与CNN的完整可运行工程。项目将循环神经网络的序列建模能力与卷积神经网络的局部特征提取能力相结合适用于情感分析、主题检测等场景帮助读者理解两种经典网络在文本分类中的协同方式。压缩包共2个文件、大小仅4KB均为Python脚本rnn_model.py定义RNN模型结构与前向传播逻辑run_cnn.py负责CNN模型的构建、训练与评估代码精简适合快速阅读和二次修改。目前已有664人学习下载。通过研读源码可掌握RNN含LSTM/GRU文本编码思路、CNN滤波器与池化操作在文本上的应用以及TensorFlow/Keras建模的基本流程适合动手实践并对比两类模型效果。 在 GitHub 上搜 text-classification跳出来的项目里十有八九能看到 text-classification-cnn-rnn-master 这种命名的仓库。凡是带 master 后缀的基本都是直接下载 ZIP 解压后保留的默认文件夹名跟项目质量没半毛钱关系。这类项目我前前后后刷过好几个有的跑起来很顺手有的折腾半天连环境都装不干净。今天我就基于这个经典组合把用 CNN 和 RNN 做文本分类的完整思路、核心原理、实操步骤和调参经验整理成一篇能直接照着做的笔记希望给正在入门 NLP 文本分类的朋友省点时间。这篇内容适合谁如果你是刚学会 Python、想了解深度学习怎么做自然语言处理或者已经在跑某个开源文本分类项目但不知道怎么调参数那这篇应该正好对口。我会把原理、代码思路、参数设置背后的原因都讲清楚不搞教科书式的堆砌全程用我实际跑过的经验来说话。1. 项目本质text-classification-cnn-rnn-master 到底在做什么1.1 先拆文件夹名master 后缀和项目定位text-classification-cnn-rnn-master 这个命名已经透露了三件事任务目标是文本分类text-classification技术方案是卷积神经网络 CNN 和循环神经网络 RNN 两条线master 则说明这是一个从 GitHub 上下载后解压的仓库副本。这类项目的标准结构一般长这样text-classification-cnn-rnn-master/ ├── data/ # 原始数据和预处理后的数据 ├── model/ # CNN 和 RNN 的模型定义 ├── train.py # 训练入口 ├── predict.py # 预测入口 ├── utils.py # 数据加载、词典构建等工具函数 └── requirements.txt # 依赖环境从使用场景看这类项目通常是拿一份公开的英文情感分类数据集最常见的是 IMDb 电影评论正面/负面两类做基线实验。项目内部把 CNN 和 RNN 两条支线放在一个框架下共用同一套数据管道和评估逻辑方便直接对比两种网络的精度、训练速度和资源占用。它是典型的入门级深度学习 NLP 项目用来理解词嵌入、序列建模、卷积池化这些基础概念再合适不过。1.2 文本分类的核心流程从原始文本到标签不管是 CNN 还是 RNN文本分类都逃不开这么几步原始语料切分句子、给每个词分配 ID、把变长的句子补齐成相同长度、查词向量表得到向量矩阵、送进网络提取特征、最后过 softmax 得到类别概率。很多刚接触的朋友会在“变长序列”这个点上卡住。Python 列表天然支持不同长度但深度学习框架做批量矩阵运算时要求所有样本的维度一致所以必须把所有句子 pad 成同一长度。这个长度选多少直接决定训练速度和显存占用选太长大部分短句都被无效填充字符占满浪费算力选太短长句被截断丢失信息。我一般习惯先统计语料长度的分布情况取能覆盖 90% 样本的那个长度值而不是盲目选 512 或 256。1.3 为什么拿 CNN 和 RNN 做对比而不是直接上 Transformer现在做文本分类的很多人一上来就推荐 BERT、RoBERTa 这类预训练模型准确率确实高但对于学习阶段来说有个致命问题里面所有东西都是封装好的你很难感知到“模型到底是怎么理解一句话的”。CNN 和 RNN 是理解序列建模的两块基石。CNN 通过不同尺寸的卷积核捕捉局部 n-gram 特征RNN 按时间步递归地把历史信息编码进隐藏状态两者从两个完全不同的角度解决同一个分类问题。把这两个模型跑熟、调透再去看 Transformer 里的 QKV 注意力机制你会觉得很多概念都是相通的。而且这类项目对硬件要求低CPU 也能跑不用急着攒 GPU 机器。2. CNN 和 RNN 的核心原理它们是怎么读句子的2.1 CNN 读句子把文本当成一维图像做卷积在文本任务里CNN 不是拿二维卷积核去扫图片而是用一维卷积在词向量序列上做滑动窗口扫描。窗口大小kernel size相当于 n-gram 的 nkernel size 为 3就每次看 3 个连续词的向量组合捕捉类似not goodvery bad这种局部短语信息kernel size 为 5 就能捕捉更长一点的模式。模型内部的基本流程是输入一个句子得到形状为 [seq_len, embedding_dim] 的矩阵经过卷积操作得到一组特征图再经过最大池化把每个特征图压成一个标量最后把所有标量拼接起来送进全连接层。最大池化的作用是提取每个特征图里最强烈的激活信号这样无论这个局部特征出现在句子开头还是结尾都能被捕捉到。CNN 的优点很明显卷积操作可以高度并行训练速度远超 RNN缺点是它默认局部窗口内的词关系最重要对长距离依赖建模能力偏弱。比如 The movie is great but the ending is terrible 这种句子里but 后面的转折信息决定了整体情感更偏负面CNN 如果不叠加足够深的层数很难把这些相距较远的词之间的依赖关系学出来。2.2 RNN 读句子把文本当成时间序列逐步读取RNN 的核心思路是按顺序读入每一个词同时维护一个隐藏状态向量。每读一个词隐藏状态都会根据当前词向量和上一个隐藏状态进行更新相当于模型在不断记住已经读过的内容最后把末尾的隐藏状态当作整个句子的语义表示h_t f(W_h * h_{t-1} W_x * x_t b)这个 f 在经典的 RNN 里是 tanh 激活函数。但标准 RNN 有个著名的缺陷——梯度消失句子一长前面词的信息对后面隐藏状态的贡献指数级衰减模型几乎记不住太久之前的内容。所以实际项目中很少用标准 RNN一般直接用 LSTM 或 GRU。LSTM 引入了输入门、遗忘门、输出门三个门控机制让模型可以自主决定哪些历史信息要保留、哪些要丢弃GRU 把三个门简化成两个参数量更少在小数据集上往往表现不输 LSTM。在实践中双向 LSTM 比单向效果更稳定。单向 LSTM 只看句子的前文双向 LSTM 从正反两个方向各跑一遍最后把两个方向的隐藏状态拼接起来。这样做的好处是每个位置的向量都综合了整句话的上下文信息对分类任务非常有帮助。代价是计算量直接翻倍序列长度超过 200 时训练会明显变慢。2.3 两者对比精度、速度、可解释性怎么取舍从我跑过的实验数据来看在 IMDb 这类 2 万到 4 万条样本的中等规模数据集上CNN 和双向 LSTM 的最终准确率差距通常在 1 到 2 个百分点以内。CNN 一般在 88% 到 90% 之间双向 LSTM 略高一点点但训练时间是 CNN 的两到三倍。对比维度CNNBiLSTM训练速度快可并行慢必须按时间步递归长距离依赖弱依赖多层堆叠强门控机制保留长程信息局部 n-gram 特征强项卷积核天然匹配弱项需要额外机制提取参数量较小较大可解释性卷积核能看到具体短语隐藏状态含义较抽象所以我的建议是小数据集、追求快速迭代优先用 CNN句子普遍较长、任务需要理解全局语义比如判断整篇文章的情感倾向优先用 LSTM/GRU。两者不是互斥关系很多人会在 LSTM 输出后接一个卷积层再做池化实测也有提升。3. 实操过程从数据预处理到模型训练3.1 数据预处理词典构建和序列填充是第一步拿 IMDb 数据集举例首先要做的是清洗文本。我在实际处理里只保留英文字母、数字和基本标点把大写转小写去掉 HTML 标签。注意不要过度清洗比如把 cant 强行拆成 can t 反而会破坏语义。之后用空格分词统计词频过滤掉出现次数少于 2 的词再给所有保留词从 1 开始编号0 留给填充字符PAD。词典构建有几个细节值得注意要不要保留停用词我的经验是不要删。深度学习模型能从上下文里学到停用词的功能性作用not 这种词对情感判断作用极大而传统的停用词表往往把这类词也删掉了反而伤精度而像 the 这种高频词模型会自动给它学到很接近零向量的表示等于自动忽略不用我们操心。序列填充要放在 batch 构建阶段做而不是预处理阶段一次性 pad原因很简单如果全数据集统一 pad 到最长的句子短句会被无意义的填充符占掉大量空间浪费显存和算力。3.2 模型构建的关键参数CNN 文本分类的模型定义我一般这么写import torch.nn as nn class TextCNN(nn.Module): def __init__(self, vocab_size, embed_dim, num_classes, kernel_sizes(3, 4, 5), num_filters100): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.convs nn.ModuleList([ nn.Conv1d(in_channelsembed_dim, out_channelsnum_filters, kernel_sizek) for k in kernel_sizes ]) self.fc nn.Linear(len(kernel_sizes) * num_filters, num_classes) self.dropout nn.Dropout(0.5) def forward(self, x): emb self.embedding(x) # [batch, seq_len, embed_dim] emb emb.transpose(1, 2) # [batch, embed_dim, seq_len]Conv1d 要求通道维在第二维 conv_outs [torch.max(torch.relu(conv(emb)), dim2)[0] for conv in self.convs] out torch.cat(conv_outs, dim1) return self.fc(self.dropout(out))注意两个细节第一为适配一维卷积的输入格式要把词向量矩阵从 [batch, seq_len, embed_dim] 转置成 [batch, embed_dim, seq_len]第二多组卷积核的输出在通道维度拼接后过全连接层每组卷积核提取不同粒度的 n-gram 特征。RNN 部分的模型定义则这样写class TextRNN(nn.Module): def __init__(self, vocab_size, embed_dim, hidden_dim, num_classes, num_layers2, bidirectionalTrue): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.lstm nn.LSTM(embed_dim, hidden_dim, num_layers, batch_firstTrue, bidirectionalbidirectional) self.fc nn.Linear(hidden_dim * (2 if bidirectional else 1), num_classes) self.dropout nn.Dropout(0.5) def forward(self, x): emb self.embedding(x) outputs, (h_n, c_n) self.lstm(emb) final_hidden h_n[-1] if not self.lstm.bidirectional else torch.cat((h_n[-2], h_n[-1]), dim1) return self.fc(self.dropout(final_hidden))这里比较关键的是如何取最终句子表示。常见做法有三种取最后一个时间步的隐藏状态、取所有时间步隐藏状态的均值或最大池化、取双向最后一层两个方向的隐藏状态拼接。我测下来的经验是对情感分类这类任务双向拼接最后一层效果最稳定而如果句子特别长平均池化的效果往往比只取最后一个状态更稳。3.3 训练超参数设置和损失函数选择文本分类是标准的多分类或二分类任务损失函数直接用交叉熵。优化器我推荐 Adam初始学习率 1e-3配合 ReduceLROnPlateau 按验证集 loss 自动衰减。batch size 在 GPU 上取 64 或 128CPU 上取 32 更稳妥。另一个被低估的参数是 embedding 初始化。直接从 torch.nn.Embedding 随机初始化模型需要花不少训练轮次来学词向量效果也一般如果换成预训练的 GloVe 词向量来初始化只须 3 到 4 个 epoch 就能达到随机初始化跑 10 个 epoch 的精度。GloVe 词向量在模型训练时会跟着微调所以不会出现词表不匹配就彻底没法用的问题词表里缺失的词就保留随机初始化。还有 dropout 的位置和比例。常见做法是在 embedding 输出后和全连接层前各加一次dropout 比例通常取 0.5。但要注意dropout 只在训练阶段生效预测时要关掉PyTorch 里 model.eval() 会自动处理不用手动干预。4. 常见问题与调参经验跑了三个项目才总结出的避坑清单4.1 Loss 一直不下降或震荡问题出在哪这是新手最常见的求助帖。我遇到过的原因通常是这几种第一学习率太大loss 在曲线上反复横跳把学习率降到 5e-4 以下一般能缓解第二embedding 层的 padding_idx 没有设置导致填充字符也参与了梯度更新白白让模型去学一堆无意义的填充位置向量第三标签类别数量没配对全连接层输出维度比实际类别数多或少了。最笨也最有效的排查方式是先随便取一个 batch 的数据做一次前向传播确认输出形状对了再开始训练不然调半天发现是维度不匹配就太冤了。4.2 显存不足batch size 和序列长度怎么取舍显存溢出的时候第一反应是调小 batch size这确实最直接但注意 batch size 过小比如 8会导致 BatchNorm 统计量不稳定。另一个被忽视的办法是检查自己有没有把序列长度设得过大。我见过有人把所有句子一律 pad 到 512而实际 90% 的样本长度都不到 100这里白白浪费了 4 倍以上的显存。统计句子长度分布取 P90 分位数作为 max_len通常能在不损失精度的情况下省掉一大半显存占用。4.3 训练集准确率高、测试集准确率低典型过拟合过拟合在小数据集上几乎必然出现。除了加 dropout还有两个方向值得做一是做早停early stopping监控验证集 loss连续 3 个 epoch 不下降就停止训练并恢复最优模型权重二是做数据增强。NLP 的数据增强不像图像那么好做但对文本分类有效的有两种——同义词替换和随机删除词。随机删除词的比例控制在 10% 以内相当于给模型加噪音做正则化实测能小幅提升泛化能力。4.4 中文文本分类要改哪些地方如果任务换成中文文本分类预处理环节会有发生变化。分词工具我推荐 jieba 或 thulacjieba 更常用thulac 在部分场景下分词更准。分词后构建词典的流程跟英文完全一致。预训练词向量方面中文有开源的全网新闻词向量Tencent AI Lab Embedding和词向量库维度一般是 200 或 300下载后转成 PyTorch 能加载的格式填充到 embedding 层即可。需要注意的一点是中文的标点和停用词跟英文差异不小建议用开源的中文停用词表做一次过滤但不没这类否定词千万别过滤。4.5 开源项目仓库跑不通的排查技巧跑 text-classification-cnn-rnn-master 这类仓库时最容易遇到的是环境版本问题。老项目里很多用的是 TensorFlow 1.x 或者旧版 PyTorchPython 版本一高就可能报 API 不存在。我的建议是直接用项目里的 requirements.txt 建一个虚拟环境Python 版本选 3.6 到 3.8 之间的老版本最稳妥。如果代码是 PyTorch 写的但用了旧 API通常把torch.nn.functional里那些过时参数名更新一下就能跑通。数据下载失败是另一个常见问题很多老项目的数据集需要从外部链接下载链接失效直接找 HuggingFace 上对应的数据集替代即可。调试时还有一个独门技巧写脚本时顺手加一个小的 dry-run 模式只加载 100 条样本跑 1 个 epoch用来验证整个流程链路是否通畅等确认没问题再全量训练。这个习惯帮我省下过大量等待时间也避免在数据预处理环节出错后白白跑了一整晚训练才发现。5. 最后的个人体会这套 CNNRNN 文本分类项目练熟之后再看更复杂的 SOTA 模型比如 Transformer、BERT会轻松很多。所有基于深度学习的 NLP 系统都逃不开詞嵌入、序列编码、特征聚合这几步区别只在于编码器的表达能力强弱。我个人的感受是把 CNN 的卷积核可视化、把 LSTM 不同时间步的隐藏状态输出来看看是比任何教程都来得直观的学习方式。先让基础模型跑起来、调得动、看得懂再往上层加复杂度这条路走下来是最稳的。本文还有配套的精品资源点击获取