简介这份资源是面向计算机、人工智能、通信、自动化等专业学生与从业者的中文微博情感分析完整项目可作为毕业设计、课程大作业或期末课程设计的参考方案也适合希望入门与进阶机器学习、深度学习的开发者学习借鉴。项目围绕中文微博文本展开情感倾向判别涵盖朴素贝叶斯、SVM、XGBoost等传统机器学习方法以及LSTM、BERT等深度学习模型并配有训练好的模型文件与说明文档便于对照理解不同算法的实现思路与效果差异。压缩包共20个文件以10个txt文本数据与停用词表、5个ipynb实验笔记、2个model模型文件为主另含1个py工具脚本、1个md说明文档及gitignore配置整体约1.85MB结构清晰、便于按模块查阅。目前已有130人学习下载。代码均经过调试测试可正常运行读者可据此快速复现实验流程、理解数据预处理与模型训练细节并在此基础上修改调整以实现个性化功能。1. 中文微博情感分析从一条“带刺”的评论说起中文微博情感分析这件事真正上手做过的人都知道最难的从来不是搭一个 LSTM 或者 BERT而是面对一条“呵呵真棒”时模型到底该判正还是判负。微博文本短、口语化、反讽多、表情符号和网络梗密集一条 30 字的评论里可能同时出现“笑死”“无语”“绝了”三个情感极性完全相反的词。基于各种机器学习和深度学习的中文微博情感分析源码文档说明本质上就是一套把这类脏数据一步步清洗、向量化、建模、评估的完整工程链路而不是单纯调个包跑个准确率。这套东西适合两类人一类是刚学完机器学习、深度学习课程想找一个能写进简历、能跑通全流程的中文 NLP 项目练手的学生另一类是做舆情监控、产品评论分析、品牌口碑追踪的工程师需要一套可复现的基线方案再根据自己业务数据微调。它解决的核心问题是给定一批中文微博文本自动输出每条文本的情感倾向正向、负向、中性并给出可解释的评估指标。下面我按自己实际做过的路径把选型、代码、参数和踩过的坑讲清楚。2. 数据准备与中文微博文本清洗别急着喂给模型2.1 微博语料长什么样先做一次人工抽样拿到任何一份中文微博情感分析数据集第一件事不是写 DataLoader而是随机抽 200 条打印出来看。常见公开语料大致分两类一类是带人工标注的评论数据字段通常是text、label另一类是爬虫抓取的原始微博字段多出user、time、repost_count、comment_count等。我一般会先跑一段统计脚本看文本长度分布、标签分布、重复率。import pandas as pd df pd.read_csv(weibo_senti_100k.csv) print(df[label].value_counts(normalizeTrue)) print(df[text].str.len().describe()) print(重复文本占比:, df[text].duplicated().mean())这段代码做三件事看标签是否均衡、看文本长度是否集中在极短区间、看重复率。微博语料重复率经常超过 5%尤其是转发同一句话的样本如果不去重模型会记住这句话而不是学会判断情感。参数上normalizeTrue让标签分布以比例显示比绝对数量更直观str.len()统计的是字符数中文微博平均长度通常在 40 到 80 字之间超过 200 字的样本要单独检查是不是混入了长文或广告。2.2 清洗规则正则、表情、话题标签怎么处理中文微博清洗有一套相对固定的流程但每一步都要想清楚保留还是删除。常见做法是去掉 URL、去掉 某人、把话题标签#话题#里的内容保留但去掉井号、把连续重复字符压缩、把表情符号转成文字或统一占位符。这里给一个我常用的清洗函数。import re def clean_weibo(text): text re.sub(rhttp[s]?://\S, , text) # 去 URL text re.sub(r[\w\u4e00-\u9fa5-], , text) # 去 用户 text re.sub(r#([^#])#, r\1, text) # 话题保留内容 text re.sub(r(.)\1{2,}, r\1\1, text) # 压缩重复字符 text re.sub(r\s, , text).strip() # 合并空白 return text逻辑说明URL 和 对情感判断几乎没有贡献反而引入噪声话题标签里的文字往往包含关键情感词所以保留内容去掉符号连续重复字符如“哈哈哈哈”压缩成“哈哈”既保留强度又避免词表爆炸。参数上\1{2,}表示同一字符重复 3 次及以上才压缩保留两次是为了区分“哈哈”和“哈”。表情符号我一般单独处理用emoji库转成中文描述比如“”转成“笑哭”因为微博情感里表情的极性非常强直接删掉会损失信息。2.3 标签体系与数据划分的坑中文微博情感分析的标签体系常见有二分正向/负向和三分正向/中性/负向。如果原始数据只有二分不要硬造中性类否则模型会把中性样本学成随机猜测。划分训练集、验证集、测试集时我习惯按 8:1:1 分层抽样保证每个集合里标签比例一致。from sklearn.model_selection import train_test_split train_df, temp_df train_test_split(df, test_size0.2, stratifydf[label], random_state42) val_df, test_df train_test_split(temp_df, test_size0.5, stratifytemp_df[label], random_state42)stratify参数是关键不加的话小类别可能在验证集里只剩几条评估指标波动极大。random_state固定后每次运行划分一致方便复现。这里有个血泪经验微博数据里经常有同一用户连续发多条相似内容如果按行随机划分训练集和测试集会出现同一用户的相似文本导致测试准确率虚高。更严格的做法是按用户 ID 分组划分但公开语料往往没有用户字段只能退而求其次做文本去重。3. 传统机器学习基线TF-IDF 加线性模型为什么还值得跑3.1 为什么先跑传统模型而不是直接上 BERT很多人一上来就 import transformers结果发现显存不够、训练慢、调参玄学最后连基线是多少都不知道。我的习惯是先用 TF-IDF 加逻辑回归或 SVM 跑一个基线原因有三第一训练快几分钟出结果能快速验证数据清洗和标签有没有问题第二可解释性强能看哪些词权重高判断模型是不是学到了奇怪的东西第三深度学习模型如果连传统基线都超不过说明数据或标签有问题不是模型不够深。from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.linear_model import LogisticRegression from sklearn.pipeline import Pipeline from sklearn.metrics import classification_report pipe Pipeline([ (tfidf, TfidfVectorizer(max_features50000, ngram_range(1, 2), min_df3)), (clf, LogisticRegression(max_iter1000, C1.0)) ]) pipe.fit(train_df[text], train_df[label]) pred pipe.predict(test_df[text]) print(classification_report(test_df[label], pred))逻辑说明TfidfVectorizer把文本转成稀疏向量ngram_range(1,2)同时考虑单字词和双字词中文里“不错”和“不 错”差别很大双字词能捕捉一部分否定搭配。min_df3过滤掉只出现一两次的稀有词降低噪声。LogisticRegression的C是正则化强度的倒数C 越大正则越弱微博短文本我一般从 1.0 开始试过拟合就降到 0.1。3.2 参数怎么调从 max_features 到 ngram_range传统模型的可调参数不多但每个都影响明显。max_features控制词表大小微博语料 10 万条左右时5 万词表通常够用再大提升有限还拖慢训练。ngram_range从 (1,1) 升到 (1,2) 一般能涨 1 到 2 个点但升到 (1,3) 容易过拟合且特征维度爆炸。min_df和max_df配合使用max_df0.9可以去掉“的”“了”这类几乎每条都出现的词但中文停用词表已经能处理大部分我一般只设min_df。tfidf TfidfVectorizer( max_features50000, ngram_range(1, 2), min_df3, sublinear_tfTrue )sublinear_tfTrue用 1log(tf) 替代原始词频抑制高频词 dominance微博里“哈哈”出现次数极多不加这个参数它的权重会过高。这个参数在短文本上通常有 0.5 到 1 个点的提升属于低成本高回报的调整。3.3 传统模型的评估与错误分析跑完基线不要只看 accuracy微博情感分析如果标签不均衡accuracy 会被多数类带偏。重点看 macro F1 和每个类别的 precision/recall。我一般会把预测错误的样本导出来按错误类型分类反讽、否定、表情干扰、标签噪声。test_df test_df.copy() test_df[pred] pred errors test_df[test_df[label] ! test_df[pred]] errors.to_csv(errors.csv, indexFalse)导出后人工看 50 条如果发现大量“呵呵”“微笑”被误判说明模型没学到反讽这时候要么加特征要么换深度学习模型。如果发现错误样本本身标签就模棱两可那是标注质量问题不是模型问题。这一步很多人跳过结果在错误的方向上调了半天参。4. 深度学习模型实战TextCNN、BiLSTM 与 BERT 的取舍4.1 TextCNN 在微博短文本上的最小实现TextCNN 是我在微博情感分析里最推荐的深度学习入门模型结构简单、训练快、效果不差。核心思想是用不同尺寸的卷积核捕捉不同长度的 n-gram 特征。下面是一个基于 PyTorch 的最小实现。import torch import torch.nn as nn class TextCNN(nn.Module): def __init__(self, vocab_size, embed_dim128, num_classes2, filter_sizes[2,3,4], num_filters128): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.convs nn.ModuleList([ nn.Conv2d(1, num_filters, (fs, embed_dim)) for fs in filter_sizes ]) self.dropout nn.Dropout(0.5) self.fc nn.Linear(num_filters * len(filter_sizes), num_classes) def forward(self, x): x self.embedding(x) # [B, L, D] x x.unsqueeze(1) # [B, 1, L, D] x [torch.relu(conv(x)).squeeze(3) for conv in self.convs] x [torch.max_pool1d(f, f.size(2)).squeeze(2) for f in x] x torch.cat(x, dim1) x self.dropout(x) return self.fc(x)逻辑说明nn.Conv2d(1, num_filters, (fs, embed_dim))中卷积核宽度等于词向量维度相当于在词序列上滑动fs分别取 2、3、4 捕捉二元、三元、四元词组特征。max_pool1d对每个特征图取最大值保留最强信号。dropout0.5是微博数据上的常用值数据量小于 5 万时甚至可以到 0.6。padding_idx0让 padding 的词向量不参与梯度更新。4.2 BiLSTM 与注意力机制什么时候值得上TextCNN 的局限是感受野固定对长距离依赖和语序不敏感。微博里“不是不好”和“不好”情感相反但 CNN 的 2-gram 可能捕捉不到“不是”对“不好”的修饰。BiLSTM 加注意力能缓解这个问题但训练慢、调参多。我的判断标准是如果数据量超过 10 万条且错误分析里否定和反讽占比高就上 BiLSTM否则 TextCNN 够用。class BiLSTMAttention(nn.Module): def __init__(self, vocab_size, embed_dim128, hidden_dim128, num_classes2): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.lstm nn.LSTM(embed_dim, hidden_dim, batch_firstTrue, bidirectionalTrue) self.attn nn.Linear(hidden_dim * 2, 1) self.fc nn.Linear(hidden_dim * 2, num_classes) def forward(self, x): emb self.embedding(x) out, _ self.lstm(emb) score torch.softmax(self.attn(out), dim1) context torch.sum(score * out, dim1) return self.fc(context)bidirectionalTrue让每个时刻的输出同时包含前后文信息。注意力层self.attn给每个时刻打分softmax归一化后加权求和让模型自动关注“不”“没”这类关键否定词。hidden_dim128是微博数据上的常用起点数据量大可以加到 256但要注意过拟合。4.3 BERT 微调中文预训练模型怎么选、怎么省显存BERT 类模型在中文微博情感分析上通常比 TextCNN 高 3 到 8 个点但代价是显存和训练时间。中文预训练模型常见有 bert-base-chinese、roberta-base-chinese 等选择时优先看预训练语料是否包含社交媒体文本。微调时最大长度设 128 通常够用微博超过 128 字的比例很低。from transformers import BertTokenizer, BertForSequenceClassification, Trainer, TrainingArguments tokenizer BertTokenizer.from_pretrained(bert-base-chinese) model BertForSequenceClassification.from_pretrained(bert-base-chinese, num_labels2) def tokenize(batch): return tokenizer(batch[text], paddingmax_length, truncationTrue, max_length128) train_enc train_df.apply(lambda r: tokenizer(r[text], truncationTrue, max_length128), axis1)显存不够时优先降batch_size到 16 或 8开启梯度累积gradient_accumulation_steps2等效增大 batch。max_length128比 256 省近一半显存微博场景损失很小。学习率用 2e-5 到 5e-5epoch 一般 3 到 5 轮超过 5 轮几乎必然过拟合。这里有个玄学BERT 在微博数据上有时不如在新闻数据上稳定因为微博口语和预训练语料分布差异大可以先用领域数据做继续预训练但成本高一般项目不值得。5. 避坑与排查微博情感分析里最容易翻车的五件事5.1 现象测试准确率 95%上线后一塌糊涂原因训练集和测试集来自同一批爬虫、同一时间段分布几乎一致模型学到了时间或来源相关的伪特征。解决按时间划分训练集和测试集或者至少混入不同时间段的数据做验证。我一般会留一个“跨时间测试集”专门看模型衰减。5.2 现象模型把“呵呵”判成正向原因训练语料里“呵呵”多数出现在正向语境或者标注者按字面标了正向。解决检查标注质量对反讽样本单独加权或过采样也可以在预处理阶段把“呵呵”“微笑”等已知反讽词替换成特殊标记让模型单独学习。5.3 现象验证集 loss 震荡准确率不升原因学习率太大或 batch_size 太小微博短文本梯度噪声大。解决BERT 微调学习率降到 2e-5TextCNN 用 1e-3 并加学习率预热batch_size 至少 32太小就梯度累积。5.4 现象分词后词表巨大训练极慢原因用了字级别分词但没限制词表或者用了词级别分词但没过滤低频词。解决中文微博我一般用字级别词表控制在 1 万到 2 万超出部分统一为 UNK如果用 jieba 分词先统计词频低频词直接过滤。5.5 现象模型对表情符号完全无感原因预处理把表情全删了。解决用 emoji 库把表情转成中文描述再拼接回文本或者把表情作为额外特征输入。微博里“”和“”的极性非常明确丢掉可惜。6. 进阶技巧用对抗验证和置信学习把微博情感分析做扎实6.1 对抗验证快速判断训练集和测试集是否同分布对抗验证的做法是把训练集和测试集混在一起训练一个分类器去区分样本来自哪个集合。如果 AUC 明显高于 0.5说明两个集合分布差异大模型在测试集上的表现不可信。这个技巧在微博情感分析里特别有用因为微博数据随时间变化快今天的热词明天就过时了。import numpy as np from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import cross_val_score train_df[is_test] 0 test_df[is_test] 1 combined pd.concat([train_df, test_df]) X TfidfVectorizer(max_features20000).fit_transform(combined[text]) y combined[is_test] auc cross_val_score(RandomForestClassifier(), X, y, cv3, scoringroc_auc).mean() print(对抗验证 AUC:, auc)AUC 在 0.5 到 0.6 之间说明分布基本一致0.6 到 0.7 要警惕超过 0.7 说明测试集不能代表训练集分布需要重新划分或补充数据。这个指标比单纯看准确率更能反映模型的真实泛化能力。6.2 置信学习从标签噪声里捞出被标错的样本微博语料很多是众包标注标签噪声不可避免。置信学习Confident Learning的思路是用交叉验证的预测概率找出那些模型预测和给定标签严重不一致的样本人工复核。cleanlab库可以直接做这件事。from cleanlab.filter import find_label_issues from sklearn.model_selection import cross_val_predict pred_probs cross_val_predict(pipe, train_df[text], train_df[label], methodpredict_proba, cv5) issues find_label_issues(train_df[label].values, pred_probs) print(疑似错标样本数:, len(issues))find_label_issues返回的是索引把这些样本导出来人工看通常能发现 2% 到 5% 的标签错误。修正后再训练macro F1 往往能涨 1 到 3 个点。这一步在学术数据集上提升有限但在自己爬的微博数据上效果明显。6.3 一个我常用的验证习惯每次训练完模型我不会只看测试集指标而是固定抽 100 条最新爬的、没参与训练的微博人工标一遍看模型在这批“新鲜数据”上的表现。这个习惯帮我避免了好几次“测试集很美、上线就崩”的翻车。模型不是越深越好数据清洗和标签质量才是天花板。希望帮到你。本文还有配套的精品资源点击获取