简介这是一套面向计算机相关专业学生与初学者的网络舆情分析系统毕业设计源码基于Python实现可用于毕业设计、期末大作业、课程设计或项目立项演示。系统功能完善、界面美观、操作便捷涵盖舆情数据采集、情感分析与结果可视化等模块代码注释详尽新手也能看懂并快速部署运行。资源包共35个文件以13个py源码文件为核心辅以txt说明文档、pb模型文件、data数据分片、png与jpeg界面截图及md说明等压缩包约73.2MB前后端代码与数据库脚本齐全目录结构清晰。目前已有203人学习下载项目经严格调试确保可运行并获导师认可、答辩评审95分。读者可据此直接完成毕设或课设也可在现有代码基础上修改扩展实现更多功能适合作为学习进阶与项目实战的参考。1. 从一份能跑通的网络舆情分析系统说起如果你正在为计算机毕业设计发愁尤其是选题落在「网络舆情分析」「情感分析」「文本挖掘」这类方向上那这套基于 Python 的网络舆情分析系统源码值得先看一眼。它不是那种只丢几个.py文件、跑起来一堆报错的半成品而是带完整说明、含数据库脚本、前后端代码齐全的可运行项目。解压后能看到chinese_sentimentmaster、data、hotel_comment、model、cnn、lstm、score_report.py这些目录和文件结构上已经覆盖了从数据采集、模型训练到结果展示的完整链路。适合谁计算机、人工智能、通信工程、自动化、电子信息、物联网等专业的在校学生也适合想快速搭一个文本情感分析原型的开发者。它解决的核心问题是让你不用从零造轮子就能拿到一套有注释、能部署、能改的舆情分析底座。2. 拆开压缩包目录结构与技术栈选型2.1 从文件清单反推系统架构拿到python的网络舆情分析系统完整源码说明.zip后先别急着双击运行。我一般会先解压然后用tree或文件管理器把目录过一遍。从项目正文给出的文件清单来看这套系统的骨架大致是这样的路径/文件作用推断技术栈线索chinese_sentimentmaster中文情感分析主模块Python 中文 NLPdata原始数据与训练数据存放CSV/TXT 文本语料hotel_comment酒店评论数据集带标签的文本分类数据model模型保存与加载目录深度学习模型文件cnn/lstm卷积神经网络 / 长短期记忆网络实现TensorFlow 或 PyTorchscore_report.py评分与报告生成脚本Python 脚本README.md项目说明与部署指引Markdown.gitignoreGit 忽略规则版本控制这个结构说明它不是纯 Web 项目而是「NLP 模型 数据 报告输出」的组合。cnn和lstm同时出现意味着项目里至少实现了两种文本分类模型方便对比效果。hotel_comment这个数据集名很关键——它暗示系统默认用酒店评论做情感二分类或五分类训练这是中文情感分析里非常经典的入门数据集。2.2 为什么选 CNN 和 LSTM 做舆情分析网络舆情分析的本质是把海量文本按情感倾向分类正面、负面、中性。传统做法用词典加规则但遇到反讽、网络新词、长句就翻车。这套源码选了 CNN 和 LSTM 两条路线是有道理的。CNN 处理文本时把词向量排成矩阵用卷积核滑动提取局部 n-gram 特征。它的优势是训练快、并行度高对「酒店隔音差」「服务态度好」这种短评很敏感。LSTM 则按时间步读入词序列靠门控机制记住长距离依赖适合「虽然房间小但是位置好整体还算满意」这种转折句。项目里两个模型都给了你可以分别跑看哪个在hotel_comment上准确率高再决定毕设里主推哪个。常见做法是先用jieba分词去掉停用词把句子转成词索引序列再喂给Embedding层。CNN 接Conv1DGlobalMaxPoolingLSTM 接Bidirectional(LSTM)Dense。这套流程在chinese_sentimentmaster里应该有对应实现注释会帮你定位。2.3 环境准备Python 版本与依赖安装项目没有在正文里写死 Python 版本但这类中文情感分析项目我一般会选 Python 3.7 到 3.9因为 TensorFlow 1.x 和 2.x 的兼容性在这几个版本上最稳。如果你用 Python 3.10 以上某些旧版深度学习库可能装不上。先建虚拟环境别污染系统 Python# 创建虚拟环境名字叫 venv python -m venv venv # Windows 激活 venv\Scripts\activate # macOS / Linux 激活 source venv/bin/activate激活后看README.md里有没有requirements.txt。如果有直接pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple如果没有按常见依赖手动装pip install numpy pandas jieba tensorflow scikit-learn matplotlib参数说明-i指定清华镜像源国内下载快很多。tensorflow默认装 CPU 版毕设够用如果你有 NVIDIA 显卡且想跑 GPU换成tensorflow-gpu但要先装 CUDA 和 cuDNN版本必须和 TensorFlow 对应否则会报Could not load dynamic library cudart64_xxx.dll。提示装完 TensorFlow 后用python -c import tensorflow as tf; print(tf.__version__)验证。如果报DLL load failed八成是 Visual C Redistributable 没装去微软官网下最新的 x64 版本。3. 跑通训练与预测从数据到 score_report3.1 数据预处理分词、去停用词、序列截断hotel_comment目录里大概率是 CSV 或 TXT每行一条评论加标签。先写个小脚本看一眼数据长什么样import pandas as pd # 假设文件是 CSV列名为 comment 和 label df pd.read_csv(hotel_comment/data.csv, encodingutf-8) print(df.head()) print(df[label].value_counts())如果报UnicodeDecodeError把encoding换成gbk或utf-8-sig。中文数据集编码很玄学三种都试一遍。接着做分词和去停用词import jieba # 加载停用词表项目 data 目录下一般有 stopwords.txt with open(data/stopwords.txt, r, encodingutf-8) as f: stopwords set([line.strip() for line in f]) def preprocess(text): # 结巴分词精确模式 words jieba.lcut(text) # 去掉停用词和空白符 words [w for w in words if w not in stopwords and w.strip()] return words df[words] df[comment].apply(preprocess) print(df[words].head())逻辑说明jieba.lcut返回列表比jieba.cut方便后续处理。停用词表通常包含「的」「了」「是」这类高频无意义词去掉后能降低噪声。参数上jieba.lcut默认精确模式如果你发现「不错」被切成「不」「错」可以加载自定义词典jieba.load_userdict(data/userdict.txt)。然后建词表把词映射成整数索引from collections import Counter # 统计词频取前 10000 个词 all_words [w for words in df[words] for w in words] word_counts Counter(all_words) vocab [w for w, _ in word_counts.most_common(10000)] # 词到索引0 留给 padding word2idx {w: i 1 for i, w in enumerate(vocab)} def words_to_ids(words, max_len100): ids [word2idx.get(w, 0) for w in words] # 截断或补零到固定长度 if len(ids) max_len: ids ids [0] * (max_len - len(ids)) else: ids ids[:max_len] return ids df[ids] df[words].apply(words_to_ids)参数说明max_len100是常见选择酒店评论一般不超过 100 个词。太长会增加计算量太短会丢信息。word2idx.get(w, 0)里 0 表示未知词因为索引从 1 开始。补零用pad_sequences也行但手动写更直观。3.2 CNN 与 LSTM 模型搭建要点项目里cnn和lstm两个目录我一般会先看模型定义文件。以 Keras 为例CNN 文本分类的核心代码大概长这样from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Embedding, Conv1D, GlobalMaxPooling1D, Dense, Dropout model_cnn Sequential([ # 词表大小 10001 embedding 维度 128 输入长度 100 Embedding(input_dim10001, output_dim128, input_length100), # 256 个卷积核 窗口大小 3 激活函数 relu Conv1D(filters256, kernel_size3, activationrelu), GlobalMaxPooling1D(), Dropout(0.5), Dense(1, activationsigmoid) # 二分类 ]) model_cnn.compile(optimizeradam, lossbinary_crossentropy, metrics[accuracy]) model_cnn.summary()逻辑说明Embedding把整数索引转成稠密向量input_dim要等于词表大小加 1。Conv1D在序列上滑动kernel_size3表示每次看 3 个词。GlobalMaxPooling1D取每个特征图的最大值把变长输出压成固定长度。Dropout(0.5)防过拟合。最后Dense(1, sigmoid)输出 0 到 1 的概率。LSTM 版本from tensorflow.keras.layers import LSTM, Bidirectional model_lstm Sequential([ Embedding(input_dim10001, output_dim128, input_length100), # 双向 LSTM 64 个单元 Bidirectional(LSTM(64, return_sequencesFalse)), Dropout(0.5), Dense(1, activationsigmoid) ]) model_lstm.compile(optimizeradam, lossbinary_crossentropy, metrics[accuracy]) model_lstm.summary()参数说明Bidirectional让 LSTM 同时从左到右和从右到左读捕捉双向上下文。return_sequencesFalse表示只取最后一个时间步的输出。单元数 64 是折中太大容易过拟合太小欠拟合。训练时用model.fitimport numpy as np X np.array(df[ids].tolist()) y np.array(df[label].tolist()) # 划分训练集和验证集 from sklearn.model_selection import train_test_split X_train, X_val, y_train, y_val train_test_split(X, y, test_size0.2, random_state42) history model_cnn.fit(X_train, y_train, validation_data(X_val, y_val), epochs10, batch_size32)epochs10先跑跑看如果验证集准确率还在涨可以加到 20。batch_size32是常见起点显存不够就降到 16。3.3 score_report.py 与结果输出score_report.py这个文件名暗示它负责生成评分报告。跑完训练后通常会加载保存的模型对测试集预测然后输出准确率、精确率、召回率、F1 值可能还有混淆矩阵。from sklearn.metrics import classification_report, confusion_matrix # 加载训练好的模型 model_cnn.load_weights(model/cnn_weights.h5) # 预测 y_pred_prob model_cnn.predict(X_val) y_pred (y_pred_prob 0.5).astype(int) # 输出报告 print(classification_report(y_val, y_pred, target_names[负面, 正面])) print(confusion_matrix(y_val, y_pred))逻辑说明load_weights加载权重前提是模型结构已经定义好。y_pred_prob 0.5把概率转成类别阈值 0.5 可调——如果负面样本漏检多可以降到 0.4。classification_report输出每个类别的精确率、召回率、F1直接贴进毕设论文的「实验结果」章节。如果score_report.py里还集成了可视化可能会用matplotlib画训练曲线import matplotlib.pyplot as plt plt.plot(history.history[accuracy], labeltrain_acc) plt.plot(history.history[val_accuracy], labelval_acc) plt.xlabel(Epoch) plt.ylabel(Accuracy) plt.legend() plt.savefig(score_report_accuracy.png)注意matplotlib默认不支持中文画图前加plt.rcParams[font.sans-serif] [SimHei]否则标签全是方框。4. 避坑与排查那些让我熬夜的报错4.1 编码错误UnicodeDecodeError 反复出现现象读hotel_comment里的 CSV 或 TXT 时Python 抛UnicodeDecodeError: utf-8 codec cant decode byte 0xca in position 0。原因Windows 下很多中文数据集是 GBK 编码不是 UTF-8。项目说明里没写编码格式直接按 UTF-8 读就翻车。解决先试encodinggbk再试encodingutf-8-sig。如果还不行用chardet检测import chardet with open(hotel_comment/data.csv, rb) as f: result chardet.detect(f.read(10000)) print(result[encoding])拿到编码后统一转成 UTF-8 保存后续就不用反复改。4.2 词表越界IndexError 或 InvalidArgumentError现象训练时 Keras 报InvalidArgumentError: indices[0,0] 10005 is not in [0, 10001)。原因Embedding的input_dim设成了 10001但词表里实际有 10005 个词索引超出范围。解决input_dim必须大于等于max(word2idx.values()) 1。建词表后打印len(word2idx)把input_dim设成len(word2idx) 1。别硬编码 10001。4.3 模型不收敛准确率卡在 50%现象训练几轮后训练集和验证集准确率都在 0.5 左右损失不降。原因标签没对齐或者数据没打乱。比如 CSV 里前 500 行全是正面后 500 行全是负面train_test_split前没shuffle模型学不到东西。解决train_test_split默认会打乱但如果你手动切分记得先df df.sample(frac1).reset_index(dropTrue)。另外检查标签是不是 0 和 1如果标签是「正面」「负面」字符串要映射成整数。4.4 显存不足CUDA out of memory现象用 GPU 跑 LSTM 时报ResourceExhaustedError: OOM when allocating tensor。原因batch_size太大或者 LSTM 单元数太多显存扛不住。解决先把batch_size降到 16 或 8。如果还不行把Bidirectional(LSTM(64))改成LSTM(32)。再不行就os.environ[CUDA_VISIBLE_DEVICES] -1强制用 CPU慢但能跑通。4.5 路径错误FileNotFoundError现象运行score_report.py时报FileNotFoundError: [Errno 2] No such file or directory: model/cnn_weights.h5。原因工作目录不对。你在项目根目录跑脚本但脚本里写的是相对路径而模型文件在model子目录下。解决用os.path.dirname(os.path.abspath(__file__))获取脚本所在目录再拼接路径import os BASE_DIR os.path.dirname(os.path.abspath(__file__)) model_path os.path.join(BASE_DIR, model, cnn_weights.h5)这样不管从哪个目录运行路径都不会错。5. 进阶技巧把舆情系统改成你自己的毕设5.1 换数据集从酒店评论到微博舆情hotel_comment只是默认数据集毕设想拿高分最好换成更贴近「网络舆情」的数据比如微博评论、新闻跟帖。常见做法是用requests加BeautifulSoup抓公开页面但要注意遵守 robots 协议别高频请求。抓下来后整理成两列text和label。label 可以人工标注几百条再用模型预测剩余这叫半监督。如果不想标注可以用SnowNLP先打弱标签再训练。from snownlp import SnowNLP def weak_label(text): score SnowNLP(text).sentiments return 1 if score 0.6 else 0 # 大于 0.6 算正面 df[label] df[text].apply(weak_label)参数说明0.6是阈值调高则正面样本更纯但数量少调低则反之。弱标签噪声大训练时可以把Dropout加到 0.6或者用label_smoothing。5.2 模型融合CNN LSTM 投票提升 F1单模型 F1 卡在 0.85 上不去试试融合。把 CNN 和 LSTM 的预测概率平均pred_cnn model_cnn.predict(X_val) pred_lstm model_lstm.predict(X_val) pred_ensemble (pred_cnn pred_lstm) / 2 y_pred_ensemble (pred_ensemble 0.5).astype(int) print(classification_report(y_val, y_pred_ensemble))逻辑说明两个模型侧重点不同CNN 抓局部特征LSTM 抓序列依赖平均后能互补。如果效果还不明显可以加权0.6 * pred_cnn 0.4 * pred_lstm权重按验证集 F1 调。5.3 用 score_report.py 生成论文图表毕设论文需要图表score_report.py可以扩展成自动生成混淆矩阵热力图和 ROC 曲线import seaborn as sns from sklearn.metrics import roc_curve, auc # 混淆矩阵热力图 cm confusion_matrix(y_val, y_pred) sns.heatmap(cm, annotTrue, fmtd, cmapBlues) plt.xlabel(预测) plt.ylabel(真实) plt.savefig(confusion_matrix.png, dpi300) # ROC 曲线 fpr, tpr, _ roc_curve(y_val, y_pred_prob) roc_auc auc(fpr, tpr) plt.plot(fpr, tpr, labelfAUC {roc_auc:.2f}) plt.plot([0, 1], [0, 1], k--) plt.legend() plt.savefig(roc_curve.png, dpi300)dpi300保证论文打印清晰。annotTrue在格子里显示数字。这两张图往论文里一放实验部分就充实了。5.4 部署成简单 Web 界面如果毕设要求演示可以用Flask包一层from flask import Flask, request, jsonify app Flask(__name__) app.route(/predict, methods[POST]) def predict(): text request.json[text] words preprocess(text) ids words_to_ids(words) prob model_cnn.predict(np.array([ids]))[0][0] return jsonify({sentiment: 正面 if prob 0.5 else 负面, score: float(prob)}) if __name__ __main__: app.run(debugTrue)启动后用 Postman 或前端页面发 POST 请求就能看到实时预测结果。debugTrue方便调试正式演示时改成False。从那以后我每次拿到这类毕设源码都强制先跑一遍README.md里的步骤再检查编码、路径、词表大小这三个地方。血泪经验告诉我90% 的报错都出在这三处。希望这套网络舆情分析系统能帮你顺利通过答辩也希望你改完之后能真正理解 CNN 和 LSTM 在中文文本上是怎么工作的。本文还有配套的精品资源点击获取 Python网络舆情分析系统源码：CNN与LSTM情感分析实战
简介这是一套面向计算机相关专业学生与初学者的网络舆情分析系统毕业设计源码基于Python实现可用于毕业设计、期末大作业、课程设计或项目立项演示。系统功能完善、界面美观、操作便捷涵盖舆情数据采集、情感分析与结果可视化等模块代码注释详尽新手也能看懂并快速部署运行。资源包共35个文件以13个py源码文件为核心辅以txt说明文档、pb模型文件、data数据分片、png与jpeg界面截图及md说明等压缩包约73.2MB前后端代码与数据库脚本齐全目录结构清晰。目前已有203人学习下载项目经严格调试确保可运行并获导师认可、答辩评审95分。读者可据此直接完成毕设或课设也可在现有代码基础上修改扩展实现更多功能适合作为学习进阶与项目实战的参考。1. 从一份能跑通的网络舆情分析系统说起如果你正在为计算机毕业设计发愁尤其是选题落在「网络舆情分析」「情感分析」「文本挖掘」这类方向上那这套基于 Python 的网络舆情分析系统源码值得先看一眼。它不是那种只丢几个.py文件、跑起来一堆报错的半成品而是带完整说明、含数据库脚本、前后端代码齐全的可运行项目。解压后能看到chinese_sentimentmaster、data、hotel_comment、model、cnn、lstm、score_report.py这些目录和文件结构上已经覆盖了从数据采集、模型训练到结果展示的完整链路。适合谁计算机、人工智能、通信工程、自动化、电子信息、物联网等专业的在校学生也适合想快速搭一个文本情感分析原型的开发者。它解决的核心问题是让你不用从零造轮子就能拿到一套有注释、能部署、能改的舆情分析底座。2. 拆开压缩包目录结构与技术栈选型2.1 从文件清单反推系统架构拿到python的网络舆情分析系统完整源码说明.zip后先别急着双击运行。我一般会先解压然后用tree或文件管理器把目录过一遍。从项目正文给出的文件清单来看这套系统的骨架大致是这样的路径/文件作用推断技术栈线索chinese_sentimentmaster中文情感分析主模块Python 中文 NLPdata原始数据与训练数据存放CSV/TXT 文本语料hotel_comment酒店评论数据集带标签的文本分类数据model模型保存与加载目录深度学习模型文件cnn/lstm卷积神经网络 / 长短期记忆网络实现TensorFlow 或 PyTorchscore_report.py评分与报告生成脚本Python 脚本README.md项目说明与部署指引Markdown.gitignoreGit 忽略规则版本控制这个结构说明它不是纯 Web 项目而是「NLP 模型 数据 报告输出」的组合。cnn和lstm同时出现意味着项目里至少实现了两种文本分类模型方便对比效果。hotel_comment这个数据集名很关键——它暗示系统默认用酒店评论做情感二分类或五分类训练这是中文情感分析里非常经典的入门数据集。2.2 为什么选 CNN 和 LSTM 做舆情分析网络舆情分析的本质是把海量文本按情感倾向分类正面、负面、中性。传统做法用词典加规则但遇到反讽、网络新词、长句就翻车。这套源码选了 CNN 和 LSTM 两条路线是有道理的。CNN 处理文本时把词向量排成矩阵用卷积核滑动提取局部 n-gram 特征。它的优势是训练快、并行度高对「酒店隔音差」「服务态度好」这种短评很敏感。LSTM 则按时间步读入词序列靠门控机制记住长距离依赖适合「虽然房间小但是位置好整体还算满意」这种转折句。项目里两个模型都给了你可以分别跑看哪个在hotel_comment上准确率高再决定毕设里主推哪个。常见做法是先用jieba分词去掉停用词把句子转成词索引序列再喂给Embedding层。CNN 接Conv1DGlobalMaxPoolingLSTM 接Bidirectional(LSTM)Dense。这套流程在chinese_sentimentmaster里应该有对应实现注释会帮你定位。2.3 环境准备Python 版本与依赖安装项目没有在正文里写死 Python 版本但这类中文情感分析项目我一般会选 Python 3.7 到 3.9因为 TensorFlow 1.x 和 2.x 的兼容性在这几个版本上最稳。如果你用 Python 3.10 以上某些旧版深度学习库可能装不上。先建虚拟环境别污染系统 Python# 创建虚拟环境名字叫 venv python -m venv venv # Windows 激活 venv\Scripts\activate # macOS / Linux 激活 source venv/bin/activate激活后看README.md里有没有requirements.txt。如果有直接pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple如果没有按常见依赖手动装pip install numpy pandas jieba tensorflow scikit-learn matplotlib参数说明-i指定清华镜像源国内下载快很多。tensorflow默认装 CPU 版毕设够用如果你有 NVIDIA 显卡且想跑 GPU换成tensorflow-gpu但要先装 CUDA 和 cuDNN版本必须和 TensorFlow 对应否则会报Could not load dynamic library cudart64_xxx.dll。提示装完 TensorFlow 后用python -c import tensorflow as tf; print(tf.__version__)验证。如果报DLL load failed八成是 Visual C Redistributable 没装去微软官网下最新的 x64 版本。3. 跑通训练与预测从数据到 score_report3.1 数据预处理分词、去停用词、序列截断hotel_comment目录里大概率是 CSV 或 TXT每行一条评论加标签。先写个小脚本看一眼数据长什么样import pandas as pd # 假设文件是 CSV列名为 comment 和 label df pd.read_csv(hotel_comment/data.csv, encodingutf-8) print(df.head()) print(df[label].value_counts())如果报UnicodeDecodeError把encoding换成gbk或utf-8-sig。中文数据集编码很玄学三种都试一遍。接着做分词和去停用词import jieba # 加载停用词表项目 data 目录下一般有 stopwords.txt with open(data/stopwords.txt, r, encodingutf-8) as f: stopwords set([line.strip() for line in f]) def preprocess(text): # 结巴分词精确模式 words jieba.lcut(text) # 去掉停用词和空白符 words [w for w in words if w not in stopwords and w.strip()] return words df[words] df[comment].apply(preprocess) print(df[words].head())逻辑说明jieba.lcut返回列表比jieba.cut方便后续处理。停用词表通常包含「的」「了」「是」这类高频无意义词去掉后能降低噪声。参数上jieba.lcut默认精确模式如果你发现「不错」被切成「不」「错」可以加载自定义词典jieba.load_userdict(data/userdict.txt)。然后建词表把词映射成整数索引from collections import Counter # 统计词频取前 10000 个词 all_words [w for words in df[words] for w in words] word_counts Counter(all_words) vocab [w for w, _ in word_counts.most_common(10000)] # 词到索引0 留给 padding word2idx {w: i 1 for i, w in enumerate(vocab)} def words_to_ids(words, max_len100): ids [word2idx.get(w, 0) for w in words] # 截断或补零到固定长度 if len(ids) max_len: ids ids [0] * (max_len - len(ids)) else: ids ids[:max_len] return ids df[ids] df[words].apply(words_to_ids)参数说明max_len100是常见选择酒店评论一般不超过 100 个词。太长会增加计算量太短会丢信息。word2idx.get(w, 0)里 0 表示未知词因为索引从 1 开始。补零用pad_sequences也行但手动写更直观。3.2 CNN 与 LSTM 模型搭建要点项目里cnn和lstm两个目录我一般会先看模型定义文件。以 Keras 为例CNN 文本分类的核心代码大概长这样from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Embedding, Conv1D, GlobalMaxPooling1D, Dense, Dropout model_cnn Sequential([ # 词表大小 10001 embedding 维度 128 输入长度 100 Embedding(input_dim10001, output_dim128, input_length100), # 256 个卷积核 窗口大小 3 激活函数 relu Conv1D(filters256, kernel_size3, activationrelu), GlobalMaxPooling1D(), Dropout(0.5), Dense(1, activationsigmoid) # 二分类 ]) model_cnn.compile(optimizeradam, lossbinary_crossentropy, metrics[accuracy]) model_cnn.summary()逻辑说明Embedding把整数索引转成稠密向量input_dim要等于词表大小加 1。Conv1D在序列上滑动kernel_size3表示每次看 3 个词。GlobalMaxPooling1D取每个特征图的最大值把变长输出压成固定长度。Dropout(0.5)防过拟合。最后Dense(1, sigmoid)输出 0 到 1 的概率。LSTM 版本from tensorflow.keras.layers import LSTM, Bidirectional model_lstm Sequential([ Embedding(input_dim10001, output_dim128, input_length100), # 双向 LSTM 64 个单元 Bidirectional(LSTM(64, return_sequencesFalse)), Dropout(0.5), Dense(1, activationsigmoid) ]) model_lstm.compile(optimizeradam, lossbinary_crossentropy, metrics[accuracy]) model_lstm.summary()参数说明Bidirectional让 LSTM 同时从左到右和从右到左读捕捉双向上下文。return_sequencesFalse表示只取最后一个时间步的输出。单元数 64 是折中太大容易过拟合太小欠拟合。训练时用model.fitimport numpy as np X np.array(df[ids].tolist()) y np.array(df[label].tolist()) # 划分训练集和验证集 from sklearn.model_selection import train_test_split X_train, X_val, y_train, y_val train_test_split(X, y, test_size0.2, random_state42) history model_cnn.fit(X_train, y_train, validation_data(X_val, y_val), epochs10, batch_size32)epochs10先跑跑看如果验证集准确率还在涨可以加到 20。batch_size32是常见起点显存不够就降到 16。3.3 score_report.py 与结果输出score_report.py这个文件名暗示它负责生成评分报告。跑完训练后通常会加载保存的模型对测试集预测然后输出准确率、精确率、召回率、F1 值可能还有混淆矩阵。from sklearn.metrics import classification_report, confusion_matrix # 加载训练好的模型 model_cnn.load_weights(model/cnn_weights.h5) # 预测 y_pred_prob model_cnn.predict(X_val) y_pred (y_pred_prob 0.5).astype(int) # 输出报告 print(classification_report(y_val, y_pred, target_names[负面, 正面])) print(confusion_matrix(y_val, y_pred))逻辑说明load_weights加载权重前提是模型结构已经定义好。y_pred_prob 0.5把概率转成类别阈值 0.5 可调——如果负面样本漏检多可以降到 0.4。classification_report输出每个类别的精确率、召回率、F1直接贴进毕设论文的「实验结果」章节。如果score_report.py里还集成了可视化可能会用matplotlib画训练曲线import matplotlib.pyplot as plt plt.plot(history.history[accuracy], labeltrain_acc) plt.plot(history.history[val_accuracy], labelval_acc) plt.xlabel(Epoch) plt.ylabel(Accuracy) plt.legend() plt.savefig(score_report_accuracy.png)注意matplotlib默认不支持中文画图前加plt.rcParams[font.sans-serif] [SimHei]否则标签全是方框。4. 避坑与排查那些让我熬夜的报错4.1 编码错误UnicodeDecodeError 反复出现现象读hotel_comment里的 CSV 或 TXT 时Python 抛UnicodeDecodeError: utf-8 codec cant decode byte 0xca in position 0。原因Windows 下很多中文数据集是 GBK 编码不是 UTF-8。项目说明里没写编码格式直接按 UTF-8 读就翻车。解决先试encodinggbk再试encodingutf-8-sig。如果还不行用chardet检测import chardet with open(hotel_comment/data.csv, rb) as f: result chardet.detect(f.read(10000)) print(result[encoding])拿到编码后统一转成 UTF-8 保存后续就不用反复改。4.2 词表越界IndexError 或 InvalidArgumentError现象训练时 Keras 报InvalidArgumentError: indices[0,0] 10005 is not in [0, 10001)。原因Embedding的input_dim设成了 10001但词表里实际有 10005 个词索引超出范围。解决input_dim必须大于等于max(word2idx.values()) 1。建词表后打印len(word2idx)把input_dim设成len(word2idx) 1。别硬编码 10001。4.3 模型不收敛准确率卡在 50%现象训练几轮后训练集和验证集准确率都在 0.5 左右损失不降。原因标签没对齐或者数据没打乱。比如 CSV 里前 500 行全是正面后 500 行全是负面train_test_split前没shuffle模型学不到东西。解决train_test_split默认会打乱但如果你手动切分记得先df df.sample(frac1).reset_index(dropTrue)。另外检查标签是不是 0 和 1如果标签是「正面」「负面」字符串要映射成整数。4.4 显存不足CUDA out of memory现象用 GPU 跑 LSTM 时报ResourceExhaustedError: OOM when allocating tensor。原因batch_size太大或者 LSTM 单元数太多显存扛不住。解决先把batch_size降到 16 或 8。如果还不行把Bidirectional(LSTM(64))改成LSTM(32)。再不行就os.environ[CUDA_VISIBLE_DEVICES] -1强制用 CPU慢但能跑通。4.5 路径错误FileNotFoundError现象运行score_report.py时报FileNotFoundError: [Errno 2] No such file or directory: model/cnn_weights.h5。原因工作目录不对。你在项目根目录跑脚本但脚本里写的是相对路径而模型文件在model子目录下。解决用os.path.dirname(os.path.abspath(__file__))获取脚本所在目录再拼接路径import os BASE_DIR os.path.dirname(os.path.abspath(__file__)) model_path os.path.join(BASE_DIR, model, cnn_weights.h5)这样不管从哪个目录运行路径都不会错。5. 进阶技巧把舆情系统改成你自己的毕设5.1 换数据集从酒店评论到微博舆情hotel_comment只是默认数据集毕设想拿高分最好换成更贴近「网络舆情」的数据比如微博评论、新闻跟帖。常见做法是用requests加BeautifulSoup抓公开页面但要注意遵守 robots 协议别高频请求。抓下来后整理成两列text和label。label 可以人工标注几百条再用模型预测剩余这叫半监督。如果不想标注可以用SnowNLP先打弱标签再训练。from snownlp import SnowNLP def weak_label(text): score SnowNLP(text).sentiments return 1 if score 0.6 else 0 # 大于 0.6 算正面 df[label] df[text].apply(weak_label)参数说明0.6是阈值调高则正面样本更纯但数量少调低则反之。弱标签噪声大训练时可以把Dropout加到 0.6或者用label_smoothing。5.2 模型融合CNN LSTM 投票提升 F1单模型 F1 卡在 0.85 上不去试试融合。把 CNN 和 LSTM 的预测概率平均pred_cnn model_cnn.predict(X_val) pred_lstm model_lstm.predict(X_val) pred_ensemble (pred_cnn pred_lstm) / 2 y_pred_ensemble (pred_ensemble 0.5).astype(int) print(classification_report(y_val, y_pred_ensemble))逻辑说明两个模型侧重点不同CNN 抓局部特征LSTM 抓序列依赖平均后能互补。如果效果还不明显可以加权0.6 * pred_cnn 0.4 * pred_lstm权重按验证集 F1 调。5.3 用 score_report.py 生成论文图表毕设论文需要图表score_report.py可以扩展成自动生成混淆矩阵热力图和 ROC 曲线import seaborn as sns from sklearn.metrics import roc_curve, auc # 混淆矩阵热力图 cm confusion_matrix(y_val, y_pred) sns.heatmap(cm, annotTrue, fmtd, cmapBlues) plt.xlabel(预测) plt.ylabel(真实) plt.savefig(confusion_matrix.png, dpi300) # ROC 曲线 fpr, tpr, _ roc_curve(y_val, y_pred_prob) roc_auc auc(fpr, tpr) plt.plot(fpr, tpr, labelfAUC {roc_auc:.2f}) plt.plot([0, 1], [0, 1], k--) plt.legend() plt.savefig(roc_curve.png, dpi300)dpi300保证论文打印清晰。annotTrue在格子里显示数字。这两张图往论文里一放实验部分就充实了。5.4 部署成简单 Web 界面如果毕设要求演示可以用Flask包一层from flask import Flask, request, jsonify app Flask(__name__) app.route(/predict, methods[POST]) def predict(): text request.json[text] words preprocess(text) ids words_to_ids(words) prob model_cnn.predict(np.array([ids]))[0][0] return jsonify({sentiment: 正面 if prob 0.5 else 负面, score: float(prob)}) if __name__ __main__: app.run(debugTrue)启动后用 Postman 或前端页面发 POST 请求就能看到实时预测结果。debugTrue方便调试正式演示时改成False。从那以后我每次拿到这类毕设源码都强制先跑一遍README.md里的步骤再检查编码、路径、词表大小这三个地方。血泪经验告诉我90% 的报错都出在这三处。希望这套网络舆情分析系统能帮你顺利通过答辩也希望你改完之后能真正理解 CNN 和 LSTM 在中文文本上是怎么工作的。本文还有配套的精品资源点击获取