简介面向高校Python课程期末大作业与自然语言处理入门实践该项目以酒店评论为具体数据对象完整覆盖评论文本清洗、情感词典构建、分词处理、情感得分计算、词云展示与结论汇报等主要环节能够帮助学习者系统理解中文情感分析的基本流程和实现思路。压缩包共23个文件大小约4.36MB主要文件类型包括14个txt格式的情感词典与停用词表、2个Python源码、1份docx实验报告、1份md说明文档、1份pptx答辩演示、2张jpg结果图片以及2个rar原始评论语料压缩包其中停用词表整合了哈工大、四川大学等多个常用版本情感词典覆盖正面词、负面词、程度副词与否定词等类别便于搭建完整的情感判定逻辑。源码均已本地编译运行通过评审分达到95分以上内容经助教审定难度适中且结构清晰适合作为期末大作业、课程设计或自然语言处理入门项目的参考实现。目前已有157人学习下载读者可以获得可直接复现的工程源码、配套说明文档、汇报展示PPT和结构化情感词典快速掌握酒店评论情感分析的实践方法。若希望进一步扩展还可替换语料、扩充情感词表或调整算法细节便于在课程答辩与项目改进中展示个性化工作。1. 基于Python的酒店评论情感分析为什么这个期末大作业值得认真做大部分同学拿到“基于Python的酒店评论情感分析”这个题目时第一反应是去GitHub上找一个现成的深度学习模型结果环境装到崩溃、数据格式对不上、跑出来的结果还没法解释。最后草草交一个黑匣子上去答辩时一问三不知分数自然不好看。实际上这个题目在大作业里属于典型的“上限高、下限也高”的类型——你既可以只调一个Snownlp库几十行交差也可以把数据处理、特征工程、模型对比、可视化全链路做扎实。后者才是拿高分的关键而且它锻炼的恰恰是Python基础语法、pandas操作、sklearn建模这些日后工作真正用得上的技能不是花架子。这篇笔记要做的就是把这套方案完整拆开从技术选型、项目结构、数据清洗到模型训练、参数调优再到答辩时最容易被追问的细节和坑全部按一线实现的顺序讲清楚。看完你不仅能交出一个能跑、能讲、能演示的完整作业还能在被老师追问“为什么用这个模型”“准确率是怎么算的”时给出让人信服的答案。2. 先想清楚再动手酒店评论情感分析的技术选型与项目架构2.1 三条实现路线怎么选词典法、传统机器学习、深度学习酒店评论情感分析本质上是文本二分类问题正面/负面但实现路径有三条每条的代价和效果差别很大。第一条是纯词典法典型代表是Snownlp或BosonNLP的情感词典。Snownlp内部基于朴素贝叶斯训练了一个通用情感模型用起来一行代码就能出分数。缺点是它对酒店领域适配很差评论里“房间大”“位置好”“隔音差”这类表达通用词典的覆盖能力很弱很多同学拿Snownlp跑出来的准确率只有60%多跟抛硬币差不多这属于典型的“能跑但交不了差”。第二条是传统机器学习路线分词 - TF-IDF向量化 - 朴素贝叶斯/逻辑回归/SVM分类。这一步是当前期末大作业里性价比最高的方案sklearn封装完整训练在秒级完成结果可解释性强答辩时你能清楚说出每个参数的作用。我一般建议大作业走这条路。第三条是深度学习路线比如用BERT或TextCNN做微调。效果上限确实高但你需要GPU、需要装transformers、需要处理显存溢出问题——对一个期末大作业来说环境和调试成本可能比项目本身还高。如果老师没有硬性要求不建议在这个阶段上深度学习。2.2 项目目录怎么组织源码和文档才能看出工程感很多同学写大作业的习惯是建一个main.py把所有代码堆进去然后单独写一份文档。代码千行在一个文件里自己调试都费劲更别说答辩时老师让你现场定位某个功能在哪个模块了。我一般建议按功能拆分源码和文档分开放结构清晰到评委一眼看懂HotelSentimentAnalysis/ ├── data/ │ ├── raw/ # 原始评论数据 │ │ └── hotel_comments.csv │ └── processed/ # 清洗后的数据 │ └── cleaned_comments.csv ├── src/ │ ├── __init__.py │ ├── data_clean.py # 数据清洗模块 │ ├── feature_engineering.py# 分词与TF-IDF特征构建 │ ├── train_model.py # 模型训练与评估 │ └── visualize.py # 可视化输出 ├── models/ # 保存训练好的模型文件 │ └── sentiment_model.pkl ├── output/ # 图表输出目录 │ ├── sentiment_distribution.png │ └── wordcloud.png ├── requirements.txt └── README.md这样的结构不是为了好看而是有实际好处数据、代码、模型、图表各司其职后续你要换数据集、调参数、加功能改动都局限在单文件里不会出现“改一个变量牵连三个函数”的尴尬。而且这种组织方式本身就是一种工程素养的体现答辩时非常加分。2.3 环境准备Python版本和包管理的两个注意点环境配置是大作业交之前最容易出问题的环节。这里有两个常年翻车的点必须提前避掉第一是Python版本。sklearn和pandas在Python 3.8~3.11生态下都表现稳定但如果你装了Python 3.12或更新的版本某些依赖包的预编译版本可能还没跟上。你花了一个小时装好的环境换一台电脑可能直接跑不起来。我建议在项目里放一个requirements.txt写清楚包的版本范围。pandas2.0.3 numpy1.24.3 scikit-learn1.3.0 jieba0.42.1 wordcloud1.9.2 matplotlib3.7.2 snownlp0.12.3第二是用虚拟环境隔离依赖。直接用全局环境装包最大的问题是不同项目之间互相污染——这个项目要pandas 2.0另一个项目要pandas 1.5全局环境下只能互相覆盖装完一个坏了另一个。用python -m venv venv建一个虚拟环境所有依赖装在项目自己的环境里干净又可控。这也是后续你把这个项目从一台电脑挪到另一台电脑时能三分钟跑起来的前提。3. 数据清洗与特征工程酒店评论的“脏”和“乱”是分水岭3.1 评论数据读取与编码处理CSV读不进来时先查这三件事酒店评论的数据集拿到手之后第一步永远是读取数据。这一步看似简单实际上是最容易劝退新手的环节常见的现象是pd.read_csv()一执行就报错。我按踩坑概率从高到低排了三件事编码格式、分隔符、表头。import pandas as pd # 先尝试最常见的UTF-8编码读取 df pd.read_csv(data/raw/hotel_comments.csv, encodingutf-8) print(df.head()) print(df.shape)如果报错UnicodeDecodeError说明文件不是UTF-8编码很多爬虫抓下来的数据是GBK或GB2312。这时候换成encodinggbk再试。如果还不行可以用encodinggb18030这是GBK的超集字符覆盖更广基本能兜底。还有一种情况是文件里混了多种编码那就要在读取时加errorsignore参数跳过无法解码的字节但这种方法要谨慎用因为它会静默丢弃数据。# 用errors参数兜底跳过无法解码的字节 df pd.read_csv( data/raw/hotel_comments.csv, encodinggb18030, errorsignore )读取之后第一个动作永远是df.shape和df.head()确认读进来了多少行、列名是什么、每列大概长什么样。如果数据是爬虫抓的列名可能是乱码需要手动重命名。列名的处理要在这个阶段做干净后面所有代码都依赖列名规范。# 统一重命名列方便后面调用 df.columns [comment, rating] print(df[rating].value_counts())rating列是数值型评分比如1到5分或者好评/差评标签。你需要先看分布如果rating是1到5通常把1~2分视为负面4~5分视为正面3分要么丢弃要么单独处理。这件事要和老师提前确认口径——因为3分评论往往是“还行、一般、凑合”情绪极度模糊模型学了很容易学歪。我一般选择丢弃3分评论只保留偏向明确的样本。3.2 Jieba分词与停用词别让“不太满意”被拆没中文文本和英文不一样没有天然的空格分词所以第一步是把整句话切成一个一个的词。Jieba是目前中文分词最主流的库它的cut方法默认用精确模式适合做文本分析。但分词结果里会有大量“的”“了”“是”这类没有情感含义的虚词所以分词之后必须过滤停用词。下面是完整的清洗和分词代码这块是整个项目的核心直接决定后面模型效果的上限import re import jieba # 读取停用词表 def load_stopwords(filepathdata/stopwords.txt): stopwords set() with open(filepath, r, encodingutf-8) as f: for line in f: word line.strip() if word: stopwords.add(word) return stopwords stopwords load_stopwords() # 合并停用词内置词表 手动补充 stopwords.update({ 酒店, 宾馆, 这家, 一个, 我们, 他们, 但是, 不过, 因为, 所以 }) def clean_text(text): # 去掉URL、符号、数字等噪音 text re.sub(rhttp\S, , str(text)) text re.sub(r\w, , text) text re.sub(r\d, , text) # 去掉多余空白 text re.sub(r\s, , text).strip() return text def segment(text): text clean_text(text) words jieba.cut(text) # 过滤停用词和单字符 words [w for w in words if w not in stopwords and len(w.strip()) 1 and not w.isspace()] return .join(words) df[cleaned] df[comment].apply(segment) print(df[cleaned].head())这里有两个细节要重点说。第一个是停用词表里的酒店很多同学会疑惑为什么把“酒店”也加进去——因为“酒店”这个高频词在所有评论里都会出现属于领域停用词它不携带任何情感倾向放进特征里只会稀释真正有用的词。第二个是len(w.strip()) 1这个条件目的是过滤单字词比如“好”“坏”“差”这类单字其实是有情感含义的但如果你在停用词环节全过滤掉就可惜了。这里过滤的是“哦”“嘛”“啊”这类语气词如果你特别在意“好”“差”这两个单字情感词可以把过滤条件改成len(w.strip()) 0然后在停用词表里单独补充语气词。分词结果的质量直接决定模型上限你在答辩前一定要抽几条评论人工看一下切分效果。比如“这家酒店的位置很好但隔音很差”理想的分词结果是“位置 很好 隔音 很差”如果切出来的结果是“位置 很好 但 隔音 很差”说明“但”字没被过滤掉。这些都是答辩时被追问的高频细节。3.3 TF-IDF特征构建max_features和ngram_range的正确打开方式分词之后文本已经变成了空格分隔的词序列接下来要做的是把它转成模型能读的数值向量。这里有两个选择词袋模型CountVectorizer和TF-IDF向量TfidfVectorizer。词袋模型只统计词频但高频词不一定是重要词TF-IDF会对高频但普遍出现的词降权对只在少数文本里出现但能区分类别的词加权效果更好。from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.model_selection import train_test_split # 划分训练集和测试集 X_train, X_test, y_train, y_test train_test_split( df[cleaned], df[label], test_size0.2, random_state42, stratifydf[label] ) # TF-IDF向量化参数直接决定特征数量 vectorizer TfidfVectorizer( max_features3000, # 最多保留3000个特征 ngram_range(1, 2), # 使用一元二元词序列 min_df2, # 至少在2篇文档中出现过 max_df0.9 # 在90%以上文档中都出现的词过滤掉 ) X_train_vec vectorizer.fit_transform(X_train) X_test_vec vectorizer.transform(X_test) print(f训练集特征矩阵形状: {X_train_vec.shape})这里每个参数都要能说得出理由因为答辩必问。max_features3000是特征数量的上限。酒店评论数据量通常不大3000个特征足够覆盖绝大部分有效信息。设太大会引入大量低频噪音词设太小又会丢掉关键情感词。3000这个值是我在多个数据集上试出来的经验值你可以在2000到5000之间调看模型表现变化。ngram_range(1, 2)决定是只考虑单个词还是考虑相邻两个词的组合。对情感分析来说这个参数非常关键因为“不干净”和“不 干净”是两种完全不同的语义。只设 (1,1) 会丢掉“不XX”这类否定结构的信息设成 (1, 2) 就能保留“不好”“不满意”“不推荐”这样的组合对负面评论识别帮助很大。设到 (1, 3) 效果提升有限但特征数量暴增不建议。min_df2表示一个词至少在2条评论里出现过才会保留用来过滤那些只出现一次、没有任何统计意义的词。“这家”这类恰好出现一次的词被过滤掉是合理的。max_df0.9表示在超过90%的评论里都出现的词会被剔除比如“酒店”“房间”这类词虽然刚才通过停用词过滤了一部分但剩下的高频词里还有类似的存在需要在这里再兜一层。还有一点必须注意向量化器只能fit在训练集上测试集只能调用transform。如果你对全量数据先做了fit_transform再切分会造成信息泄漏——测试集的特征分布“提前被模型见过”评估结果虚高一上真实场景就现形。这是大作业里最常见的隐蔽错误之一。4. 模型训练与评估用代码把准确率稳定在85%以上4.1 先跑通朴素贝叶斯它是文本分类的及格线数据和特征准备到位之后模型训练反而是最简单的一步。第一个要跑的模型一定是朴素贝叶斯它在文本分类里是公认的强基线——虽然假设特征之间相互独立这个假设在文本场景里明显不成立“早餐”和“好吃”经常一起出现但实际效果却出奇地好而且训练速度极快、对小样本数据友好。from sklearn.naive_bayes import MultinomialNB from sklearn.metrics import classification_report, accuracy_score # 训练朴素贝叶斯模型 nb_model MultinomialNB(alpha1.0) nb_model.fit(X_train_vec, y_train) # 预测与评估 y_pred nb_model.predict(X_test_vec) accuracy accuracy_score(y_test, y_pred) print(f朴素贝叶斯准确率: {accuracy:.4f}) print(classification_report(y_test, y_pred, target_names[负面, 正面]))alpha1.0是拉普拉斯平滑系数作用是防止某个特征在训练集中没出现过导致概率计算为0。alpha越大模型对未见过特征的容忍度越高但也越容易把概率分布拉平alpha越小模型对特征的记忆越精确但也越容易过拟合。1.0是sklearn默认值一般不用调如果感觉模型欠拟合可以试着调小到0.5或者0.1多数情况下效果差异不大。这个阶段的目标不是追求极致准确率而是拿到一个基准线。假设你的数据集质量正常、正负样本均衡朴素贝叶斯在酒店评论上通常能给出80%~85%的准确率。如果连这个数都达不到问题几乎一定出在前面章节的数据清洗和特征工程上不要急着换模型回头检查分词结果和停用词表。4.2 模型对比与调参逻辑回归凭什么通常比朴素贝叶斯高2~3个点拿到朴素贝叶斯的基准结果之后下一步是对比模型。逻辑回归Logistic Regression是我在大作业里最推荐拿来对比的模型它的数学形式简单结果可以解释成每个词对正面/负面倾向的贡献权重答辩时你能说得非常漂亮。而且逻辑回归在文本高维稀疏特征上表现稳定通常比朴素贝叶斯高出2~3个百分点。from sklearn.linear_model import LogisticRegression # 逻辑回归模型 lr_model LogisticRegression(C1.0, max_iter1000, solverliblinear) lr_model.fit(X_train_vec, y_train) y_pred_lr lr_model.predict(X_test_vec) accuracy_lr accuracy_score(y_test, y_pred_lr) print(f逻辑回归准确率: {accuracy_lr:.4f})C1.0是正则化强度的倒数C越小正则化越强越不容易过拟合。文本特征维度高一般从C1.0开始调过拟合时调小到0.5欠拟合时调大到2.0。solverliblinear适合小数据集和稀疏矩阵如果你的数据量超过10万条可以换成lbfgsmax_iter1000保证收敛如果训练时警告未收敛就调大这个值。除了准确率逻辑回归还有一个亮点是可以输出模型学到的特征权重。把权重打印出来看看你会发现模型学到的东西非常直观——这就是答辩时最能体现你“真的理解了模型”的部分import numpy as np # 提取特征权重 feature_names vectorizer.get_feature_names_out() coef lr_model.coef_[0] # 获取权重最大的前10个词正面倾向最强 top_positive np.argsort(coef)[-10:] # 获取权重最小的前10个词负面倾向最强 top_negative np.argsort(coef)[:10] print(正面特征词:, [feature_names[i] for i in top_positive]) print(负面特征词:, [feature_names[i] for i in top_negative])正常训练出来的结果里正面特征词应该包含“干净”“方便”“热情”“好评”等负面特征词应该包含“脏”“差”“难闻”“态度差”等。如果词明显不合理——正面特征里出现了“但是”“不过”之类——说明停用词没有过滤干净或者ngram设置有问题导致否定结构被错误学到。4.3 评估指标怎么读准确率虚高时F1和混淆矩阵才是照妖镜很多同学交作业只写一个准确率这是最容易被答辩老师抓住扣分的地方。准确率是有严重缺陷的指标——如果你的测试集里90%是好评、10%是差评那么模型全部预测成好评就已经拿到90%准确率了但这个模型没有任何实用价值。酒店评论的爬虫数据天然就是好评多、差评少所以单一准确率完全不可信。正确的做法是同时看精确率Precision、召回率Recall、F1值和混淆矩阵。比如“负面评论”这一类精确率表示“模型判定为负面的评论里真正是负面的比例”召回率表示“真正的负面评论里被模型找出来的比例”。在酒店场景里如果目的是帮管理者发现差评来改进服务那召回率比精确率更重要——漏掉差评比误判一条正常评论的后果严重。from sklearn.metrics import confusion_matrix import matplotlib.pyplot as plt import seaborn as sns # 混淆矩阵可视化 cm confusion_matrix(y_test, y_pred_lr) plt.figure(figsize(6, 5)) sns.heatmap(cm, annotTrue, fmtd, cmapBlues, xticklabels[负面, 正面], yticklabels[负面, 正面]) plt.xlabel(预测标签) plt.ylabel(真实标签) plt.title(逻辑回归混淆矩阵) plt.tight_layout() plt.savefig(output/confusion_matrix.png, dpi150)把混淆矩阵画出来放到文档里一方面让老师一眼看清你的模型错在哪里——是差评被误判成好评多还是反过来另一方面也方便你写分析如果差评误判成好评的数量较多说明负面特征还不够突出可以增加ngram范围或补充领域情感词典。这是整个大作业里最容易拿分的一段分析。5. 避坑指南从一个编码报错到数据泄漏的5个翻车现场5.1 现象读CSV报 UnicodeDecodeError用pd.read_csv读酒店评论数据时直接抛出UnicodeDecodeError: utf-8 codec cant decode byte。原因是爬虫获取的数据大概率是GBK或GB2312编码尤其评论这种来自网页的数据网站为了节省存储空间常使用GBK。解决方式是依次尝试encodinggbk、encodinggb18030或者在读取时加errorsignore跳过无法解码的字节。但要注意errorsignore是兜底方案它会静默丢弃数据如果你发现读进来的行数比原文件少就说明有内容被丢掉了要改用errorsreplace把无法解码的字符替换成占位符至少能定位问题。5.2 现象测试集准确率95%换数据一测就露馅训练集上测试的效果惊艳但文档里的评估结果被老师质疑“是不是过拟合了”。排查后发现常见的两个原因一是向量化器对全量数据先做了fit_transform再切分测试集信息提前泄露给了模型二是在数据清洗阶段就把打标字段和文本字段一起参与了特征构建比如把评分数字也当作文本特征喂了进去。解决方式是严格按流程来——先切分训练集和测试集再在训练集上fit向量化器测试集只允许transform全程保证特征构建过程不接触测试集。5.3 现象分词后“不”字消失情感判断反向模型把“房间不算干净”预测成正面评论。原因是停用词表里包含“不”字分词后“不”被直接过滤掉剩下了“房间”“算”“干净”模型看到“房间”“干净”就把这条判定成正面了。中文情感分析里“不”“没”“别”这类否定词是整个任务的核心信息绝对不能进停用词表。解决方式是在停用词表里直接删掉这几个否定词然后用我自己比较推荐的方式——在分词之后、向量化之前检查每条评论里否定词后面跟的词是否被正确保留成了词序列必要时用规则把“不XX”改写成一个整体词“不XX”比如“不满意”保留原样效果会好很多。5.4 现象Snownlp装不上或者装上了一个准确率刚过六成的模型Snownlp在Python 3.10以上的某些环境下安装会报编译错误即使装上在酒店评论上的表现也普遍不理想。原因是Snownlp的核心情感模型是在购物评论上训练的酒店评论的用语习惯和购物评论差异明显。如果你只是拿Snownlp做一个词典法基线那没问题但如果你正指望Snownlp撑起整个大作业的效果我建议做好心理准备。不过不用急着卸载Snownlp有个比较实用的场景是做规则对比——拿Snownlp对同一条评论打分再拿你的模型输出结果对比差异并分析原因这个分析本身在答辩时会显得你对模型的边界理解很到位。5.5 现象好评数量是差评的9倍准确率虚高但F1惨不忍睹爬虫抓下来的酒店评论天然不平衡好评占绝大多数。模型全猜好评准确率轻松超过85%但负面评论的F1值可能不到0.3等于没做情感分析。解决方式是先观察标签分布如果差异过大训练时要加class_weightbalanced让模型对少数类更敏感或者对多数类做欠采样随机丢弃部分好评让正负样本比例降到2:1以内。我建议在做混淆矩阵分析时单独看一眼负面评论的召回率这个数最能反映模型实际抓到差评的能力。6. 高分大作业的最后一公里可视化和讲述你的方案大作业和工业项目有一个本质区别你的代码不是给人生产用的是给老师评估用的。这意味着“做出来”只占一半“展示出来”占另一半。我见过很多学生模型效果很好但文档里没有一张图答辩PPT上只有干巴巴的代码截图分数反而不如那些效果一般但图表齐全的同学。可视化不是锦上添花在这个场景里它就是硬实力。前文已经写了混淆矩阵的可视化这是必须有的。除此之外两个图几乎是期末大作业的标配情感分布饼图和评论词云。from wordcloud import WordCloud import matplotlib.pyplot as plt # 正面评论词云 positive_text .join(df[df[label] 1][cleaned]) neg_text .join(df[df[label] 0][cleaned]) wc WordCloud( font_pathC:\\Windows\\Fonts\\simhei.ttf, # 中文字体路径 width800, height600, background_colorwhite, max_words200 ) wc.generate(positive_text) plt.figure(figsize(10, 6)) plt.imshow(wc, interpolationbilinear) plt.axis(off) plt.title(正面评论词云) plt.tight_layout() plt.savefig(output/positive_wordcloud.png, dpi150)这里一个容易踩坑的点是font_path——WordCloud默认不支持中文不指定中文字体就会画出一堆方块。Windows系统通常用simhei.ttf黑体Mac和Linux需要换成对应路径或下载字体文件。你可以在代码里先检查字体路径是否存在不存在就打印警告提示换路径。情感分布饼图用matplotlib的pie画即可展示正负面评论的比例关系。如果数据不平衡这个图正好可以和分类报告的F1值形成呼应——你的分析可以写成“虽然数据中好评占82%但模型在负面评论上的召回率达到79%说明模型并非单纯偏向多数类”。这样一句话直接体现出你理解了类别不平衡问题的本质。往更高的方向说如果你学有余力可以在文档末尾提一句这个项目的可扩展方向——比如引入多模态情感分析结合评论文本和配图做联合判断或者用情感分数随时间变化的趋势来做酒店口碑预警。不用真的实现但在文档里写出“为什么可以这么做、大概需要什么技术栈”这块内容在答辩时是最能展示你视野的地方。我自己在做这种文本分析作业时养成了一个习惯每次跑完一个模型先把预测错误的样本打出来逐条看模型为什么错。发现停用词问题、发现否定词问题、发现数据标注问题都是靠这个动作。不要只看准确率数字就结束——那些错得不讲道理的样本才是拿高分的台阶。希望帮到你。本文还有配套的精品资源点击获取 Python酒店评论情感分析：从数据清洗到模型调优完整攻略
简介面向高校Python课程期末大作业与自然语言处理入门实践该项目以酒店评论为具体数据对象完整覆盖评论文本清洗、情感词典构建、分词处理、情感得分计算、词云展示与结论汇报等主要环节能够帮助学习者系统理解中文情感分析的基本流程和实现思路。压缩包共23个文件大小约4.36MB主要文件类型包括14个txt格式的情感词典与停用词表、2个Python源码、1份docx实验报告、1份md说明文档、1份pptx答辩演示、2张jpg结果图片以及2个rar原始评论语料压缩包其中停用词表整合了哈工大、四川大学等多个常用版本情感词典覆盖正面词、负面词、程度副词与否定词等类别便于搭建完整的情感判定逻辑。源码均已本地编译运行通过评审分达到95分以上内容经助教审定难度适中且结构清晰适合作为期末大作业、课程设计或自然语言处理入门项目的参考实现。目前已有157人学习下载读者可以获得可直接复现的工程源码、配套说明文档、汇报展示PPT和结构化情感词典快速掌握酒店评论情感分析的实践方法。若希望进一步扩展还可替换语料、扩充情感词表或调整算法细节便于在课程答辩与项目改进中展示个性化工作。1. 基于Python的酒店评论情感分析为什么这个期末大作业值得认真做大部分同学拿到“基于Python的酒店评论情感分析”这个题目时第一反应是去GitHub上找一个现成的深度学习模型结果环境装到崩溃、数据格式对不上、跑出来的结果还没法解释。最后草草交一个黑匣子上去答辩时一问三不知分数自然不好看。实际上这个题目在大作业里属于典型的“上限高、下限也高”的类型——你既可以只调一个Snownlp库几十行交差也可以把数据处理、特征工程、模型对比、可视化全链路做扎实。后者才是拿高分的关键而且它锻炼的恰恰是Python基础语法、pandas操作、sklearn建模这些日后工作真正用得上的技能不是花架子。这篇笔记要做的就是把这套方案完整拆开从技术选型、项目结构、数据清洗到模型训练、参数调优再到答辩时最容易被追问的细节和坑全部按一线实现的顺序讲清楚。看完你不仅能交出一个能跑、能讲、能演示的完整作业还能在被老师追问“为什么用这个模型”“准确率是怎么算的”时给出让人信服的答案。2. 先想清楚再动手酒店评论情感分析的技术选型与项目架构2.1 三条实现路线怎么选词典法、传统机器学习、深度学习酒店评论情感分析本质上是文本二分类问题正面/负面但实现路径有三条每条的代价和效果差别很大。第一条是纯词典法典型代表是Snownlp或BosonNLP的情感词典。Snownlp内部基于朴素贝叶斯训练了一个通用情感模型用起来一行代码就能出分数。缺点是它对酒店领域适配很差评论里“房间大”“位置好”“隔音差”这类表达通用词典的覆盖能力很弱很多同学拿Snownlp跑出来的准确率只有60%多跟抛硬币差不多这属于典型的“能跑但交不了差”。第二条是传统机器学习路线分词 - TF-IDF向量化 - 朴素贝叶斯/逻辑回归/SVM分类。这一步是当前期末大作业里性价比最高的方案sklearn封装完整训练在秒级完成结果可解释性强答辩时你能清楚说出每个参数的作用。我一般建议大作业走这条路。第三条是深度学习路线比如用BERT或TextCNN做微调。效果上限确实高但你需要GPU、需要装transformers、需要处理显存溢出问题——对一个期末大作业来说环境和调试成本可能比项目本身还高。如果老师没有硬性要求不建议在这个阶段上深度学习。2.2 项目目录怎么组织源码和文档才能看出工程感很多同学写大作业的习惯是建一个main.py把所有代码堆进去然后单独写一份文档。代码千行在一个文件里自己调试都费劲更别说答辩时老师让你现场定位某个功能在哪个模块了。我一般建议按功能拆分源码和文档分开放结构清晰到评委一眼看懂HotelSentimentAnalysis/ ├── data/ │ ├── raw/ # 原始评论数据 │ │ └── hotel_comments.csv │ └── processed/ # 清洗后的数据 │ └── cleaned_comments.csv ├── src/ │ ├── __init__.py │ ├── data_clean.py # 数据清洗模块 │ ├── feature_engineering.py# 分词与TF-IDF特征构建 │ ├── train_model.py # 模型训练与评估 │ └── visualize.py # 可视化输出 ├── models/ # 保存训练好的模型文件 │ └── sentiment_model.pkl ├── output/ # 图表输出目录 │ ├── sentiment_distribution.png │ └── wordcloud.png ├── requirements.txt └── README.md这样的结构不是为了好看而是有实际好处数据、代码、模型、图表各司其职后续你要换数据集、调参数、加功能改动都局限在单文件里不会出现“改一个变量牵连三个函数”的尴尬。而且这种组织方式本身就是一种工程素养的体现答辩时非常加分。2.3 环境准备Python版本和包管理的两个注意点环境配置是大作业交之前最容易出问题的环节。这里有两个常年翻车的点必须提前避掉第一是Python版本。sklearn和pandas在Python 3.8~3.11生态下都表现稳定但如果你装了Python 3.12或更新的版本某些依赖包的预编译版本可能还没跟上。你花了一个小时装好的环境换一台电脑可能直接跑不起来。我建议在项目里放一个requirements.txt写清楚包的版本范围。pandas2.0.3 numpy1.24.3 scikit-learn1.3.0 jieba0.42.1 wordcloud1.9.2 matplotlib3.7.2 snownlp0.12.3第二是用虚拟环境隔离依赖。直接用全局环境装包最大的问题是不同项目之间互相污染——这个项目要pandas 2.0另一个项目要pandas 1.5全局环境下只能互相覆盖装完一个坏了另一个。用python -m venv venv建一个虚拟环境所有依赖装在项目自己的环境里干净又可控。这也是后续你把这个项目从一台电脑挪到另一台电脑时能三分钟跑起来的前提。3. 数据清洗与特征工程酒店评论的“脏”和“乱”是分水岭3.1 评论数据读取与编码处理CSV读不进来时先查这三件事酒店评论的数据集拿到手之后第一步永远是读取数据。这一步看似简单实际上是最容易劝退新手的环节常见的现象是pd.read_csv()一执行就报错。我按踩坑概率从高到低排了三件事编码格式、分隔符、表头。import pandas as pd # 先尝试最常见的UTF-8编码读取 df pd.read_csv(data/raw/hotel_comments.csv, encodingutf-8) print(df.head()) print(df.shape)如果报错UnicodeDecodeError说明文件不是UTF-8编码很多爬虫抓下来的数据是GBK或GB2312。这时候换成encodinggbk再试。如果还不行可以用encodinggb18030这是GBK的超集字符覆盖更广基本能兜底。还有一种情况是文件里混了多种编码那就要在读取时加errorsignore参数跳过无法解码的字节但这种方法要谨慎用因为它会静默丢弃数据。# 用errors参数兜底跳过无法解码的字节 df pd.read_csv( data/raw/hotel_comments.csv, encodinggb18030, errorsignore )读取之后第一个动作永远是df.shape和df.head()确认读进来了多少行、列名是什么、每列大概长什么样。如果数据是爬虫抓的列名可能是乱码需要手动重命名。列名的处理要在这个阶段做干净后面所有代码都依赖列名规范。# 统一重命名列方便后面调用 df.columns [comment, rating] print(df[rating].value_counts())rating列是数值型评分比如1到5分或者好评/差评标签。你需要先看分布如果rating是1到5通常把1~2分视为负面4~5分视为正面3分要么丢弃要么单独处理。这件事要和老师提前确认口径——因为3分评论往往是“还行、一般、凑合”情绪极度模糊模型学了很容易学歪。我一般选择丢弃3分评论只保留偏向明确的样本。3.2 Jieba分词与停用词别让“不太满意”被拆没中文文本和英文不一样没有天然的空格分词所以第一步是把整句话切成一个一个的词。Jieba是目前中文分词最主流的库它的cut方法默认用精确模式适合做文本分析。但分词结果里会有大量“的”“了”“是”这类没有情感含义的虚词所以分词之后必须过滤停用词。下面是完整的清洗和分词代码这块是整个项目的核心直接决定后面模型效果的上限import re import jieba # 读取停用词表 def load_stopwords(filepathdata/stopwords.txt): stopwords set() with open(filepath, r, encodingutf-8) as f: for line in f: word line.strip() if word: stopwords.add(word) return stopwords stopwords load_stopwords() # 合并停用词内置词表 手动补充 stopwords.update({ 酒店, 宾馆, 这家, 一个, 我们, 他们, 但是, 不过, 因为, 所以 }) def clean_text(text): # 去掉URL、符号、数字等噪音 text re.sub(rhttp\S, , str(text)) text re.sub(r\w, , text) text re.sub(r\d, , text) # 去掉多余空白 text re.sub(r\s, , text).strip() return text def segment(text): text clean_text(text) words jieba.cut(text) # 过滤停用词和单字符 words [w for w in words if w not in stopwords and len(w.strip()) 1 and not w.isspace()] return .join(words) df[cleaned] df[comment].apply(segment) print(df[cleaned].head())这里有两个细节要重点说。第一个是停用词表里的酒店很多同学会疑惑为什么把“酒店”也加进去——因为“酒店”这个高频词在所有评论里都会出现属于领域停用词它不携带任何情感倾向放进特征里只会稀释真正有用的词。第二个是len(w.strip()) 1这个条件目的是过滤单字词比如“好”“坏”“差”这类单字其实是有情感含义的但如果你在停用词环节全过滤掉就可惜了。这里过滤的是“哦”“嘛”“啊”这类语气词如果你特别在意“好”“差”这两个单字情感词可以把过滤条件改成len(w.strip()) 0然后在停用词表里单独补充语气词。分词结果的质量直接决定模型上限你在答辩前一定要抽几条评论人工看一下切分效果。比如“这家酒店的位置很好但隔音很差”理想的分词结果是“位置 很好 隔音 很差”如果切出来的结果是“位置 很好 但 隔音 很差”说明“但”字没被过滤掉。这些都是答辩时被追问的高频细节。3.3 TF-IDF特征构建max_features和ngram_range的正确打开方式分词之后文本已经变成了空格分隔的词序列接下来要做的是把它转成模型能读的数值向量。这里有两个选择词袋模型CountVectorizer和TF-IDF向量TfidfVectorizer。词袋模型只统计词频但高频词不一定是重要词TF-IDF会对高频但普遍出现的词降权对只在少数文本里出现但能区分类别的词加权效果更好。from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.model_selection import train_test_split # 划分训练集和测试集 X_train, X_test, y_train, y_test train_test_split( df[cleaned], df[label], test_size0.2, random_state42, stratifydf[label] ) # TF-IDF向量化参数直接决定特征数量 vectorizer TfidfVectorizer( max_features3000, # 最多保留3000个特征 ngram_range(1, 2), # 使用一元二元词序列 min_df2, # 至少在2篇文档中出现过 max_df0.9 # 在90%以上文档中都出现的词过滤掉 ) X_train_vec vectorizer.fit_transform(X_train) X_test_vec vectorizer.transform(X_test) print(f训练集特征矩阵形状: {X_train_vec.shape})这里每个参数都要能说得出理由因为答辩必问。max_features3000是特征数量的上限。酒店评论数据量通常不大3000个特征足够覆盖绝大部分有效信息。设太大会引入大量低频噪音词设太小又会丢掉关键情感词。3000这个值是我在多个数据集上试出来的经验值你可以在2000到5000之间调看模型表现变化。ngram_range(1, 2)决定是只考虑单个词还是考虑相邻两个词的组合。对情感分析来说这个参数非常关键因为“不干净”和“不 干净”是两种完全不同的语义。只设 (1,1) 会丢掉“不XX”这类否定结构的信息设成 (1, 2) 就能保留“不好”“不满意”“不推荐”这样的组合对负面评论识别帮助很大。设到 (1, 3) 效果提升有限但特征数量暴增不建议。min_df2表示一个词至少在2条评论里出现过才会保留用来过滤那些只出现一次、没有任何统计意义的词。“这家”这类恰好出现一次的词被过滤掉是合理的。max_df0.9表示在超过90%的评论里都出现的词会被剔除比如“酒店”“房间”这类词虽然刚才通过停用词过滤了一部分但剩下的高频词里还有类似的存在需要在这里再兜一层。还有一点必须注意向量化器只能fit在训练集上测试集只能调用transform。如果你对全量数据先做了fit_transform再切分会造成信息泄漏——测试集的特征分布“提前被模型见过”评估结果虚高一上真实场景就现形。这是大作业里最常见的隐蔽错误之一。4. 模型训练与评估用代码把准确率稳定在85%以上4.1 先跑通朴素贝叶斯它是文本分类的及格线数据和特征准备到位之后模型训练反而是最简单的一步。第一个要跑的模型一定是朴素贝叶斯它在文本分类里是公认的强基线——虽然假设特征之间相互独立这个假设在文本场景里明显不成立“早餐”和“好吃”经常一起出现但实际效果却出奇地好而且训练速度极快、对小样本数据友好。from sklearn.naive_bayes import MultinomialNB from sklearn.metrics import classification_report, accuracy_score # 训练朴素贝叶斯模型 nb_model MultinomialNB(alpha1.0) nb_model.fit(X_train_vec, y_train) # 预测与评估 y_pred nb_model.predict(X_test_vec) accuracy accuracy_score(y_test, y_pred) print(f朴素贝叶斯准确率: {accuracy:.4f}) print(classification_report(y_test, y_pred, target_names[负面, 正面]))alpha1.0是拉普拉斯平滑系数作用是防止某个特征在训练集中没出现过导致概率计算为0。alpha越大模型对未见过特征的容忍度越高但也越容易把概率分布拉平alpha越小模型对特征的记忆越精确但也越容易过拟合。1.0是sklearn默认值一般不用调如果感觉模型欠拟合可以试着调小到0.5或者0.1多数情况下效果差异不大。这个阶段的目标不是追求极致准确率而是拿到一个基准线。假设你的数据集质量正常、正负样本均衡朴素贝叶斯在酒店评论上通常能给出80%~85%的准确率。如果连这个数都达不到问题几乎一定出在前面章节的数据清洗和特征工程上不要急着换模型回头检查分词结果和停用词表。4.2 模型对比与调参逻辑回归凭什么通常比朴素贝叶斯高2~3个点拿到朴素贝叶斯的基准结果之后下一步是对比模型。逻辑回归Logistic Regression是我在大作业里最推荐拿来对比的模型它的数学形式简单结果可以解释成每个词对正面/负面倾向的贡献权重答辩时你能说得非常漂亮。而且逻辑回归在文本高维稀疏特征上表现稳定通常比朴素贝叶斯高出2~3个百分点。from sklearn.linear_model import LogisticRegression # 逻辑回归模型 lr_model LogisticRegression(C1.0, max_iter1000, solverliblinear) lr_model.fit(X_train_vec, y_train) y_pred_lr lr_model.predict(X_test_vec) accuracy_lr accuracy_score(y_test, y_pred_lr) print(f逻辑回归准确率: {accuracy_lr:.4f})C1.0是正则化强度的倒数C越小正则化越强越不容易过拟合。文本特征维度高一般从C1.0开始调过拟合时调小到0.5欠拟合时调大到2.0。solverliblinear适合小数据集和稀疏矩阵如果你的数据量超过10万条可以换成lbfgsmax_iter1000保证收敛如果训练时警告未收敛就调大这个值。除了准确率逻辑回归还有一个亮点是可以输出模型学到的特征权重。把权重打印出来看看你会发现模型学到的东西非常直观——这就是答辩时最能体现你“真的理解了模型”的部分import numpy as np # 提取特征权重 feature_names vectorizer.get_feature_names_out() coef lr_model.coef_[0] # 获取权重最大的前10个词正面倾向最强 top_positive np.argsort(coef)[-10:] # 获取权重最小的前10个词负面倾向最强 top_negative np.argsort(coef)[:10] print(正面特征词:, [feature_names[i] for i in top_positive]) print(负面特征词:, [feature_names[i] for i in top_negative])正常训练出来的结果里正面特征词应该包含“干净”“方便”“热情”“好评”等负面特征词应该包含“脏”“差”“难闻”“态度差”等。如果词明显不合理——正面特征里出现了“但是”“不过”之类——说明停用词没有过滤干净或者ngram设置有问题导致否定结构被错误学到。4.3 评估指标怎么读准确率虚高时F1和混淆矩阵才是照妖镜很多同学交作业只写一个准确率这是最容易被答辩老师抓住扣分的地方。准确率是有严重缺陷的指标——如果你的测试集里90%是好评、10%是差评那么模型全部预测成好评就已经拿到90%准确率了但这个模型没有任何实用价值。酒店评论的爬虫数据天然就是好评多、差评少所以单一准确率完全不可信。正确的做法是同时看精确率Precision、召回率Recall、F1值和混淆矩阵。比如“负面评论”这一类精确率表示“模型判定为负面的评论里真正是负面的比例”召回率表示“真正的负面评论里被模型找出来的比例”。在酒店场景里如果目的是帮管理者发现差评来改进服务那召回率比精确率更重要——漏掉差评比误判一条正常评论的后果严重。from sklearn.metrics import confusion_matrix import matplotlib.pyplot as plt import seaborn as sns # 混淆矩阵可视化 cm confusion_matrix(y_test, y_pred_lr) plt.figure(figsize(6, 5)) sns.heatmap(cm, annotTrue, fmtd, cmapBlues, xticklabels[负面, 正面], yticklabels[负面, 正面]) plt.xlabel(预测标签) plt.ylabel(真实标签) plt.title(逻辑回归混淆矩阵) plt.tight_layout() plt.savefig(output/confusion_matrix.png, dpi150)把混淆矩阵画出来放到文档里一方面让老师一眼看清你的模型错在哪里——是差评被误判成好评多还是反过来另一方面也方便你写分析如果差评误判成好评的数量较多说明负面特征还不够突出可以增加ngram范围或补充领域情感词典。这是整个大作业里最容易拿分的一段分析。5. 避坑指南从一个编码报错到数据泄漏的5个翻车现场5.1 现象读CSV报 UnicodeDecodeError用pd.read_csv读酒店评论数据时直接抛出UnicodeDecodeError: utf-8 codec cant decode byte。原因是爬虫获取的数据大概率是GBK或GB2312编码尤其评论这种来自网页的数据网站为了节省存储空间常使用GBK。解决方式是依次尝试encodinggbk、encodinggb18030或者在读取时加errorsignore跳过无法解码的字节。但要注意errorsignore是兜底方案它会静默丢弃数据如果你发现读进来的行数比原文件少就说明有内容被丢掉了要改用errorsreplace把无法解码的字符替换成占位符至少能定位问题。5.2 现象测试集准确率95%换数据一测就露馅训练集上测试的效果惊艳但文档里的评估结果被老师质疑“是不是过拟合了”。排查后发现常见的两个原因一是向量化器对全量数据先做了fit_transform再切分测试集信息提前泄露给了模型二是在数据清洗阶段就把打标字段和文本字段一起参与了特征构建比如把评分数字也当作文本特征喂了进去。解决方式是严格按流程来——先切分训练集和测试集再在训练集上fit向量化器测试集只允许transform全程保证特征构建过程不接触测试集。5.3 现象分词后“不”字消失情感判断反向模型把“房间不算干净”预测成正面评论。原因是停用词表里包含“不”字分词后“不”被直接过滤掉剩下了“房间”“算”“干净”模型看到“房间”“干净”就把这条判定成正面了。中文情感分析里“不”“没”“别”这类否定词是整个任务的核心信息绝对不能进停用词表。解决方式是在停用词表里直接删掉这几个否定词然后用我自己比较推荐的方式——在分词之后、向量化之前检查每条评论里否定词后面跟的词是否被正确保留成了词序列必要时用规则把“不XX”改写成一个整体词“不XX”比如“不满意”保留原样效果会好很多。5.4 现象Snownlp装不上或者装上了一个准确率刚过六成的模型Snownlp在Python 3.10以上的某些环境下安装会报编译错误即使装上在酒店评论上的表现也普遍不理想。原因是Snownlp的核心情感模型是在购物评论上训练的酒店评论的用语习惯和购物评论差异明显。如果你只是拿Snownlp做一个词典法基线那没问题但如果你正指望Snownlp撑起整个大作业的效果我建议做好心理准备。不过不用急着卸载Snownlp有个比较实用的场景是做规则对比——拿Snownlp对同一条评论打分再拿你的模型输出结果对比差异并分析原因这个分析本身在答辩时会显得你对模型的边界理解很到位。5.5 现象好评数量是差评的9倍准确率虚高但F1惨不忍睹爬虫抓下来的酒店评论天然不平衡好评占绝大多数。模型全猜好评准确率轻松超过85%但负面评论的F1值可能不到0.3等于没做情感分析。解决方式是先观察标签分布如果差异过大训练时要加class_weightbalanced让模型对少数类更敏感或者对多数类做欠采样随机丢弃部分好评让正负样本比例降到2:1以内。我建议在做混淆矩阵分析时单独看一眼负面评论的召回率这个数最能反映模型实际抓到差评的能力。6. 高分大作业的最后一公里可视化和讲述你的方案大作业和工业项目有一个本质区别你的代码不是给人生产用的是给老师评估用的。这意味着“做出来”只占一半“展示出来”占另一半。我见过很多学生模型效果很好但文档里没有一张图答辩PPT上只有干巴巴的代码截图分数反而不如那些效果一般但图表齐全的同学。可视化不是锦上添花在这个场景里它就是硬实力。前文已经写了混淆矩阵的可视化这是必须有的。除此之外两个图几乎是期末大作业的标配情感分布饼图和评论词云。from wordcloud import WordCloud import matplotlib.pyplot as plt # 正面评论词云 positive_text .join(df[df[label] 1][cleaned]) neg_text .join(df[df[label] 0][cleaned]) wc WordCloud( font_pathC:\\Windows\\Fonts\\simhei.ttf, # 中文字体路径 width800, height600, background_colorwhite, max_words200 ) wc.generate(positive_text) plt.figure(figsize(10, 6)) plt.imshow(wc, interpolationbilinear) plt.axis(off) plt.title(正面评论词云) plt.tight_layout() plt.savefig(output/positive_wordcloud.png, dpi150)这里一个容易踩坑的点是font_path——WordCloud默认不支持中文不指定中文字体就会画出一堆方块。Windows系统通常用simhei.ttf黑体Mac和Linux需要换成对应路径或下载字体文件。你可以在代码里先检查字体路径是否存在不存在就打印警告提示换路径。情感分布饼图用matplotlib的pie画即可展示正负面评论的比例关系。如果数据不平衡这个图正好可以和分类报告的F1值形成呼应——你的分析可以写成“虽然数据中好评占82%但模型在负面评论上的召回率达到79%说明模型并非单纯偏向多数类”。这样一句话直接体现出你理解了类别不平衡问题的本质。往更高的方向说如果你学有余力可以在文档末尾提一句这个项目的可扩展方向——比如引入多模态情感分析结合评论文本和配图做联合判断或者用情感分数随时间变化的趋势来做酒店口碑预警。不用真的实现但在文档里写出“为什么可以这么做、大概需要什么技术栈”这块内容在答辩时是最能展示你视野的地方。我自己在做这种文本分析作业时养成了一个习惯每次跑完一个模型先把预测错误的样本打出来逐条看模型为什么错。发现停用词问题、发现否定词问题、发现数据标注问题都是靠这个动作。不要只看准确率数字就结束——那些错得不讲道理的样本才是拿高分的台阶。希望帮到你。本文还有配套的精品资源点击获取