1. 项目概述当数学建模遇见文化遗产去年带队参加国赛拿到C题《古代玻璃制品的成分分析与鉴别》时团队里几个搞计算机的同学眼睛都亮了。这题表面看是化学和考古内核却是一个典型的数据科学问题——给你一批古代玻璃文物的化学成分数据让你判断它们的类型、产地、风化规律。这不就是分类、聚类、回归那一套吗用Python来处理再合适不过了。但真做起来才发现远不是调个sklearn那么简单。它要求你从一堆看似杂乱的数据里还原出千年前工匠的工艺密码并解释其背后的文化联系。这既考验对pandas、scikit-learn这些工具的操作熟练度更考验将实际问题转化为数学模型再用代码实现求解的“翻译”能力。这篇内容我就结合当时的解题思路和后续的复盘拆解一下如何用Python这把“手术刀”来剖析古代玻璃制品的数据“肌理”。无论你是正在备战数模竞赛的学生还是对数据分析在人文领域的应用感兴趣的朋友希望这些从真实赛题中沉淀下来的方法、踩过的坑和代码片段能给你带来直接可用的参考。我们会从数据清洗的“脏活累活”开始一步步走到主成分分析PCA降维、模糊聚类这些核心算法最后还会聊聊如何让冷冰冰的模型输出变成有温度、能说服评委的考古学推论。2. 解题核心思路与整体设计面对“成分分析与鉴别”这类问题一个清晰的解决框架比盲目编码重要得多。我们的整体思路可以概括为“数据理解 - 数据预处理 - 特征工程 - 模型构建 - 结果分析与考古解释”这样一个流水线。Python在这个流程中的每个环节都扮演着核心工具的角色。2.1 问题拆解与建模目标定义题目通常会提供多个子问题我们需要逐一将其转化为可计算的数学任务。以典型的赛题为例任务可能包括分类任务根据化学成分判断玻璃制品属于高钾玻璃还是铅钡玻璃。这是一个二分类问题。风化分析研究玻璃表面风化与其内部成分、保存环境的关系。这可以转化为关联分析如相关性计算或预测模型如根据成分预测风化程度。亚类划分在铅钡玻璃或高钾玻璃内部根据成分细微差异进行更精细的分类这属于聚类分析或无监督学习。关联分析探究不同类别玻璃的化学成分与历史渊源、产地之间的潜在联系这需要结合统计分析如方差分析、卡方检验和领域知识进行推断。因此我们的Python代码库需要准备好应对分类、聚类、回归、统计检验等多种任务。2.2 技术栈选型与工具准备基于上述任务一个高效且轻量级的技术栈组合如下数据处理基石pandas和numpy。pandas的DataFrame是承载和操作数据表格的不二之选其强大的数据清洗、合并、分组聚合功能不可或缺。numpy则提供底层高效的数组计算。可视化利器matplotlib和seaborn。用于绘制成分分布直方图、箱线图、散点图矩阵、热力图等是探索数据、呈现结果的关键。机器学习核心scikit-learn。它提供了几乎我们所需的所有机器学习算法逻辑回归、SVM、决策树、PCA、K-Means等以及完整的模型评估工具链训练集测试集划分、交叉验证、评估指标。统计分析补充scipy.stats。用于进行更专业的统计检验如t检验、方差分析(ANOVA)、卡方检验等为考古学推论提供统计显著性支持。开发环境强烈推荐使用Jupyter Notebook或VS Code。Notebook的交互式特性非常适合数据探索和阶段性结果展示而VS Code则提供了更强大的代码管理和调试能力。环境配置务必在赛前完成避免临阵磨枪。注意在竞赛环境中应避免使用过于庞大或依赖复杂的库如TensorFlow/PyTorch用于深度学习除非问题明确需要。scikit-learn的经典算法在解释性和运行效率上通常更具优势也更符合数学建模的要求。3. 数据预处理从原始数据到可靠特征竞赛提供的数据通常来自真实的科学检测报告不可避免地存在缺失、异常、量纲不一等问题。这一步是后续所有分析的基础直接决定模型的成败。3.1 缺失值处理的艺术古代玻璃成分数据中缺失值可能意味着该成分未检出或含量极低。不能简单地删除或填充。分析缺失模式使用pandas的isnull().sum()和seaborn.heatmap绘制缺失值热图查看缺失是随机分布还是集中在某些样品或成分上。如果某件文物大部分成分都缺失可能需要考虑剔除该样本。针对性填充策略未检出低于检测限通常用检测限的一半或一个极小值如0.001填充并在报告中注明。关键特征缺失对于分类任务中的关键特征如区分高钾和铅钡的核心成分PbO、K2O若缺失严重可能需要考虑使用其他相关特征进行建模或将该特征标记为“是否缺失”作为一个新的布尔特征。使用统计量填充对于非关键特征的随机缺失常按玻璃类别高钾/铅钡分组用该组的中位数进行填充。中位数比均值更抗干扰。# 示例按玻璃类型分组填充中位数 df[SiO2] df.groupby(玻璃类型)[SiO2].transform(lambda x: x.fillna(x.median()))创建缺失指示器对于某些成分其“是否存在”本身可能就是重要信息。可以创建一个新列如PbO_missing标记该成分是否原始缺失。3.2 异常值检测与处理异常值可能是检测误差也可能是某种特殊工艺的体现需谨慎处理。可视化发现使用箱线图seaborn.boxplot快速定位各成分的异常点。统计方法判定常用基于IQR四分位距的方法。将超出[Q1 - 1.5*IQR, Q3 1.5*IQR]范围的值视为温和异常值超出[Q1 - 3*IQR, Q3 3*IQR]的视为极端异常值。处理决策如果是明显错误如成分和为远大于100%应修正或剔除。如果是特殊样品查阅文物背景资料。如果该样品来自特殊墓葬或时期这个“异常”可能具有重要研究价值应予以保留并在分析中单独讨论。此时可以考虑使用对异常值不敏感的模型如树模型或在特征工程中对其进行“缩尾”处理Winsorization。3.3 成分数据的特殊性处理定和约束玻璃化学成分数据通常是氧化物含量的百分比所有成分之和应为100%或接近100%因含有未测元素。这称为“定和约束”会导致数据处于一个单纯形空间直接应用欧氏距离计算会有问题。归一化还是标准化通常我们选择归一化将每个样本的所有成分含量除以该样本的成分总和强制使其和为1100%。这消除了检测总量波动的影响使不同样本间的成分比例可比。# 假设df的列从‘SiO2’到‘其他’都是成分 component_cols [SiO2, Na2O, K2O, ...] df[component_cols] df[component_cols].div(df[component_cols].sum(axis1), axis0)对数比变换对于成分数据更统计学的方法是进行中心对数比变换CLR或等距对数比变换ILR。这能打破定和约束将数据映射到欧氏空间更适合后续的多元统计分析。scikit-learn没有直接提供但可以用scipy或自行实现。在时间有限的竞赛中清晰的归一化加上说明通常已能满足要求。4. 特征工程与降维提炼信息精华原始成分有十几种并非所有都对鉴别有用。特征工程的目标是创建更有信息量的特征并降低维度。4.1 衍生特征构造根据化学和考古学知识构造新特征往往能极大提升模型性能。关键比值PbO/K2O直接区分铅钡与高钾、SiO2/(Na2OK2O)类似玻璃网络形成体与修饰体的比值反映稳定性、CaO/MgO等。这些比值可能比单一成分含量更具鉴别力。风化相关特征计算风化前后成分的差值或比值如表面K2O含量 / 内部K2O含量量化风化过程中的流失或富集。类别指示特征如果是分类问题可以计算每个样本的化学成分与高钾玻璃、铅钡玻璃中心点的某种距离作为新特征。4.2 主成分分析PCA降维实战PCA是处理此类高维成分数据的核心工具它能将 correlated 的成分变量转换为少数几个不相关的综合变量主成分并保留大部分原始信息。为何要用PCA可视化将高维数据降至2维或3维便于观察样本的聚集情况。去噪与压缩去除方差小的成分可能是噪声用更少的特征进行后续建模提高效率有时还能提升模型泛化能力。解决多重共线性成分数据间常有相关性PCA生成的主成分是正交的完美解决了这一问题。Python实现步骤与解读from sklearn.decomposition import PCA from sklearn.preprocessing import StandardScaler # 假设X是归一化后的成分特征矩阵 # PCA前通常进行标准化均值为0方差为1确保各成分量纲一致 scaler StandardScaler() X_scaled scaler.fit_transform(X) # 初始化PCA先不指定维度查看方差贡献 pca_full PCA() pca_full.fit(X_scaled) # 绘制方差解释率累计曲线 import matplotlib.pyplot as plt import numpy as np plt.figure(figsize(10,6)) plt.plot(np.cumsum(pca_full.explained_variance_ratio_), bo-) plt.xlabel(Number of Principal Components) plt.ylabel(Cumulative Explained Variance Ratio) plt.grid(True) plt.show()如何确定主成分数量通常选择累计方差解释率达到85%-95%所需的主成分数。从上图可以清晰看到拐点。主成分的物理解释这是将数学结果联系回考古问题的关键。查看pca.components_特征向量它表示原始成分在主成分上的权重。例如如果PC1上PbO权重很高且为正K2O权重很高且为负那么PC1很可能就代表了“铅钡 vs. 高钾”这个最主要的差异维度。在论文中需要结合pca.components_对主成分进行命名和解释。4.3 特征选择除了PCA这种特征提取还可以进行特征选择。基于统计检验对于分类问题使用scikit-learn的SelectKBest配合卡方检验或F检验筛选与类别标签最相关的特征。基于模型使用树模型如随机森林训练后查看feature_importances_筛选重要性高的特征。领域知识驱动永远不要忽视化学和考古学常识。某些成分如PbO,BaO,K2O是已知的关键区分元素必须保留。5. 模型构建、评估与结果分析数据准备好后就进入核心的建模环节。5.1 分类模型鉴别玻璃类型这是一个监督学习任务。模型选择逻辑回归、支持向量机(SVM)、随机森林都是不错的选择。逻辑回归简单可解释SVM在高维小样本数据上表现优异随机森林能自动处理特征交互且对异常值不敏感。关键步骤划分数据集使用train_test_split确保模型评估的公正性。处理类别不平衡如果高钾和铅钡玻璃样本数差异大需要在建模时注意。可以使用类权重参数如class_weightbalanced或过采样/欠采样技术。模型训练与调参使用GridSearchCV或RandomizedSearchCV进行超参数调优并采用交叉验证避免过拟合。from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import GridSearchCV param_grid { n_estimators: [100, 200], max_depth: [10, 20, None], min_samples_split: [2, 5] } rf RandomForestClassifier(random_state42) grid_search GridSearchCV(rf, param_grid, cv5, scoringaccuracy) grid_search.fit(X_train, y_train) print(fBest params: {grid_search.best_params_}) print(fBest CV accuracy: {grid_search.best_score_:.3f})模型评估不要只看准确率。对于考古数据混淆矩阵、精确率、召回率、F1-score使用classification_report更能全面反映模型性能尤其是当两类文物价值不同时比如误判一件珍贵文物的代价更高。5.2 聚类分析探索亚类划分对于“将高钾玻璃分为若干亚类”这样的无监督学习任务聚类是主要工具。算法选择K-Means是最常用的但需要指定K值。层次聚类Agglomerative Clustering可以生成树状图便于观察不同粒度下的分类且可能对非球形簇更有效。模糊C均值聚类Fuzzy C-Means允许样本以一定概率属于多个类更能反映成分过渡的实际情况。确定最佳聚类数K肘部法则绘制不同K值下聚类误差如K-Means的惯性inertia的曲线找拐点。轮廓系数使用sklearn.metrics.silhouette_score计算越接近1表示聚类效果越好。结合主成分图在PCA降维后的二维散点图上观察样本的自然聚集情况为K值提供直观参考。聚类结果的考古学解释这是升华点。得到聚类标签后需要分析类中心计算每个簇的成分均值找出其特征成分如A簇富钾贫铅B簇铅钡含量都高。结合文物背景查看每个簇中文物的出土年代、地域、器型是否具有规律。例如是否某个簇集中出现在丝绸之路的某个节点这可能是不同工艺传播路线的证据。可视化呈现用不同颜色标记聚类结果绘制在PCA前两个主成分构成的散点图上非常直观。5.3 风化规律分析关联与预测风化分析可能涉及关联规则挖掘或预测模型。相关性分析计算风化程度或风化前后成分差值与各种环境因素如埋藏土壤pH值、湿度数据如果题目提供、内部成分之间的斯皮尔曼秩相关系数对非线性关系更稳健。使用seaborn.clustermap绘制相关性热图可以直观发现哪些成分与风化行为强相关。预测模型如果需要预测风化程度可以将其视为回归问题如使用随机森林回归RandomForestRegressor。特征可以包括原始内部成分、环境因素、以及构造的交互特征。统计检验为了验证“高钾玻璃和铅钡玻璃的风化行为是否存在显著差异”可以对两组样本的风化指标如某种成分的流失率进行Mann-Whitney U检验非参数检验不要求正态分布。6. 完整流程串联与代码框架下面是一个将上述步骤串联起来的简化代码框架展示了从数据加载到得出初步结论的完整流程。# -*- coding: utf-8 -*- 古代玻璃制品成分分析Python实现框架 author: YourName import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns from sklearn.model_selection import train_test_split, GridSearchCV from sklearn.preprocessing import StandardScaler, LabelEncoder from sklearn.decomposition import PCA from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import classification_report, confusion_matrix, silhouette_score from sklearn.cluster import KMeans import warnings warnings.filterwarnings(ignore) plt.rcParams[font.sans-serif] [SimHei] # 用来正常显示中文标签 plt.rcParams[axes.unicode_minus] False # 用来正常显示负号 # 1. 数据加载与探索 df pd.read_excel(古代玻璃成分数据.xlsx) print(数据形状:, df.shape) print(\n前5行数据:) print(df.head()) print(\n数据基本信息:) print(df.info()) print(\n描述性统计:) print(df.describe()) # 2. 数据预处理 # 2.1 处理缺失值示例按类型分组填充中位数 def fill_missing_by_group(df, group_col, fill_cols): for col in fill_cols: df[col] df.groupby(group_col)[col].transform(lambda x: x.fillna(x.median())) return df # 假设‘类型’是玻璃类别列component_cols是成分列列表 component_cols [SiO2, Na2O, K2O, CaO, MgO, Al2O3, Fe2O3, CuO, PbO, BaO, P2O5, SrO, SnO2, SO2] df fill_missing_by_group(df, 类型, component_cols) # 2.2 归一化处理使各样本成分和为1 df[component_cols] df[component_cols].div(df[component_cols].sum(axis1), axis0) # 2.3 特征与标签分离 X df[component_cols].copy() y df[类型].copy() # 假设‘类型’是标签列 le LabelEncoder() y_encoded le.fit_transform(y) # 将标签编码为数字 # 3. 特征降维与可视化 (PCA) scaler StandardScaler() X_scaled scaler.fit_transform(X) pca PCA(n_components0.95) # 保留95%方差的主成分 X_pca pca.fit_transform(X_scaled) print(f原始特征数: {X.shape[1]}, 降维后主成分数: {X_pca.shape[1]}) print(各主成分方差解释率:, pca.explained_variance_ratio_) # 绘制PCA散点图 plt.figure(figsize(10,8)) scatter plt.scatter(X_pca[:, 0], X_pca[:, 1], cy_encoded, cmapviridis, alpha0.7) plt.xlabel(fPC1 ({pca.explained_variance_ratio_[0]:.2%})) plt.ylabel(fPC2 ({pca.explained_variance_ratio_[1]:.2%})) plt.colorbar(scatter, label玻璃类型) plt.title(古代玻璃成分PCA降维可视化) plt.grid(True) plt.show() # 4. 分类模型构建以随机森林为例 # 划分训练集和测试集 X_train, X_test, y_train, y_test train_test_split(X_scaled, y_encoded, test_size0.2, random_state42, stratifyy_encoded) # 训练随机森林分类器 rf_clf RandomForestClassifier(n_estimators200, max_depth10, random_state42) rf_clf.fit(X_train, y_train) y_pred rf_clf.predict(X_test) # 评估模型 print(随机森林分类报告:) print(classification_report(y_test, y_pred, target_namesle.classes_)) print(\n混淆矩阵:) print(confusion_matrix(y_test, y_pred)) # 5. 聚类分析以K-Means为例对高钾玻璃子集 # 假设我们已筛选出高钾玻璃数据 df_highk df_highk df[df[类型] 高钾].copy() X_highk scaler.transform(df_highk[component_cols]) # 使用之前的scaler # 寻找最佳K值肘部法则 inertias [] K_range range(2, 10) for k in K_range: kmeans KMeans(n_clustersk, random_state42) kmeans.fit(X_highk) inertias.append(kmeans.inertia_) plt.figure(figsize(8,5)) plt.plot(K_range, inertias, bo-) plt.xlabel(聚类数 K) plt.ylabel(惯性 (Inertia)) plt.title(肘部法则确定最佳K值) plt.grid(True) plt.show() # 根据肘部法则选择K例如K3 best_k 3 kmeans_final KMeans(n_clustersbest_k, random_state42) cluster_labels kmeans_final.fit_predict(X_highk) df_highk[聚类标签] cluster_labels # 分析聚类中心 cluster_centers_original scaler.inverse_transform(kmeans_final.cluster_centers_) cluster_center_df pd.DataFrame(cluster_centers_original, columnscomponent_cols) print(各聚类中心的成分特征原始尺度:) print(cluster_center_df) # 6. 风化规律分析示例相关性热图 # 假设df中有‘风化程度’和‘土壤pH’等列 if {风化程度, 土壤pH}.issubset(df.columns): analysis_cols component_cols [风化程度, 土壤pH] corr_matrix df[analysis_cols].corr(methodspearman) plt.figure(figsize(12,10)) sns.heatmap(corr_matrix, annotTrue, fmt.2f, cmapcoolwarm, center0) plt.title(成分、风化程度与环境因素斯皮尔曼相关系数热图) plt.tight_layout() plt.show()7. 常见问题、避坑指南与实战心得在实际操作和竞赛中会遇到许多文档里不会写的细节问题。7.1 数据预处理中的陷阱忽视检测限原始数据中“未检出”可能表示为“ND”或“0.01”。如果简单当作缺失值处理或用0填充会引入巨大误差。必须根据检测报告补充说明用合理的小值如检测限的一半替代。归一化顺序错误一定要先处理缺失值再进行归一化。如果先归一化用中位数填充缺失值就会破坏归一化的结果。误用标准化对于成分百分比数据标准化Z-score有时会扭曲成分之间的比例关系。除非进行对数比变换否则归一化和为1通常是更安全的第一选择。PCA前可以对归一化后的数据再做一次标准化这是为了平衡各成分的方差让PCA不被量级大的成分主导。7.2 建模与结果分析中的误区过度依赖准确率在样本量小或不平衡时准确率具有欺骗性。务必查看混淆矩阵。例如如果铅钡玻璃样本很少模型可能通过将所有样本预测为高钾玻璃来获得高准确率但这完全没用。F1-score是更好的综合指标。聚类结果强行解释K-Means等算法总会给你分出K个类即使数据本身没有自然聚集。必须结合轮廓系数和可视化PCA图来判断聚类是否有效。如果轮廓系数很低如0.3且PCA图上点分布均匀那么所谓的“亚类”可能只是数学游戏缺乏考古学意义。混淆相关与因果相关性高如某种成分含量与风化程度相关不等于因果关系。在论文中论述时要使用“可能表明”、“暗示了”、“与...存在关联”等谨慎的措辞并从化学机理如该成分的化学稳定性角度尝试解释而不是武断下结论。7.3 代码实现与效率优化管道Pipeline的使用使用sklearn.pipeline.Pipeline将预处理标准化、降维PCA、模型训练封装起来。这不仅能保证流程一致性避免数据泄露还能方便地进行网格搜索。from sklearn.pipeline import Pipeline pipeline Pipeline([ (scaler, StandardScaler()), (pca, PCA(n_components0.9)), (clf, RandomForestClassifier()) ]) param_grid {pca__n_components: [0.8, 0.9, 0.95], clf__n_estimators: [100, 200]} grid_search GridSearchCV(pipeline, param_grid, cv5)设置随机种子在train_test_split,KMeans,RandomForestClassifier等涉及随机性的函数中务必设置random_state参数。这能确保结果可复现在调试和团队协作中至关重要。特征重要性分析随机森林训练后输出特征重要性并排序这本身就是一份很好的中间结果可以回答“哪些化学成分对鉴别最重要”这个问题。importances rf_clf.feature_importances_ indices np.argsort(importances)[::-1] print(特征重要性排序:) for i, idx in enumerate(indices[:10]): # 显示前10个重要特征 print(f{i1}. {component_cols[idx]}: {importances[idx]:.4f})7.4 论文写作与结果呈现图比表好表比文字好多使用高质量的图表。PCA散点图、聚类热图、特征重要性条形图、相关性热图都能让评委一眼抓住重点。图表务必清晰有标题、坐标轴标签、图例。给主成分和聚类命名不要只写PC1、Cluster 1。根据pca.components_的权重给主成分起名如“铅钡富集因子”、“碱金属网络修饰因子”。根据聚类中心的成分特征给聚类命名如“高钾钙铝硅酸盐亚类”、“铅钡铜绿釉亚类”。这极大地提升了工作的深度和可读性。模型结果与考古背景结合这是区分优秀和普通论文的关键。当你的模型识别出一个亚类后要去查这个亚类中文物的出土信息它们是否来自同一时期同一地域同一种器型如果能将数据挖掘结果与已知的历史背景如丝绸之路贸易、唐代铅釉陶技术的传播联系起来并提出合理的考古学推测论文的立意就拔高了。最后想说的是用Python解这类赛题技术是骨架但真正的血肉是对问题的理解。拿到数据后别急着敲代码先花时间读懂题目查查高钾玻璃和铅钡玻璃的化学特性、历史背景。当你对数据背后的文物有了基本的认知你写的每一行代码做的每一个分析都会更有方向得出的结论也更能经得起推敲。这个过程本身就是一次跨越文理的精彩探索。 Python数据分析实战：从数学建模到文化遗产研究的完整流程解析
1. 项目概述当数学建模遇见文化遗产去年带队参加国赛拿到C题《古代玻璃制品的成分分析与鉴别》时团队里几个搞计算机的同学眼睛都亮了。这题表面看是化学和考古内核却是一个典型的数据科学问题——给你一批古代玻璃文物的化学成分数据让你判断它们的类型、产地、风化规律。这不就是分类、聚类、回归那一套吗用Python来处理再合适不过了。但真做起来才发现远不是调个sklearn那么简单。它要求你从一堆看似杂乱的数据里还原出千年前工匠的工艺密码并解释其背后的文化联系。这既考验对pandas、scikit-learn这些工具的操作熟练度更考验将实际问题转化为数学模型再用代码实现求解的“翻译”能力。这篇内容我就结合当时的解题思路和后续的复盘拆解一下如何用Python这把“手术刀”来剖析古代玻璃制品的数据“肌理”。无论你是正在备战数模竞赛的学生还是对数据分析在人文领域的应用感兴趣的朋友希望这些从真实赛题中沉淀下来的方法、踩过的坑和代码片段能给你带来直接可用的参考。我们会从数据清洗的“脏活累活”开始一步步走到主成分分析PCA降维、模糊聚类这些核心算法最后还会聊聊如何让冷冰冰的模型输出变成有温度、能说服评委的考古学推论。2. 解题核心思路与整体设计面对“成分分析与鉴别”这类问题一个清晰的解决框架比盲目编码重要得多。我们的整体思路可以概括为“数据理解 - 数据预处理 - 特征工程 - 模型构建 - 结果分析与考古解释”这样一个流水线。Python在这个流程中的每个环节都扮演着核心工具的角色。2.1 问题拆解与建模目标定义题目通常会提供多个子问题我们需要逐一将其转化为可计算的数学任务。以典型的赛题为例任务可能包括分类任务根据化学成分判断玻璃制品属于高钾玻璃还是铅钡玻璃。这是一个二分类问题。风化分析研究玻璃表面风化与其内部成分、保存环境的关系。这可以转化为关联分析如相关性计算或预测模型如根据成分预测风化程度。亚类划分在铅钡玻璃或高钾玻璃内部根据成分细微差异进行更精细的分类这属于聚类分析或无监督学习。关联分析探究不同类别玻璃的化学成分与历史渊源、产地之间的潜在联系这需要结合统计分析如方差分析、卡方检验和领域知识进行推断。因此我们的Python代码库需要准备好应对分类、聚类、回归、统计检验等多种任务。2.2 技术栈选型与工具准备基于上述任务一个高效且轻量级的技术栈组合如下数据处理基石pandas和numpy。pandas的DataFrame是承载和操作数据表格的不二之选其强大的数据清洗、合并、分组聚合功能不可或缺。numpy则提供底层高效的数组计算。可视化利器matplotlib和seaborn。用于绘制成分分布直方图、箱线图、散点图矩阵、热力图等是探索数据、呈现结果的关键。机器学习核心scikit-learn。它提供了几乎我们所需的所有机器学习算法逻辑回归、SVM、决策树、PCA、K-Means等以及完整的模型评估工具链训练集测试集划分、交叉验证、评估指标。统计分析补充scipy.stats。用于进行更专业的统计检验如t检验、方差分析(ANOVA)、卡方检验等为考古学推论提供统计显著性支持。开发环境强烈推荐使用Jupyter Notebook或VS Code。Notebook的交互式特性非常适合数据探索和阶段性结果展示而VS Code则提供了更强大的代码管理和调试能力。环境配置务必在赛前完成避免临阵磨枪。注意在竞赛环境中应避免使用过于庞大或依赖复杂的库如TensorFlow/PyTorch用于深度学习除非问题明确需要。scikit-learn的经典算法在解释性和运行效率上通常更具优势也更符合数学建模的要求。3. 数据预处理从原始数据到可靠特征竞赛提供的数据通常来自真实的科学检测报告不可避免地存在缺失、异常、量纲不一等问题。这一步是后续所有分析的基础直接决定模型的成败。3.1 缺失值处理的艺术古代玻璃成分数据中缺失值可能意味着该成分未检出或含量极低。不能简单地删除或填充。分析缺失模式使用pandas的isnull().sum()和seaborn.heatmap绘制缺失值热图查看缺失是随机分布还是集中在某些样品或成分上。如果某件文物大部分成分都缺失可能需要考虑剔除该样本。针对性填充策略未检出低于检测限通常用检测限的一半或一个极小值如0.001填充并在报告中注明。关键特征缺失对于分类任务中的关键特征如区分高钾和铅钡的核心成分PbO、K2O若缺失严重可能需要考虑使用其他相关特征进行建模或将该特征标记为“是否缺失”作为一个新的布尔特征。使用统计量填充对于非关键特征的随机缺失常按玻璃类别高钾/铅钡分组用该组的中位数进行填充。中位数比均值更抗干扰。# 示例按玻璃类型分组填充中位数 df[SiO2] df.groupby(玻璃类型)[SiO2].transform(lambda x: x.fillna(x.median()))创建缺失指示器对于某些成分其“是否存在”本身可能就是重要信息。可以创建一个新列如PbO_missing标记该成分是否原始缺失。3.2 异常值检测与处理异常值可能是检测误差也可能是某种特殊工艺的体现需谨慎处理。可视化发现使用箱线图seaborn.boxplot快速定位各成分的异常点。统计方法判定常用基于IQR四分位距的方法。将超出[Q1 - 1.5*IQR, Q3 1.5*IQR]范围的值视为温和异常值超出[Q1 - 3*IQR, Q3 3*IQR]的视为极端异常值。处理决策如果是明显错误如成分和为远大于100%应修正或剔除。如果是特殊样品查阅文物背景资料。如果该样品来自特殊墓葬或时期这个“异常”可能具有重要研究价值应予以保留并在分析中单独讨论。此时可以考虑使用对异常值不敏感的模型如树模型或在特征工程中对其进行“缩尾”处理Winsorization。3.3 成分数据的特殊性处理定和约束玻璃化学成分数据通常是氧化物含量的百分比所有成分之和应为100%或接近100%因含有未测元素。这称为“定和约束”会导致数据处于一个单纯形空间直接应用欧氏距离计算会有问题。归一化还是标准化通常我们选择归一化将每个样本的所有成分含量除以该样本的成分总和强制使其和为1100%。这消除了检测总量波动的影响使不同样本间的成分比例可比。# 假设df的列从‘SiO2’到‘其他’都是成分 component_cols [SiO2, Na2O, K2O, ...] df[component_cols] df[component_cols].div(df[component_cols].sum(axis1), axis0)对数比变换对于成分数据更统计学的方法是进行中心对数比变换CLR或等距对数比变换ILR。这能打破定和约束将数据映射到欧氏空间更适合后续的多元统计分析。scikit-learn没有直接提供但可以用scipy或自行实现。在时间有限的竞赛中清晰的归一化加上说明通常已能满足要求。4. 特征工程与降维提炼信息精华原始成分有十几种并非所有都对鉴别有用。特征工程的目标是创建更有信息量的特征并降低维度。4.1 衍生特征构造根据化学和考古学知识构造新特征往往能极大提升模型性能。关键比值PbO/K2O直接区分铅钡与高钾、SiO2/(Na2OK2O)类似玻璃网络形成体与修饰体的比值反映稳定性、CaO/MgO等。这些比值可能比单一成分含量更具鉴别力。风化相关特征计算风化前后成分的差值或比值如表面K2O含量 / 内部K2O含量量化风化过程中的流失或富集。类别指示特征如果是分类问题可以计算每个样本的化学成分与高钾玻璃、铅钡玻璃中心点的某种距离作为新特征。4.2 主成分分析PCA降维实战PCA是处理此类高维成分数据的核心工具它能将 correlated 的成分变量转换为少数几个不相关的综合变量主成分并保留大部分原始信息。为何要用PCA可视化将高维数据降至2维或3维便于观察样本的聚集情况。去噪与压缩去除方差小的成分可能是噪声用更少的特征进行后续建模提高效率有时还能提升模型泛化能力。解决多重共线性成分数据间常有相关性PCA生成的主成分是正交的完美解决了这一问题。Python实现步骤与解读from sklearn.decomposition import PCA from sklearn.preprocessing import StandardScaler # 假设X是归一化后的成分特征矩阵 # PCA前通常进行标准化均值为0方差为1确保各成分量纲一致 scaler StandardScaler() X_scaled scaler.fit_transform(X) # 初始化PCA先不指定维度查看方差贡献 pca_full PCA() pca_full.fit(X_scaled) # 绘制方差解释率累计曲线 import matplotlib.pyplot as plt import numpy as np plt.figure(figsize(10,6)) plt.plot(np.cumsum(pca_full.explained_variance_ratio_), bo-) plt.xlabel(Number of Principal Components) plt.ylabel(Cumulative Explained Variance Ratio) plt.grid(True) plt.show()如何确定主成分数量通常选择累计方差解释率达到85%-95%所需的主成分数。从上图可以清晰看到拐点。主成分的物理解释这是将数学结果联系回考古问题的关键。查看pca.components_特征向量它表示原始成分在主成分上的权重。例如如果PC1上PbO权重很高且为正K2O权重很高且为负那么PC1很可能就代表了“铅钡 vs. 高钾”这个最主要的差异维度。在论文中需要结合pca.components_对主成分进行命名和解释。4.3 特征选择除了PCA这种特征提取还可以进行特征选择。基于统计检验对于分类问题使用scikit-learn的SelectKBest配合卡方检验或F检验筛选与类别标签最相关的特征。基于模型使用树模型如随机森林训练后查看feature_importances_筛选重要性高的特征。领域知识驱动永远不要忽视化学和考古学常识。某些成分如PbO,BaO,K2O是已知的关键区分元素必须保留。5. 模型构建、评估与结果分析数据准备好后就进入核心的建模环节。5.1 分类模型鉴别玻璃类型这是一个监督学习任务。模型选择逻辑回归、支持向量机(SVM)、随机森林都是不错的选择。逻辑回归简单可解释SVM在高维小样本数据上表现优异随机森林能自动处理特征交互且对异常值不敏感。关键步骤划分数据集使用train_test_split确保模型评估的公正性。处理类别不平衡如果高钾和铅钡玻璃样本数差异大需要在建模时注意。可以使用类权重参数如class_weightbalanced或过采样/欠采样技术。模型训练与调参使用GridSearchCV或RandomizedSearchCV进行超参数调优并采用交叉验证避免过拟合。from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import GridSearchCV param_grid { n_estimators: [100, 200], max_depth: [10, 20, None], min_samples_split: [2, 5] } rf RandomForestClassifier(random_state42) grid_search GridSearchCV(rf, param_grid, cv5, scoringaccuracy) grid_search.fit(X_train, y_train) print(fBest params: {grid_search.best_params_}) print(fBest CV accuracy: {grid_search.best_score_:.3f})模型评估不要只看准确率。对于考古数据混淆矩阵、精确率、召回率、F1-score使用classification_report更能全面反映模型性能尤其是当两类文物价值不同时比如误判一件珍贵文物的代价更高。5.2 聚类分析探索亚类划分对于“将高钾玻璃分为若干亚类”这样的无监督学习任务聚类是主要工具。算法选择K-Means是最常用的但需要指定K值。层次聚类Agglomerative Clustering可以生成树状图便于观察不同粒度下的分类且可能对非球形簇更有效。模糊C均值聚类Fuzzy C-Means允许样本以一定概率属于多个类更能反映成分过渡的实际情况。确定最佳聚类数K肘部法则绘制不同K值下聚类误差如K-Means的惯性inertia的曲线找拐点。轮廓系数使用sklearn.metrics.silhouette_score计算越接近1表示聚类效果越好。结合主成分图在PCA降维后的二维散点图上观察样本的自然聚集情况为K值提供直观参考。聚类结果的考古学解释这是升华点。得到聚类标签后需要分析类中心计算每个簇的成分均值找出其特征成分如A簇富钾贫铅B簇铅钡含量都高。结合文物背景查看每个簇中文物的出土年代、地域、器型是否具有规律。例如是否某个簇集中出现在丝绸之路的某个节点这可能是不同工艺传播路线的证据。可视化呈现用不同颜色标记聚类结果绘制在PCA前两个主成分构成的散点图上非常直观。5.3 风化规律分析关联与预测风化分析可能涉及关联规则挖掘或预测模型。相关性分析计算风化程度或风化前后成分差值与各种环境因素如埋藏土壤pH值、湿度数据如果题目提供、内部成分之间的斯皮尔曼秩相关系数对非线性关系更稳健。使用seaborn.clustermap绘制相关性热图可以直观发现哪些成分与风化行为强相关。预测模型如果需要预测风化程度可以将其视为回归问题如使用随机森林回归RandomForestRegressor。特征可以包括原始内部成分、环境因素、以及构造的交互特征。统计检验为了验证“高钾玻璃和铅钡玻璃的风化行为是否存在显著差异”可以对两组样本的风化指标如某种成分的流失率进行Mann-Whitney U检验非参数检验不要求正态分布。6. 完整流程串联与代码框架下面是一个将上述步骤串联起来的简化代码框架展示了从数据加载到得出初步结论的完整流程。# -*- coding: utf-8 -*- 古代玻璃制品成分分析Python实现框架 author: YourName import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns from sklearn.model_selection import train_test_split, GridSearchCV from sklearn.preprocessing import StandardScaler, LabelEncoder from sklearn.decomposition import PCA from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import classification_report, confusion_matrix, silhouette_score from sklearn.cluster import KMeans import warnings warnings.filterwarnings(ignore) plt.rcParams[font.sans-serif] [SimHei] # 用来正常显示中文标签 plt.rcParams[axes.unicode_minus] False # 用来正常显示负号 # 1. 数据加载与探索 df pd.read_excel(古代玻璃成分数据.xlsx) print(数据形状:, df.shape) print(\n前5行数据:) print(df.head()) print(\n数据基本信息:) print(df.info()) print(\n描述性统计:) print(df.describe()) # 2. 数据预处理 # 2.1 处理缺失值示例按类型分组填充中位数 def fill_missing_by_group(df, group_col, fill_cols): for col in fill_cols: df[col] df.groupby(group_col)[col].transform(lambda x: x.fillna(x.median())) return df # 假设‘类型’是玻璃类别列component_cols是成分列列表 component_cols [SiO2, Na2O, K2O, CaO, MgO, Al2O3, Fe2O3, CuO, PbO, BaO, P2O5, SrO, SnO2, SO2] df fill_missing_by_group(df, 类型, component_cols) # 2.2 归一化处理使各样本成分和为1 df[component_cols] df[component_cols].div(df[component_cols].sum(axis1), axis0) # 2.3 特征与标签分离 X df[component_cols].copy() y df[类型].copy() # 假设‘类型’是标签列 le LabelEncoder() y_encoded le.fit_transform(y) # 将标签编码为数字 # 3. 特征降维与可视化 (PCA) scaler StandardScaler() X_scaled scaler.fit_transform(X) pca PCA(n_components0.95) # 保留95%方差的主成分 X_pca pca.fit_transform(X_scaled) print(f原始特征数: {X.shape[1]}, 降维后主成分数: {X_pca.shape[1]}) print(各主成分方差解释率:, pca.explained_variance_ratio_) # 绘制PCA散点图 plt.figure(figsize(10,8)) scatter plt.scatter(X_pca[:, 0], X_pca[:, 1], cy_encoded, cmapviridis, alpha0.7) plt.xlabel(fPC1 ({pca.explained_variance_ratio_[0]:.2%})) plt.ylabel(fPC2 ({pca.explained_variance_ratio_[1]:.2%})) plt.colorbar(scatter, label玻璃类型) plt.title(古代玻璃成分PCA降维可视化) plt.grid(True) plt.show() # 4. 分类模型构建以随机森林为例 # 划分训练集和测试集 X_train, X_test, y_train, y_test train_test_split(X_scaled, y_encoded, test_size0.2, random_state42, stratifyy_encoded) # 训练随机森林分类器 rf_clf RandomForestClassifier(n_estimators200, max_depth10, random_state42) rf_clf.fit(X_train, y_train) y_pred rf_clf.predict(X_test) # 评估模型 print(随机森林分类报告:) print(classification_report(y_test, y_pred, target_namesle.classes_)) print(\n混淆矩阵:) print(confusion_matrix(y_test, y_pred)) # 5. 聚类分析以K-Means为例对高钾玻璃子集 # 假设我们已筛选出高钾玻璃数据 df_highk df_highk df[df[类型] 高钾].copy() X_highk scaler.transform(df_highk[component_cols]) # 使用之前的scaler # 寻找最佳K值肘部法则 inertias [] K_range range(2, 10) for k in K_range: kmeans KMeans(n_clustersk, random_state42) kmeans.fit(X_highk) inertias.append(kmeans.inertia_) plt.figure(figsize(8,5)) plt.plot(K_range, inertias, bo-) plt.xlabel(聚类数 K) plt.ylabel(惯性 (Inertia)) plt.title(肘部法则确定最佳K值) plt.grid(True) plt.show() # 根据肘部法则选择K例如K3 best_k 3 kmeans_final KMeans(n_clustersbest_k, random_state42) cluster_labels kmeans_final.fit_predict(X_highk) df_highk[聚类标签] cluster_labels # 分析聚类中心 cluster_centers_original scaler.inverse_transform(kmeans_final.cluster_centers_) cluster_center_df pd.DataFrame(cluster_centers_original, columnscomponent_cols) print(各聚类中心的成分特征原始尺度:) print(cluster_center_df) # 6. 风化规律分析示例相关性热图 # 假设df中有‘风化程度’和‘土壤pH’等列 if {风化程度, 土壤pH}.issubset(df.columns): analysis_cols component_cols [风化程度, 土壤pH] corr_matrix df[analysis_cols].corr(methodspearman) plt.figure(figsize(12,10)) sns.heatmap(corr_matrix, annotTrue, fmt.2f, cmapcoolwarm, center0) plt.title(成分、风化程度与环境因素斯皮尔曼相关系数热图) plt.tight_layout() plt.show()7. 常见问题、避坑指南与实战心得在实际操作和竞赛中会遇到许多文档里不会写的细节问题。7.1 数据预处理中的陷阱忽视检测限原始数据中“未检出”可能表示为“ND”或“0.01”。如果简单当作缺失值处理或用0填充会引入巨大误差。必须根据检测报告补充说明用合理的小值如检测限的一半替代。归一化顺序错误一定要先处理缺失值再进行归一化。如果先归一化用中位数填充缺失值就会破坏归一化的结果。误用标准化对于成分百分比数据标准化Z-score有时会扭曲成分之间的比例关系。除非进行对数比变换否则归一化和为1通常是更安全的第一选择。PCA前可以对归一化后的数据再做一次标准化这是为了平衡各成分的方差让PCA不被量级大的成分主导。7.2 建模与结果分析中的误区过度依赖准确率在样本量小或不平衡时准确率具有欺骗性。务必查看混淆矩阵。例如如果铅钡玻璃样本很少模型可能通过将所有样本预测为高钾玻璃来获得高准确率但这完全没用。F1-score是更好的综合指标。聚类结果强行解释K-Means等算法总会给你分出K个类即使数据本身没有自然聚集。必须结合轮廓系数和可视化PCA图来判断聚类是否有效。如果轮廓系数很低如0.3且PCA图上点分布均匀那么所谓的“亚类”可能只是数学游戏缺乏考古学意义。混淆相关与因果相关性高如某种成分含量与风化程度相关不等于因果关系。在论文中论述时要使用“可能表明”、“暗示了”、“与...存在关联”等谨慎的措辞并从化学机理如该成分的化学稳定性角度尝试解释而不是武断下结论。7.3 代码实现与效率优化管道Pipeline的使用使用sklearn.pipeline.Pipeline将预处理标准化、降维PCA、模型训练封装起来。这不仅能保证流程一致性避免数据泄露还能方便地进行网格搜索。from sklearn.pipeline import Pipeline pipeline Pipeline([ (scaler, StandardScaler()), (pca, PCA(n_components0.9)), (clf, RandomForestClassifier()) ]) param_grid {pca__n_components: [0.8, 0.9, 0.95], clf__n_estimators: [100, 200]} grid_search GridSearchCV(pipeline, param_grid, cv5)设置随机种子在train_test_split,KMeans,RandomForestClassifier等涉及随机性的函数中务必设置random_state参数。这能确保结果可复现在调试和团队协作中至关重要。特征重要性分析随机森林训练后输出特征重要性并排序这本身就是一份很好的中间结果可以回答“哪些化学成分对鉴别最重要”这个问题。importances rf_clf.feature_importances_ indices np.argsort(importances)[::-1] print(特征重要性排序:) for i, idx in enumerate(indices[:10]): # 显示前10个重要特征 print(f{i1}. {component_cols[idx]}: {importances[idx]:.4f})7.4 论文写作与结果呈现图比表好表比文字好多使用高质量的图表。PCA散点图、聚类热图、特征重要性条形图、相关性热图都能让评委一眼抓住重点。图表务必清晰有标题、坐标轴标签、图例。给主成分和聚类命名不要只写PC1、Cluster 1。根据pca.components_的权重给主成分起名如“铅钡富集因子”、“碱金属网络修饰因子”。根据聚类中心的成分特征给聚类命名如“高钾钙铝硅酸盐亚类”、“铅钡铜绿釉亚类”。这极大地提升了工作的深度和可读性。模型结果与考古背景结合这是区分优秀和普通论文的关键。当你的模型识别出一个亚类后要去查这个亚类中文物的出土信息它们是否来自同一时期同一地域同一种器型如果能将数据挖掘结果与已知的历史背景如丝绸之路贸易、唐代铅釉陶技术的传播联系起来并提出合理的考古学推测论文的立意就拔高了。最后想说的是用Python解这类赛题技术是骨架但真正的血肉是对问题的理解。拿到数据后别急着敲代码先花时间读懂题目查查高钾玻璃和铅钡玻璃的化学特性、历史背景。当你对数据背后的文物有了基本的认知你写的每一行代码做的每一个分析都会更有方向得出的结论也更能经得起推敲。这个过程本身就是一次跨越文理的精彩探索。