简介这份PDF面向已具备Keras与深度学习基础的开发者围绕卷积神经网络与长短时记忆网络联合建模的分类实例展开可用于视频分析、文本情感分析等需要同时考虑空间与时间信息的任务。内容以可运行代码为主线依次涉及输入张量定义与Reshape、ZeroPadding2D与多组Convolution2D、LeakyReLU激活、最大池化、Dropout正则以及LSTM时序特征提取、GlobalMaxPooling2D、特征拼接、全连接层与Softmax分类并给出Adam编译、损失函数选择、标签one-hot编码与数据归一化等预处理思路。代码示例以40×80输入和6分类为背景CNN分支采用32、64、128、256通道逐级提取空间特征LSTM分支输出256维时序表示再经拼接、Dropout和全连接完成分类。资源包仅含1个PDF文件约51KB轻量便于下载查阅已有6299人学习适合希望快速理解CNN-LSTM复合模型结构、对照代码梳理层间连接、池化与失活设置以及调参方向的读者参考。1. 序列分类别急着摊平特征CNN 接 LSTM 才是常见解法手头有一段带先后顺序的数据要做分类比如一帧一帧的传感器采样、一句话里的词向量、一段音频的频谱帧很多人的第一版代码是先把整段序列 flatten 成一个长向量再堆几层 Dense。这条路在小数据量上勉强能跑但时间顺序被彻底打散模型看到的只是一堆无序数值。换个极端直接上单层 LSTM能记住跨步依赖可每个时间步内部的局部模式没被专门提取序列一长梯度衰减就明显。CNN 联合 LSTM 在 Keras 里的组合思路是把两件事拆开卷积层在局部窗口上扫描负责找出反复出现的短模式比如波形的上升沿、文本里的三字词组、频谱里的谐波簇池化把时间维压短LSTM 在压缩后的序列上建模跨步依赖最后接一层 Dense 加 softmax 输出类别概率。它适合视频动作分类、多通道时序信号分类、中文文本情感分析这类「局部模式 长程顺序」同时重要的场景。Keras 的函数式 API 把这几种层拼起来只要十几行调参和替换组件的成本都很低。2. 在 Keras 里把 CNN 和 LSTM 拼成一条链2.1 先看数据形状再决定 Conv1D 还是 TimeDistributed(Conv2D)动手前先把数组形状写清楚CNN 和 LSTM 的对接方式完全由它决定。如果每个时间步本身只是一个向量输入形状是(timesteps, channels)用Conv1D直接在时间轴上滑动即可词向量序列和多通道传感器信号都属于这一类。如果每个时间步本身就是一张图或者一帧画面输入形状是(frames, H, W, C)那就得用TimeDistributed把Conv2D包起来让同一组卷积核在每个帧上独立作用。这里顺带回答一个高频疑问图像处理为什么用 CNN 而不是前馈网络。全连接层把一张H×W的图拉平成向量后参数量随像素数线性膨胀而且每个像素位置都要单独学一套权重图像轻微平移结果就变了。卷积用局部感受野加权重共享一层3×3的核只有 9 个参数却在整张图上复用天然对平移更友好。把这种特性放进序列的每一个时间步就得到了 CNN 加 LSTM 的第一段。2.2 TimeDistributed 的作用同一组卷积核在每个时间步上复用TimeDistributed的语义是「把内层层按时间步展开执行权重共享」。它接收(batch, steps, ...)的输入把中间的时间维挪出去当批处理维跑完内层层后再挪回来输出的第一维依然是时间步。这个操作是整条链路能接上 LSTM 的关键卷积负责空间或局部特征TimeDistributed负责不让时间维在中间被压掉。常见做法是在TimeDistributed里放一到两个Conv2D中间夹MaxPooling2D最后用TimeDistributed(GlobalAveragePooling2D())或者TimeDistributed(Flatten())把每个时间步的特征收成一个向量。前者参数量更小后者保留的空间信息更多帧数不多时用Flatten更直接。注意GlobalAveragePooling2D放在TimeDistributed里之后输出形状是(batch, steps, channels)已经是三维可以直接进 LSTM如果换成Flatten同样也是三维不要在外面再套一次Flatten那会把时间维一起拍平。2.3 filters、kernel_size、pool_size、units 的取值逻辑这几个参数直接决定模型容量和收敛速度逐个说明取值依据。参数所在层常用取值作用与调整方向filtersConv1D / Conv2D32、64、128每个卷积层能表达的局部模式数量越大容量越高显存和过拟合风险同步上升kernel_sizeConv1D3、5、7覆盖的时间窗口宽度文本任务里约等于 n-gram 的 npaddingConv1Dsame / causalsame保持时间长度不变预测未来会泄漏的任务用causalpool_sizeMaxPooling1D2、4时间维压缩倍数直接决定进入 LSTM 的步数unitsLSTM32128记忆单元数量太大容易把噪声记成依赖dropoutDropout0.20.5放在 LSTM 前后各一个比只放一个效果好末层激活Densesoftmax / sigmoid多分类互斥用 softmax多标签用 sigmoid总的原则是卷积部分先把时间维压到原来的四分之一到八分之一再交给 LSTM否则 LSTM 的展开步数太多训练慢且容易过拟合。2.4 一份可以直接跑的 Keras 模型定义下面这段是向量序列版本输入形状(timesteps, channels)输出num_classes类概率。环境准备用pip install tensorflow装好带 Keras 的发行版即可不需要单独装 Keras 包。import tensorflow as tf from tensorflow.keras import layers, models def build_cnn_lstm(timesteps, channels, num_classes): inputs layers.Input(shape(timesteps, channels), nameseries) # 第一段卷积抓短窗口内的局部模式 x layers.Conv1D(filters64, kernel_size5, paddingsame, activationrelu)(inputs) x layers.BatchNormalization()(x) x layers.MaxPooling1D(pool_size2)(x) # 时间维减半 # 第二段卷积在更高层语义上再抽一次 x layers.Conv1D(filters128, kernel_size3, paddingsame, activationrelu)(x) x layers.Dropout(0.3)(x) # 时序建模只需要最后一个时间步的输出 x layers.LSTM(64, return_sequencesFalse)(x) x layers.Dense(64, activationrelu)(x) x layers.Dropout(0.3)(x) outputs layers.Dense(num_classes, activationsoftmax, nameprob)(x) return models.Model(inputs, outputs, namecnn_lstm) model build_cnn_lstm(timesteps200, channels12, num_classes5) model.summary()逻辑说明Conv1D的paddingsame保证卷积后时间长度不变方便和pool_size2配合做规律下采样BatchNormalization放在卷积和激活之后能明显加快早期收敛return_sequencesFalse表示 LSTM 只吐最后一个时间步直接接分类头。如果后面要用注意力池化把它改成True。参数说明timesteps200是序列长度channels12是每个时间步的特征数num_classes5是类别数。二分类时把末层改成Dense(1, activationsigmoid)损失函数也要跟着换成binary_crossentropy。如果需要的是视频或多帧图像版本把卷积段换成TimeDistributed包裹的形式def build_frame_cnn_lstm(frames, h, w, c, num_classes): inputs layers.Input(shape(frames, h, w, c)) x layers.TimeDistributed(layers.Conv2D(32, 3, paddingsame, activationrelu))(inputs) x layers.TimeDistributed(layers.MaxPooling2D(2))(x) x layers.TimeDistributed(layers.Conv2D(64, 3, paddingsame, activationrelu))(x) # 每帧收成一个向量输出形状变为 (batch, frames, 64) x layers.TimeDistributed(layers.GlobalAveragePooling2D())(x) x layers.LSTM(128, dropout0.2)(x) outputs layers.Dense(num_classes, activationsoftmax)(x) return models.Model(inputs, outputs, nameframe_cnn_lstm)最常见的误用是在 LSTM 前面加一个裸Flatten把(batch, steps, feat)压成(batch, steps*feat)时间维直接消失LSTM 会报维度错误或者被强行 reshape 后语义全乱。记住时间维只能通过池化缩短不能拍平。3. 训练流程数据管道、编译参数与回调配置3.1 序列切分与标准化别让测试集信息回流序列数据的标准化要在时间维上做逐通道统计而不是把整段序列各自归一化成均值 0那样会抹掉绝对幅值信息。更关键的是均值和方差只能从训练集算出来再套到验证集和测试集上。import numpy as np from sklearn.model_selection import train_test_split from sklearn.utils.class_weight import compute_class_weight X X.astype(float32) # (N, timesteps, channels) y y.astype(int64) # (N,) 整数标签 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy ) # 统计量只来自训练集 flat X_train.reshape(-1, X_train.shape[-1]) mu, sigma flat.mean(axis0), flat.std(axis0) 1e-8 X_train (X_train - mu) / sigma X_test (X_test - mu) / sigma # 类别不平衡时给少数类更高权重 w compute_class_weight(balanced, classesnp.unique(y_train), yy_train) class_weight dict(enumerate(w))stratifyy保证训练集和测试集里各类比例一致类别数很少时这一步不做评估结果会抖得很厉害。compute_class_weight算出的权重直接传进fit比手工调采样比更省事。3.2 compile 里的损失函数、优化器与分类评估指标多分类整数标签配sparse_categorical_crossentropy省掉独热编码那一步标签已经是独热形式就用categorical_crossentropy。指标除accuracy外建议加上 Top-K 和 AUC因为类别不均衡时准确率会虚高。model.compile( optimizertf.keras.optimizers.Adam(learning_rate1e-3), losssparse_categorical_crossentropy, metrics[ accuracy, tf.keras.metrics.SparseTopKCategoricalAccuracy(k3, nametop3), ], )learning_rate1e-3是大多数 CNN-LSTM 组合的起步值训练曲线上下来回震荡就降到 3e-4top3只在类别数大于 3 时有意义类别少的时候删掉。3.3 fit 的参数与回调组合回调的作用是让训练在过拟合之前自动停下同时把最优权重留下来。callbacks [ tf.keras.callbacks.EarlyStopping(monitorval_loss, patience8, restore_best_weightsTrue), tf.keras.callbacks.ReduceLROnPlateau(monitorval_loss, factor0.5, patience3, min_lr1e-5), tf.keras.callbacks.ModelCheckpoint(best_cnn_lstm.keras, monitorval_loss, save_best_onlyTrue), ] history model.fit( X_train, y_train, validation_split0.15, epochs80, batch_size64, class_weightclass_weight, callbackscallbacks, verbose2, )参数常用取值调整依据batch_size32 / 64 / 128显存不足第一个降它序列越长取值越小epochs50100有 EarlyStopping 兜底可以给大validation_split0.10.2样本少时改成手动切分并保持分层patience510越小停得越早容易欠拟合factor0.5学习率衰减倍率配合 patience3 使用3.4 训练曲线怎么读该加 Dropout 还是该加层拿history.history里的四条线做判断最直接。训练损失继续降、验证损失开始升说明过拟合优先加Dropout或减小 LSTM 的units其次才是减卷积层。两条线都降不下去且都很高说明欠拟合先加filters或再叠一层卷积而不是加 LSTM 层数。训练损失剧烈锯齿先把learning_rate降一个数量级。训练早期验证损失远高于训练损失但后期收敛通常是 batch 太小或者标准化没做对。提示LSTM 的dropout参数和外面套的Dropout层不是同一个东西。前者作用于循环连接内部的隐状态后者作用于层输出两个一起用才覆盖到位。4. 分类评估、报错定位与显存调优4.1 用混淆矩阵和分类报告做分类评估准确率只能看整体哪一类被错分要看混淆矩阵和逐类指标。import numpy as np from sklearn.metrics import classification_report, confusion_matrix probs model.predict(X_test, batch_size128) y_pred np.argmax(probs, axis1) cm confusion_matrix(y_test, y_pred) print(cm) print(classification_report(y_test, y_pred, digits4))逻辑说明predict返回的是(N, num_classes)的概率矩阵argmax(axis1)取最大概率的下标作为预测类别。confusion_matrix的行是真实类别、列是预测类别对角线是分对的数量。classification_report给出每类的 precision、recall、f1 和支持样本数。参数说明digits4控制小数位。看报告时重点看 recall 低的类别那通常是样本量少的类如果某一类 precision 高但 recall 低说明模型偏保守可以调class_weight或做阈值调整。类别数超过 10 时直接看矩阵费劲可以先挑出对角线上占比最低的三类单独分析。4.2 形状报错速查ndim、TimeDistributed 与 FlattenCNN 加 LSTM 的报错九成出在形状上下面这张表按报错关键词查。报错关键词常见原因处理方式expected ndim3, found ndim4LSTM 前漏了TimeDistributed(Flatten)或GlobalAveragePooling在 LSTM 前把每步特征收成向量expected ndim5, found ndim4帧序列少了 batch 维或帧维用np.expand_dims(X, axis1)或重排为(batch, frames, H, W, C)Negative dimension sizepool_size太大时间维被压到 0减小pool_size或改用paddingsameNone出现在非首维输入形状里写死了 batch 维Input(shape...)只写样本内维度损失停在常数不降末层激活与损失函数不匹配softmax 配sparse_categorical_crossentropysigmoid 配binary_crossentropy定位方法很简单在model.summary()里逐层核对输出形状找到第一个形状和预期不一致的层问题基本就在它或它前面一层。加BatchNormalization和Dropout不会改变形状可以先排除它们。4.3 显存和训练时间batch、序列长度与通道数的取舍TimeDistributed包Conv2D的模型显存占用大致与frames × H × W × filters成正比三个因子都能砍。优先级是先降batch_size它只影响训练速度不影响模型表达再降timesteps或frames通过抽帧或滑窗降采样实现这一项会改变任务定义谨慎动最后才砍filters因为这会直接削弱模型容量。混合精度是另一个便宜的加速手段在支持的硬件上打开即可from tensorflow.keras import mixed_precision mixed_precision.set_global_policy(mixed_float16)注意使用混合精度后末层Dense建议显式写成dtypefloat32否则 softmax 的数值精度可能不够导致概率输出异常。另外TimeDistributed会把内层层的计算展开成一个循环帧数很多时训练会明显变慢可以先把每帧的 CNN 单独预训练把输出特征缓存成数组再拿缓存训练 LSTM速度能提数倍代价是 CNN 部分不能端到端微调。5. 进阶技巧注意力池化与推理前的检查5.1 用注意力池化替掉「取最后一个时间步」return_sequencesFalse只取 LSTM 最后一步的输出长序列里靠前的重要模式会被稀释。注意力池化让模型自己给每个时间步打分再加权求和。class AttentionPooling(layers.Layer): def __init__(self, units64, **kwargs): super().__init__(**kwargs) self.score layers.Dense(units, activationtanh) self.weight layers.Dense(1) def call(self, seq): # (batch, steps, feat) s self.weight(self.score(seq)) # (batch, steps, 1) a tf.nn.softmax(s, axis1) # 时间维归一化 return tf.reduce_sum(seq * a, axis1) # 加权求和 - (batch, feat) # 使用时把 LSTM 改成 return_sequencesTrue x layers.LSTM(64, return_sequencesTrue)(x) x AttentionPooling(64)(x)参数说明units控制打分网络的隐层宽度一般取 LSTMunits的一半到一倍axis1必须在时间维上做 softmax写成axis-1就变成对特征维归一化语义完全不同。文本情感分析、变长序列分类这类任务换成注意力池化后验证集 f1 通常有可见提升代价是引入少量额外参数。5.2 导出与推理前的三项检查训练完先存成.keras格式再视部署目标转 TFLite 或 SavedModel。Keras 3 下用model.save和model.export分别对应训练态和推理态两种格式的用途不一样别混用。model.save(cnn_lstm.keras) # 含优化器状态便于继续训练 model.export(cnn_lstm_savedmodel) # 纯推理图适合服务端加载 converter tf.lite.TFLiteConverter.from_keras_model(model) converter.optimizations [tf.lite.Optimize.DEFAULT] open(cnn_lstm.tflite, wb).write(converter.convert())上线前逐项核对三件事。第一model.input_shape打印出来和线上预处理产出的数组形状逐维比对最常见的事故是训练时timesteps200线上来了 150 个点被正常放行卷积和池化算出的时间步数对不上LSTM 直接报错正确做法是在预处理阶段就做定长截断或补齐。第二单条样本推理必须补 batch 维写成model.predict(np.expand_dims(sample, 0))少这一维就会触发 ndim 不匹配。第三确认输出层用的是 softmax预测结果取argmax即可如果输出层出于数值考虑去掉了激活那就要在推理侧补一次归一化否则各类概率之和不等于 1下游按阈值判断的逻辑会整片偏掉。本文还有配套的精品资源点击获取 Keras CNN+LSTM序列分类：模型搭建、训练评估与调优
简介这份PDF面向已具备Keras与深度学习基础的开发者围绕卷积神经网络与长短时记忆网络联合建模的分类实例展开可用于视频分析、文本情感分析等需要同时考虑空间与时间信息的任务。内容以可运行代码为主线依次涉及输入张量定义与Reshape、ZeroPadding2D与多组Convolution2D、LeakyReLU激活、最大池化、Dropout正则以及LSTM时序特征提取、GlobalMaxPooling2D、特征拼接、全连接层与Softmax分类并给出Adam编译、损失函数选择、标签one-hot编码与数据归一化等预处理思路。代码示例以40×80输入和6分类为背景CNN分支采用32、64、128、256通道逐级提取空间特征LSTM分支输出256维时序表示再经拼接、Dropout和全连接完成分类。资源包仅含1个PDF文件约51KB轻量便于下载查阅已有6299人学习适合希望快速理解CNN-LSTM复合模型结构、对照代码梳理层间连接、池化与失活设置以及调参方向的读者参考。1. 序列分类别急着摊平特征CNN 接 LSTM 才是常见解法手头有一段带先后顺序的数据要做分类比如一帧一帧的传感器采样、一句话里的词向量、一段音频的频谱帧很多人的第一版代码是先把整段序列 flatten 成一个长向量再堆几层 Dense。这条路在小数据量上勉强能跑但时间顺序被彻底打散模型看到的只是一堆无序数值。换个极端直接上单层 LSTM能记住跨步依赖可每个时间步内部的局部模式没被专门提取序列一长梯度衰减就明显。CNN 联合 LSTM 在 Keras 里的组合思路是把两件事拆开卷积层在局部窗口上扫描负责找出反复出现的短模式比如波形的上升沿、文本里的三字词组、频谱里的谐波簇池化把时间维压短LSTM 在压缩后的序列上建模跨步依赖最后接一层 Dense 加 softmax 输出类别概率。它适合视频动作分类、多通道时序信号分类、中文文本情感分析这类「局部模式 长程顺序」同时重要的场景。Keras 的函数式 API 把这几种层拼起来只要十几行调参和替换组件的成本都很低。2. 在 Keras 里把 CNN 和 LSTM 拼成一条链2.1 先看数据形状再决定 Conv1D 还是 TimeDistributed(Conv2D)动手前先把数组形状写清楚CNN 和 LSTM 的对接方式完全由它决定。如果每个时间步本身只是一个向量输入形状是(timesteps, channels)用Conv1D直接在时间轴上滑动即可词向量序列和多通道传感器信号都属于这一类。如果每个时间步本身就是一张图或者一帧画面输入形状是(frames, H, W, C)那就得用TimeDistributed把Conv2D包起来让同一组卷积核在每个帧上独立作用。这里顺带回答一个高频疑问图像处理为什么用 CNN 而不是前馈网络。全连接层把一张H×W的图拉平成向量后参数量随像素数线性膨胀而且每个像素位置都要单独学一套权重图像轻微平移结果就变了。卷积用局部感受野加权重共享一层3×3的核只有 9 个参数却在整张图上复用天然对平移更友好。把这种特性放进序列的每一个时间步就得到了 CNN 加 LSTM 的第一段。2.2 TimeDistributed 的作用同一组卷积核在每个时间步上复用TimeDistributed的语义是「把内层层按时间步展开执行权重共享」。它接收(batch, steps, ...)的输入把中间的时间维挪出去当批处理维跑完内层层后再挪回来输出的第一维依然是时间步。这个操作是整条链路能接上 LSTM 的关键卷积负责空间或局部特征TimeDistributed负责不让时间维在中间被压掉。常见做法是在TimeDistributed里放一到两个Conv2D中间夹MaxPooling2D最后用TimeDistributed(GlobalAveragePooling2D())或者TimeDistributed(Flatten())把每个时间步的特征收成一个向量。前者参数量更小后者保留的空间信息更多帧数不多时用Flatten更直接。注意GlobalAveragePooling2D放在TimeDistributed里之后输出形状是(batch, steps, channels)已经是三维可以直接进 LSTM如果换成Flatten同样也是三维不要在外面再套一次Flatten那会把时间维一起拍平。2.3 filters、kernel_size、pool_size、units 的取值逻辑这几个参数直接决定模型容量和收敛速度逐个说明取值依据。参数所在层常用取值作用与调整方向filtersConv1D / Conv2D32、64、128每个卷积层能表达的局部模式数量越大容量越高显存和过拟合风险同步上升kernel_sizeConv1D3、5、7覆盖的时间窗口宽度文本任务里约等于 n-gram 的 npaddingConv1Dsame / causalsame保持时间长度不变预测未来会泄漏的任务用causalpool_sizeMaxPooling1D2、4时间维压缩倍数直接决定进入 LSTM 的步数unitsLSTM32128记忆单元数量太大容易把噪声记成依赖dropoutDropout0.20.5放在 LSTM 前后各一个比只放一个效果好末层激活Densesoftmax / sigmoid多分类互斥用 softmax多标签用 sigmoid总的原则是卷积部分先把时间维压到原来的四分之一到八分之一再交给 LSTM否则 LSTM 的展开步数太多训练慢且容易过拟合。2.4 一份可以直接跑的 Keras 模型定义下面这段是向量序列版本输入形状(timesteps, channels)输出num_classes类概率。环境准备用pip install tensorflow装好带 Keras 的发行版即可不需要单独装 Keras 包。import tensorflow as tf from tensorflow.keras import layers, models def build_cnn_lstm(timesteps, channels, num_classes): inputs layers.Input(shape(timesteps, channels), nameseries) # 第一段卷积抓短窗口内的局部模式 x layers.Conv1D(filters64, kernel_size5, paddingsame, activationrelu)(inputs) x layers.BatchNormalization()(x) x layers.MaxPooling1D(pool_size2)(x) # 时间维减半 # 第二段卷积在更高层语义上再抽一次 x layers.Conv1D(filters128, kernel_size3, paddingsame, activationrelu)(x) x layers.Dropout(0.3)(x) # 时序建模只需要最后一个时间步的输出 x layers.LSTM(64, return_sequencesFalse)(x) x layers.Dense(64, activationrelu)(x) x layers.Dropout(0.3)(x) outputs layers.Dense(num_classes, activationsoftmax, nameprob)(x) return models.Model(inputs, outputs, namecnn_lstm) model build_cnn_lstm(timesteps200, channels12, num_classes5) model.summary()逻辑说明Conv1D的paddingsame保证卷积后时间长度不变方便和pool_size2配合做规律下采样BatchNormalization放在卷积和激活之后能明显加快早期收敛return_sequencesFalse表示 LSTM 只吐最后一个时间步直接接分类头。如果后面要用注意力池化把它改成True。参数说明timesteps200是序列长度channels12是每个时间步的特征数num_classes5是类别数。二分类时把末层改成Dense(1, activationsigmoid)损失函数也要跟着换成binary_crossentropy。如果需要的是视频或多帧图像版本把卷积段换成TimeDistributed包裹的形式def build_frame_cnn_lstm(frames, h, w, c, num_classes): inputs layers.Input(shape(frames, h, w, c)) x layers.TimeDistributed(layers.Conv2D(32, 3, paddingsame, activationrelu))(inputs) x layers.TimeDistributed(layers.MaxPooling2D(2))(x) x layers.TimeDistributed(layers.Conv2D(64, 3, paddingsame, activationrelu))(x) # 每帧收成一个向量输出形状变为 (batch, frames, 64) x layers.TimeDistributed(layers.GlobalAveragePooling2D())(x) x layers.LSTM(128, dropout0.2)(x) outputs layers.Dense(num_classes, activationsoftmax)(x) return models.Model(inputs, outputs, nameframe_cnn_lstm)最常见的误用是在 LSTM 前面加一个裸Flatten把(batch, steps, feat)压成(batch, steps*feat)时间维直接消失LSTM 会报维度错误或者被强行 reshape 后语义全乱。记住时间维只能通过池化缩短不能拍平。3. 训练流程数据管道、编译参数与回调配置3.1 序列切分与标准化别让测试集信息回流序列数据的标准化要在时间维上做逐通道统计而不是把整段序列各自归一化成均值 0那样会抹掉绝对幅值信息。更关键的是均值和方差只能从训练集算出来再套到验证集和测试集上。import numpy as np from sklearn.model_selection import train_test_split from sklearn.utils.class_weight import compute_class_weight X X.astype(float32) # (N, timesteps, channels) y y.astype(int64) # (N,) 整数标签 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy ) # 统计量只来自训练集 flat X_train.reshape(-1, X_train.shape[-1]) mu, sigma flat.mean(axis0), flat.std(axis0) 1e-8 X_train (X_train - mu) / sigma X_test (X_test - mu) / sigma # 类别不平衡时给少数类更高权重 w compute_class_weight(balanced, classesnp.unique(y_train), yy_train) class_weight dict(enumerate(w))stratifyy保证训练集和测试集里各类比例一致类别数很少时这一步不做评估结果会抖得很厉害。compute_class_weight算出的权重直接传进fit比手工调采样比更省事。3.2 compile 里的损失函数、优化器与分类评估指标多分类整数标签配sparse_categorical_crossentropy省掉独热编码那一步标签已经是独热形式就用categorical_crossentropy。指标除accuracy外建议加上 Top-K 和 AUC因为类别不均衡时准确率会虚高。model.compile( optimizertf.keras.optimizers.Adam(learning_rate1e-3), losssparse_categorical_crossentropy, metrics[ accuracy, tf.keras.metrics.SparseTopKCategoricalAccuracy(k3, nametop3), ], )learning_rate1e-3是大多数 CNN-LSTM 组合的起步值训练曲线上下来回震荡就降到 3e-4top3只在类别数大于 3 时有意义类别少的时候删掉。3.3 fit 的参数与回调组合回调的作用是让训练在过拟合之前自动停下同时把最优权重留下来。callbacks [ tf.keras.callbacks.EarlyStopping(monitorval_loss, patience8, restore_best_weightsTrue), tf.keras.callbacks.ReduceLROnPlateau(monitorval_loss, factor0.5, patience3, min_lr1e-5), tf.keras.callbacks.ModelCheckpoint(best_cnn_lstm.keras, monitorval_loss, save_best_onlyTrue), ] history model.fit( X_train, y_train, validation_split0.15, epochs80, batch_size64, class_weightclass_weight, callbackscallbacks, verbose2, )参数常用取值调整依据batch_size32 / 64 / 128显存不足第一个降它序列越长取值越小epochs50100有 EarlyStopping 兜底可以给大validation_split0.10.2样本少时改成手动切分并保持分层patience510越小停得越早容易欠拟合factor0.5学习率衰减倍率配合 patience3 使用3.4 训练曲线怎么读该加 Dropout 还是该加层拿history.history里的四条线做判断最直接。训练损失继续降、验证损失开始升说明过拟合优先加Dropout或减小 LSTM 的units其次才是减卷积层。两条线都降不下去且都很高说明欠拟合先加filters或再叠一层卷积而不是加 LSTM 层数。训练损失剧烈锯齿先把learning_rate降一个数量级。训练早期验证损失远高于训练损失但后期收敛通常是 batch 太小或者标准化没做对。提示LSTM 的dropout参数和外面套的Dropout层不是同一个东西。前者作用于循环连接内部的隐状态后者作用于层输出两个一起用才覆盖到位。4. 分类评估、报错定位与显存调优4.1 用混淆矩阵和分类报告做分类评估准确率只能看整体哪一类被错分要看混淆矩阵和逐类指标。import numpy as np from sklearn.metrics import classification_report, confusion_matrix probs model.predict(X_test, batch_size128) y_pred np.argmax(probs, axis1) cm confusion_matrix(y_test, y_pred) print(cm) print(classification_report(y_test, y_pred, digits4))逻辑说明predict返回的是(N, num_classes)的概率矩阵argmax(axis1)取最大概率的下标作为预测类别。confusion_matrix的行是真实类别、列是预测类别对角线是分对的数量。classification_report给出每类的 precision、recall、f1 和支持样本数。参数说明digits4控制小数位。看报告时重点看 recall 低的类别那通常是样本量少的类如果某一类 precision 高但 recall 低说明模型偏保守可以调class_weight或做阈值调整。类别数超过 10 时直接看矩阵费劲可以先挑出对角线上占比最低的三类单独分析。4.2 形状报错速查ndim、TimeDistributed 与 FlattenCNN 加 LSTM 的报错九成出在形状上下面这张表按报错关键词查。报错关键词常见原因处理方式expected ndim3, found ndim4LSTM 前漏了TimeDistributed(Flatten)或GlobalAveragePooling在 LSTM 前把每步特征收成向量expected ndim5, found ndim4帧序列少了 batch 维或帧维用np.expand_dims(X, axis1)或重排为(batch, frames, H, W, C)Negative dimension sizepool_size太大时间维被压到 0减小pool_size或改用paddingsameNone出现在非首维输入形状里写死了 batch 维Input(shape...)只写样本内维度损失停在常数不降末层激活与损失函数不匹配softmax 配sparse_categorical_crossentropysigmoid 配binary_crossentropy定位方法很简单在model.summary()里逐层核对输出形状找到第一个形状和预期不一致的层问题基本就在它或它前面一层。加BatchNormalization和Dropout不会改变形状可以先排除它们。4.3 显存和训练时间batch、序列长度与通道数的取舍TimeDistributed包Conv2D的模型显存占用大致与frames × H × W × filters成正比三个因子都能砍。优先级是先降batch_size它只影响训练速度不影响模型表达再降timesteps或frames通过抽帧或滑窗降采样实现这一项会改变任务定义谨慎动最后才砍filters因为这会直接削弱模型容量。混合精度是另一个便宜的加速手段在支持的硬件上打开即可from tensorflow.keras import mixed_precision mixed_precision.set_global_policy(mixed_float16)注意使用混合精度后末层Dense建议显式写成dtypefloat32否则 softmax 的数值精度可能不够导致概率输出异常。另外TimeDistributed会把内层层的计算展开成一个循环帧数很多时训练会明显变慢可以先把每帧的 CNN 单独预训练把输出特征缓存成数组再拿缓存训练 LSTM速度能提数倍代价是 CNN 部分不能端到端微调。5. 进阶技巧注意力池化与推理前的检查5.1 用注意力池化替掉「取最后一个时间步」return_sequencesFalse只取 LSTM 最后一步的输出长序列里靠前的重要模式会被稀释。注意力池化让模型自己给每个时间步打分再加权求和。class AttentionPooling(layers.Layer): def __init__(self, units64, **kwargs): super().__init__(**kwargs) self.score layers.Dense(units, activationtanh) self.weight layers.Dense(1) def call(self, seq): # (batch, steps, feat) s self.weight(self.score(seq)) # (batch, steps, 1) a tf.nn.softmax(s, axis1) # 时间维归一化 return tf.reduce_sum(seq * a, axis1) # 加权求和 - (batch, feat) # 使用时把 LSTM 改成 return_sequencesTrue x layers.LSTM(64, return_sequencesTrue)(x) x AttentionPooling(64)(x)参数说明units控制打分网络的隐层宽度一般取 LSTMunits的一半到一倍axis1必须在时间维上做 softmax写成axis-1就变成对特征维归一化语义完全不同。文本情感分析、变长序列分类这类任务换成注意力池化后验证集 f1 通常有可见提升代价是引入少量额外参数。5.2 导出与推理前的三项检查训练完先存成.keras格式再视部署目标转 TFLite 或 SavedModel。Keras 3 下用model.save和model.export分别对应训练态和推理态两种格式的用途不一样别混用。model.save(cnn_lstm.keras) # 含优化器状态便于继续训练 model.export(cnn_lstm_savedmodel) # 纯推理图适合服务端加载 converter tf.lite.TFLiteConverter.from_keras_model(model) converter.optimizations [tf.lite.Optimize.DEFAULT] open(cnn_lstm.tflite, wb).write(converter.convert())上线前逐项核对三件事。第一model.input_shape打印出来和线上预处理产出的数组形状逐维比对最常见的事故是训练时timesteps200线上来了 150 个点被正常放行卷积和池化算出的时间步数对不上LSTM 直接报错正确做法是在预处理阶段就做定长截断或补齐。第二单条样本推理必须补 batch 维写成model.predict(np.expand_dims(sample, 0))少这一维就会触发 ndim 不匹配。第三确认输出层用的是 softmax预测结果取argmax即可如果输出层出于数值考虑去掉了激活那就要在推理侧补一次归一化否则各类概率之和不等于 1下游按阈值判断的逻辑会整片偏掉。本文还有配套的精品资源点击获取