基于 LSTM 的羽毛球动作序列识别——从关键帧检测到击球类型分类

基于 LSTM 的羽毛球动作序列识别——从关键帧检测到击球类型分类一、单帧分类的局限性为什么击球动作需要时序建模使用静态图像分类器如基于单帧的 CNN来判断击球类型在理论上有根本性的缺陷。一张杀球挥拍到最高点的照片和一张高远球挥拍到最高点的照片在单帧上的视觉差异微乎其微——关键的区别在于挥拍的速度、加速度和动作的连贯性。杀球的前摇和后随动作与高远球有显著不同但这些信息存在于动作的时间序列中而非单帧快照。羽毛球动作的时序依赖还体现在击球前的准备姿态上。一个正手劈吊斜线的动作在击球前的最后 50ms 会有细微的手腕内旋这在单帧上很难被捕捉。LSTMLong Short-Term Memory网络因其门控机制能在 10-30 帧的时间窗口内建模这种长程依赖将动作序列而非单帧图像作为分类的基本单元。在一个包含 8 种击球类型杀球、吊球、高远球、网前搓球、挑球、平抽、推球、勾对角的自建数据集上单帧 ResNet-50 分类器的 Top-1 准确率为 64%而基于 LSTM 的时序分类器在同样条件下达到 87%。flowchart LR A[视频流 30fps] -- B[关键帧检测] B -- B1[击球事件窗口br/前后各 15 帧共 1 秒] B1 -- C[逐帧特征提取] C -- C1[MediaPipe Posebr/33 个三维关键点 → 99 维向量] C -- C2[光流特征br/相邻帧运动向量] C1 -- D[序列特征拼接] C2 -- D D -- D1[(30 帧, 120 维)] D1 -- E[双向 LSTMbr/hidden128, layers2] E -- E1[前向 LSTM: 捕获后继动作信息] E -- E2[后向 LSTM: 捕获前置准备动作] E1 -- F[拼接 全连接层] E2 -- F F -- G[Softmax 分类br/8 种击球类型]二、数据准备与序列构建2.1 击球事件窗口的裁剪关键帧检测是序列构建的第一步。使用手腕速度峰值作为击球时刻的判定依据详见此前 MediaPipe 相关文章然后以击球帧为中心向前向后各取 15 帧共 31 帧约 1 秒构成一个完整的击球动作序列def extract_swing_windows(keypoints_sequence: np.ndarray, event_frames: list[int], window_size: int 15) - list[np.ndarray]: 以击球帧为中心提取前后各 window_size 帧的动作窗口 关键点序列 shape: (total_frames, 33, 3) — 33 个关键点的 (x, y, z) 返回: list of (2 * window_size 1, 33, 3) windows [] total_frames len(keypoints_sequence) for event_frame in event_frames: start max(0, event_frame - window_size) end min(total_frames, event_frame window_size 1) window keypoints_sequence[start:end].copy() # 如果窗口不足使用边缘填充首帧或尾帧复制 if len(window) 2 * window_size 1: pad_left event_frame - start pad_right (2 * window_size 1) - len(window) - pad_left window np.pad(window, ((pad_left, pad_right), (0, 0), (0, 0)), modeedge) # 边缘值复制填充避免引入零值噪声 windows.append(window) return windows2.2 特征工程的三个维度从 MediaPipe Pose 的 33 个三维关键点出发构建三个层次的特征原始坐标特征99 维33 个关键点的 (x, y, z) 世界坐标。使用 z-score 标准化消除不同选手的体型差异def normalize_keypoints(keypoints: np.ndarray) - np.ndarray: Z-score 标准化减均值除以标准差 关键点坐标 (T, 33, 3) → 扁平化为 (T, 99) → 标准化 T keypoints.shape[0] flat keypoints.reshape(T, -1) # (T, 99) mean flat.mean(axis0, keepdimsTrue) std flat.std(axis0, keepdimsTrue) 1e-8 return (flat - mean) / std关节角度特征12 维肩-肘-腕、髋-膝-踝、肩-髋-膝三个关键角度以及它们的一阶差分角速度。关节角度比绝对坐标更鲁棒——不同身高的选手在同一动作下关节角度分布的一致性远高于绝对坐标。运动向量特征9 维手腕、肘部、肩部的帧间位移向量捕捉挥拍方向、速度和加速度。三、LSTM 模型架构与训练策略3.1 双向 LSTM 的合理性使用双向 LSTM 而非单向 LSTM 的原因在于击球后的跟随动作如杀球后的重心前移、吊球后的快速回位对于区分击球类型同样重要。单向 LSTM 只能看到击球时刻之前的信息准备动作而双向 LSTM 能同时利用准备动作过去和跟随动作未来进行决策import torch.nn as nn class SwingLSTM(nn.Module): 双向 LSTM 击球动作分类器 def __init__(self, input_dim: int 120, hidden_dim: int 128, num_classes: int 8, num_layers: int 2, dropout: float 0.3): super().__init__() self.lstm nn.LSTM( input_dim, hidden_dim, num_layersnum_layers, bidirectionalTrue, # 双向输出维度翻倍 batch_firstTrue, # 输入 shape: (batch, seq, features) dropoutdropout, # 层间 dropout防止过拟合 ) # 双向 LSTM 输出: (batch, seq, hidden_dim * 2) # 分类头取最后时间步的两个方向拼接 self.classifier nn.Sequential( nn.Linear(hidden_dim * 2, 64), nn.ReLU(), nn.Dropout(dropout), nn.Linear(64, num_classes), ) def forward(self, x: torch.Tensor) - torch.Tensor: x: (batch, 31, 120) — 31 帧 × 120 维特征 返回: (batch, 8) — 8 种击球类型的 logits lstm_out, _ self.lstm(x) # (batch, 31, 256) last_step lstm_out[:, -1, :] # (batch, 256) — 取最后一步 return self.classifier(last_step) # (batch, 8)3.2 类别不平衡的处理击球类型的分布天然不均——在一场单打比赛中高远球可能占 30%杀球占 15%勾对角仅占 3%。使用普通的 CrossEntropyLoss 会导致模型偏向高频类别。使用 Focal Loss 作为替代通过降低易分类样本的权重来聚焦于难分类样本class FocalLoss(nn.Module): Focal Loss: 解决类别不平衡问题 FL -α(1 - pt)^γ * log(pt) 其中 α 控制类别权重γ 控制专注度推荐 γ2.0 当预测概率接近 1易分类时(1-pt)^γ 接近 0降低损失权重 当预测概率低难分类时(1-pt)^γ 接近 1保留原有权重 def __init__(self, alpha: torch.Tensor None, gamma: float 2.0): super().__init__() self.alpha alpha self.gamma gamma def forward(self, inputs: torch.Tensor, targets: torch.Tensor) - torch.Tensor: ce_loss nn.functional.cross_entropy(inputs, targets, reductionnone) pt torch.exp(-ce_loss) # 预测正确的概率 focal_loss ((1 - pt) ** self.gamma) * ce_loss if self.alpha is not None: focal_loss self.alpha[targets] * focal_loss return focal_loss.mean()四、模型的局限性与适用边界LSTM 序列模型的核心局限在于数据标注成本。高质量击球类型的标注需要人工逐帧标注动作边界和类型每秒视频约需 60 秒标注时间。在 3000 个击球动作的训练集上标注成本约 50 小时。对于稀缺的击球类型如反手勾对角样本量可能只有数十个分类器在这些类别上的表现会显著下降。另一个局限是模型的泛化能力。在训练数据来源于专业比赛视频、测试数据来源于业余训练视频的跨域测试中准确率从 87% 下降到 62%。原因在于业余选手的动作规范性较差挥拍前的准备动作如架拍高度、转体幅度与专业选手存在系统性偏差。解决这个问题需要域适应Domain Adaptation技术如对抗性训练。模型对击球类型的混淆具有一定的模式吊球慢速下压和杀球快速下压之间的混淆占全部错误分类的 41%。这两类动作在击球后的轨迹上差异明显但击球瞬间的姿态非常接近。引入球轨迹信息如羽毛球的飞行方向、速度和弧线作为额外特征可以将这两个类别的分类精度从 78% 提升到 91%。五、总结基于双向 LSTM 的羽毛球击球类型分类在 8 分类任务上达到 87% 的 Top-1 准确率相比单帧分类器ResNet-50 的 64%提升了 23 个百分点。提升的核心来自两个设计决策使用双向 LSTM 捕获击球前后 1 秒的完整动作上下文以及使用 Focal Loss 处理天然不均衡的类别分布。当前模型的主要限制是跨域泛化能力专业→业余的准确率下降至 62%和对相似动作的混淆吊球 vs 杀球混淆率 41%。改进方向包括引入球轨迹特征飞行方向和速度、使用域适应技术缩小训练域和测试域的分布差异以及扩充稀疏类别的标注样本量。