ARTICLE DETAIL

资讯详情

深耕网站视觉设计与运营推广的一线实战洞察。

YOLOv13改进策略【注意力机制篇】| ECCV2024 AgentAttention 代理注意力,P 个代理打通 softmax 与线性

YOLOv13改进策略【注意力机制篇】| ECCV2024 AgentAttention 代理注意力,P 个代理打通 softmax 与线性 本文基于YOLOv13 官方仓库(iMoonLab/yolov13,ultralytics 8.3.63 fork)实测整理,Windows/CPU 全程可跑。Agent Attention(ECCV2024,Swin 原班人马)在 softmax 与线性注意力之间架桥:引入 P 个「代理 token」,注意力变成两跳 softmax(Q·(PK)T)·(PV)T。P 固定时复杂度 O(N·P),代理数趋近 N 退化为标准注意力、趋近 1 类似线性注意力。本文插在 v13n 层 8 之后。前言104 篇 EfficientAttention 用「两个小矩阵」把 QK^T 压线性,代价是 softmax 的稀疏选择性没了。AgentAttention 的方案更聪明:全图信息先汇总给 P 个「课代表」(代理 token),每个像素只问课代表——保住 softmax,又把 N² 压到 N·P。专栏目录:YOLOv13改进目录一览专栏地址:YOLOv13改进专栏——持续更新各方向即插即用改进
返回列表