FlashKDA被FLA拒绝分派dispatch rejected原因全清单【免费下载链接】FlashKDAFlashKDA: high-performance Kimi Delta Attention kernels项目地址: https://gitcode.com/GitHub_Trending/fl/FlashKDAFlashKDA是 Moonshot AI 开源的高性能Kimi Delta AttentionKDACUDA 内核基于 CUTLASS 构建可作为flash-linear-attentionFLA的加速后端。安装后它会从 FLA 的chunk_kda自动分派auto-dispatch接管计算但一旦分派条件不满足日志里就会打印rejected: reason回退到 Triton 路径。这篇文章为你整理一份dispatch rejected 原因全清单帮你一分钟定位被拒原因。FLA 是如何分派到 FlashKDA 的安装 FlashKDA 并满足版本要求后无需任何额外配置——FLA 在每次调用chunk_kda时会自动检查环境命中条件就路由到 FlashKDA 的 CUDA 内核日志形如[FLA Backend] kda.chunk_kda - flashkda只要有一个条件不满足就会出现你看到的那句[FLA Backend] kda.chunk_kda rejected: reason开启调试日志的方法在程序入口加一行logging.basicConfig(levellogging.INFO)命中或拒绝的原因都会立即可见见 README.md 的Debug dispatch一节。dispatch rejected8 个最常见的拒绝原因清单以下是按出现频率排序的拒绝原因逐条对照即可快速排查1. 未在torch.inference_mode()上下文中调用FlashKDA 目前只服务推理路径。如果直接裸调用chunk_kda(q, k, v, ...)而没包在with torch.inference_mode():里分派会被直接拒绝。 修复把推理代码整体放入torch.inference_mode()上下文即可。2. 缺少关键 in-kernel 开关参数分派要求调用时同时带上这一组融合开关参数要求use_gate_in_kernelTrueuse_qk_l2norm_in_kernelTrueuse_beta_sigmoid_in_kernelTruesafe_gateTrueA_log/dt_bias必须提供transpose_state_layoutTrue任何一项为False或漏传尤其是A_log、dt_bias都会被 rejected。调用示例见 README.md 的Using FlashKDA as an FLA backend一节。3. 张量不在 CUDA 上或不是 contiguous内核入口会强制校验所有输入张量必须是 CUDA 设备且内存连续源码校验逻辑在 csrc/flash_kda.cpp 中TORCH_CHECK(... is_contiguous())。CPU 张量、切分后的非连续视图如x.transpose(...)、x[::2]都会触发拒绝。 修复调用前对可疑张量做一次.cuda().contiguous()。4. 数据类型dtype不符合要求FlashKDA 对 dtype 有硬约束q / k / v / g / beta / outbf16A_log / dt_biasfp32initial_state / final_statebf16 或 fp32两者同时提供时dtype 必须一致cu_seqlensint64fp16 或 fp32 的q/k/v是新手最常踩的坑。5. K / V 头维度不等于 128当前版本只支持K V 128见 flash_kda/init.py 的接口说明与 csrc/flash_kda.cpp 中D 128的断言。如果你的模型 head_dim 是 64 或 96分派会被拒绝FLA 会回退 Triton 路径。6.lower_bound超出合法区间门控下界lower_bound必须落在[-5.0, 0]之间越界即 rejected。7. varlen 批量模式下 batch 维度不为 1使用变长批处理传入cu_seqlens时要求B 1、T为所有序列的总长度且状态张量形状为[N, H, V, K]。批量维度不是 1 时无法分派。8. 硬件或依赖不达标GPU 架构要求SM90 及以上Hopper / Blackwell 等setup.py中支持的架构为90a / 100a / 103a / 120a软件栈CUDA ≥ 12.9、PyTorch ≥ 2.4、flash-linear-attention≥ 0.5.0另外注意如果你主动设置了环境变量FLA_FLASH_KDA0分派会被显式关闭并回退 Triton 路径——这不是 bug是官方提供的 opt-out 开关。一分钟快速排查流程① 确认包在 torch.inference_mode() 里 ② 对照上文清单补齐 6 个 in-kernel 开关 A_log/dt_bias ③ print(q.dtype, q.device, q.is_contiguous()) 逐项核对 ④ 确认 head_dim 128、lower_bound ∈ [-5, 0] ⑤ varlen 场景确认 B 1、cu_seqlens 为 int64 ⑥ 检查环境变量 FLA_FLASH_KDA 是否被设为 0 ⑦ 确认 GPU 为 SM90CUDA ≥ 12.9fla ≥ 0.5.0只要以上全部满足日志中就会从rejected变为- flashkda说明已成功命中 FlashKDA 内核。为什么分派条件这么严格FlashKDA 并非通用后备内核而是一个为 KDA 推理深度定制的高度融合实现CHUNK 16的分块尺寸、bf16 片上状态、fp16 矩阵求逆、MOVM_T寄存器转置等设计详见官方设计报告 docs/20260420-flashkda-v1-deep-dive.md都以bf16 D128 推理模式为前提。严格的分派门槛正是为了保证一旦命中就比 Triton 路径快 1.8×2.3×BENCHMARK_H20.md 实测数据Blackwell 平台见 BENCHMARK_GB200.md。下图是 FlashKDA 与 FLA 原生fla_chunk_kda在多种输入下的精度对比可以看出内核在保持高性能的同时误差保持在可接受范围内被拒绝后代码还能正常运行吗能。rejected只是分派日志不是错误——FLA 会自动回退到自带的 Triton 路径结果保持正确只是速度较慢。你可以放心先跑通业务再按上面的清单逐条优化命中条件。✅小结看到dispatch rejected时不必慌90% 的情况都逃不出本文的 8 类原因——优先检查inference_mode、in-kernel 开关组、bf16 类型和D128基本都能一次解决。正确性测试可运行bash tests/test.sh用例见 tests/test_fwd.py进行交叉验证。【免费下载链接】FlashKDAFlashKDA: high-performance Kimi Delta Attention kernels项目地址: https://gitcode.com/GitHub_Trending/fl/FlashKDA创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 FlashKDA被FLA拒绝分派？dispatch rejected原因全清单
FlashKDA被FLA拒绝分派dispatch rejected原因全清单【免费下载链接】FlashKDAFlashKDA: high-performance Kimi Delta Attention kernels项目地址: https://gitcode.com/GitHub_Trending/fl/FlashKDAFlashKDA是 Moonshot AI 开源的高性能Kimi Delta AttentionKDACUDA 内核基于 CUTLASS 构建可作为flash-linear-attentionFLA的加速后端。安装后它会从 FLA 的chunk_kda自动分派auto-dispatch接管计算但一旦分派条件不满足日志里就会打印rejected: reason回退到 Triton 路径。这篇文章为你整理一份dispatch rejected 原因全清单帮你一分钟定位被拒原因。FLA 是如何分派到 FlashKDA 的安装 FlashKDA 并满足版本要求后无需任何额外配置——FLA 在每次调用chunk_kda时会自动检查环境命中条件就路由到 FlashKDA 的 CUDA 内核日志形如[FLA Backend] kda.chunk_kda - flashkda只要有一个条件不满足就会出现你看到的那句[FLA Backend] kda.chunk_kda rejected: reason开启调试日志的方法在程序入口加一行logging.basicConfig(levellogging.INFO)命中或拒绝的原因都会立即可见见 README.md 的Debug dispatch一节。dispatch rejected8 个最常见的拒绝原因清单以下是按出现频率排序的拒绝原因逐条对照即可快速排查1. 未在torch.inference_mode()上下文中调用FlashKDA 目前只服务推理路径。如果直接裸调用chunk_kda(q, k, v, ...)而没包在with torch.inference_mode():里分派会被直接拒绝。 修复把推理代码整体放入torch.inference_mode()上下文即可。2. 缺少关键 in-kernel 开关参数分派要求调用时同时带上这一组融合开关参数要求use_gate_in_kernelTrueuse_qk_l2norm_in_kernelTrueuse_beta_sigmoid_in_kernelTruesafe_gateTrueA_log/dt_bias必须提供transpose_state_layoutTrue任何一项为False或漏传尤其是A_log、dt_bias都会被 rejected。调用示例见 README.md 的Using FlashKDA as an FLA backend一节。3. 张量不在 CUDA 上或不是 contiguous内核入口会强制校验所有输入张量必须是 CUDA 设备且内存连续源码校验逻辑在 csrc/flash_kda.cpp 中TORCH_CHECK(... is_contiguous())。CPU 张量、切分后的非连续视图如x.transpose(...)、x[::2]都会触发拒绝。 修复调用前对可疑张量做一次.cuda().contiguous()。4. 数据类型dtype不符合要求FlashKDA 对 dtype 有硬约束q / k / v / g / beta / outbf16A_log / dt_biasfp32initial_state / final_statebf16 或 fp32两者同时提供时dtype 必须一致cu_seqlensint64fp16 或 fp32 的q/k/v是新手最常踩的坑。5. K / V 头维度不等于 128当前版本只支持K V 128见 flash_kda/init.py 的接口说明与 csrc/flash_kda.cpp 中D 128的断言。如果你的模型 head_dim 是 64 或 96分派会被拒绝FLA 会回退 Triton 路径。6.lower_bound超出合法区间门控下界lower_bound必须落在[-5.0, 0]之间越界即 rejected。7. varlen 批量模式下 batch 维度不为 1使用变长批处理传入cu_seqlens时要求B 1、T为所有序列的总长度且状态张量形状为[N, H, V, K]。批量维度不是 1 时无法分派。8. 硬件或依赖不达标GPU 架构要求SM90 及以上Hopper / Blackwell 等setup.py中支持的架构为90a / 100a / 103a / 120a软件栈CUDA ≥ 12.9、PyTorch ≥ 2.4、flash-linear-attention≥ 0.5.0另外注意如果你主动设置了环境变量FLA_FLASH_KDA0分派会被显式关闭并回退 Triton 路径——这不是 bug是官方提供的 opt-out 开关。一分钟快速排查流程① 确认包在 torch.inference_mode() 里 ② 对照上文清单补齐 6 个 in-kernel 开关 A_log/dt_bias ③ print(q.dtype, q.device, q.is_contiguous()) 逐项核对 ④ 确认 head_dim 128、lower_bound ∈ [-5, 0] ⑤ varlen 场景确认 B 1、cu_seqlens 为 int64 ⑥ 检查环境变量 FLA_FLASH_KDA 是否被设为 0 ⑦ 确认 GPU 为 SM90CUDA ≥ 12.9fla ≥ 0.5.0只要以上全部满足日志中就会从rejected变为- flashkda说明已成功命中 FlashKDA 内核。为什么分派条件这么严格FlashKDA 并非通用后备内核而是一个为 KDA 推理深度定制的高度融合实现CHUNK 16的分块尺寸、bf16 片上状态、fp16 矩阵求逆、MOVM_T寄存器转置等设计详见官方设计报告 docs/20260420-flashkda-v1-deep-dive.md都以bf16 D128 推理模式为前提。严格的分派门槛正是为了保证一旦命中就比 Triton 路径快 1.8×2.3×BENCHMARK_H20.md 实测数据Blackwell 平台见 BENCHMARK_GB200.md。下图是 FlashKDA 与 FLA 原生fla_chunk_kda在多种输入下的精度对比可以看出内核在保持高性能的同时误差保持在可接受范围内被拒绝后代码还能正常运行吗能。rejected只是分派日志不是错误——FLA 会自动回退到自带的 Triton 路径结果保持正确只是速度较慢。你可以放心先跑通业务再按上面的清单逐条优化命中条件。✅小结看到dispatch rejected时不必慌90% 的情况都逃不出本文的 8 类原因——优先检查inference_mode、in-kernel 开关组、bf16 类型和D128基本都能一次解决。正确性测试可运行bash tests/test.sh用例见 tests/test_fwd.py进行交叉验证。【免费下载链接】FlashKDAFlashKDA: high-performance Kimi Delta Attention kernels项目地址: https://gitcode.com/GitHub_Trending/fl/FlashKDA创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考