【AI企业】【信息科学与工程学】计算机科学与自动化 第八十篇 人工智能数学方程式/算法表03 推理引擎01

编号领域算法/函数名称定理/规律/特征算法伪代码算法的逐步思考推理过程的数学方程式关键参数/变量及数值设计及边界条件及参数数值范围工程/流程方法和所有步骤硬件依赖优点与局限关联知识连接点相关投入/资源1注意力机制Scaled Dot-Product Attention通过查询Q与键K的点积计算注意力权重，并用softmax归一化后加权值V；引入缩放因子√d_k防止梯度消失。集合（Q,K,V矩阵）、概率与统计（softmax分布）、连续性（可微）、优化（反向传播）、计算复杂度O(n²d)python def attention(Q, K, V): d_k = Q.shape[-1] scores = matmul(Q, K.T) / sqrt(d_k) weights