[!abstract] In One Sentence 用 query 和所有 key 的点积（除以 √d_k）做 softmax 加权，对 value 求加权和——本质上是一个可微分的 soft dictionary lookup。 想象你在图书馆找资料。你脑中有一个"查询"（query）：比如"Transformer 的训练方法"。图书馆的每本书有一个"索引标签"（key ...