科学空间

在文章《将Softmax Attention线性化为Gated DeltaNet》中，我们提供了一个将Softmax Attention线性化为Gated DeltaNet的参考过程，它演示了我...

Softmax Attention想必大家已经不陌生，它是定义在有限向量集合下的一个加权混合算子。文章《Continuum Attention》提出了一个很有意思的想法——将注意力连续化。这让笔...

我们知道，DeltaNet的核心是$\boldsymbol{I}-\eta\boldsymbol{k}\boldsymbol{k}^{\top}$形式的更新矩阵（参考《线性注意力简史：从模仿、创...

众所周知，Muon优化器流行起来已经有好一段时间，虽然说不上完全取代Adam，但已经算得上不能忽视的、极具竞争力的优化器。与此同时，这两年Shampoo系优化器也“不甘落后”，除了原始Shamp...

上文《让炼丹更科学一些（九）：经典自适应梯度算法》中，我们为形如$\boldsymbol{\theta}_{t+1} = \boldsymbol{\theta}_t - \eta_t \bold...

上篇文章《让炼丹更科学一些（七）：步长调度与权重平均》我们简单介绍了无调度（Schedule-Free）学习率的工作，它试图通过某种权重平均来替代学习率调度，实现常数学习率就可以训出最优模型的效...

对于正交流形，我们此前的结论是：方阵情形下，我们可以完整地写出对应最速下降的解析解（参考《流形上的最速下降：2. Muon + 正交》）；但对于非方阵的Stiefel流形，其最速下降问题需要求解...

上个月，我们发布了迄今为止最大的开源模型K3。作为K2的继任者，K3并不是一次从零开始的重新设计，而是沿着我们过去一系列工作自然演化而来，并融合了我们对效果、效率、稳定性的一些最新理解和改进。可...

在文章《LogSumExp和Softmax的泰勒展开》中，我们介绍了LogSumExp和Softmax的近似展开，并由此得到了一种线性化Softmax Attention的简单方案。但在那篇文章...

近来，越来越多的论文或者博客，开始基于参数的对称性来分析和指导模型的优化，比如Hyperball、HyperTransfer、ELR等，它们总体都是围绕着$\ell(\boldsymbol{w}...

在上一篇文章《慢即是快：1. Shampoo的尽头是Muon？》中，我们从凸优化的平均收敛结论出发，建立了“正交最慢下降”框架，并用于改进任意Kronecker积形式的预条件优化器。结果发现，在...

对于无约束的光滑函数来说，求极值的通用方法自然是求导（梯度）并让导数等于零了。那带等式约束的极值问题呢？很多读者应该也不陌生，标准方法是拉格朗日乘子法。然而，拉格朗日乘子总给人一种纯粹的代数技巧...

排序不等式是一个经典的不等式，本身不难理解，很多读者可能在中学阶段就已经了解过它，尤其是准备过数学竞赛的同学。但排序不等式也远不止表面上那么简单：它在矩阵世界中有一个深刻的对应物——冯·诺伊曼迹...

本系列前面八篇文章，都是在围绕SGD及其学习率讨论。而从本文开始，我们将正式进入自适应梯度算法的世界。可以说，现在所有的自适应梯度算法，都有一个共同的源头，那就是2011年的经典之作《Adapt...

一个以动量为状态变量的优化器，基本形式如下：\begin{equation}\begin{aligned}\boldsymbol{M}_t =&\, \beta \boldsymbol{M}_{...

一直以来，交叉熵（Cross Entropy）都是LLM预训练和微调的标准损失函数。那这个“标准”可以改吗？如果想改，那又有哪些选择呢？改完之后又会带来什么影响呢？可能很多读者从未认真推敲过这些...

训练一个大型的神经网络，最终效果会受到非常多因素的影响，换个优化器，换个模型架构，或者换一个训练集，结果都可能截然不同。在工程实践中，我们将调试这些因素的经验结果，戏称为“炼丹”。但如何从经验上...

昨天看到 @Ji_Ha_Kim 同学分享了一篇有趣的论文《Beyond Cosine Similarity》，里边提出基于排序不等式来构建新的更宽松的相似度指标，看了后感觉颇有意思，特来简单记录...