几千年，数学家一直依靠算法做最基本的数学演算。古埃及人将两个数字直接互乘，希腊数学家计算最大公约数，波斯数学家求解线性方程，这些算法凝结了古人的智慧，有些数学思想至今仍在被使用。
矩阵乘法能够将两个网格之中的数字相乘，是几乎所有软件在处理图像、科学模拟过程中都在使用的基本计算任务。由于具有应用的普遍性，很小的改变就能够为矩阵乘法带来运算效率的突飞猛进。
在过去的几个世纪，数学科学家们普遍认为，当矩阵中相乘元素的个数与矩阵乘法的运算效率成正比，当矩阵扩大，乘法的难度会成比例地增加。
图 | 两个 3x3 的矩阵相乘（来源：）
直到 1969 年，德国数学家沃尔克·斯特拉森（）证明，一个由两个数字组成的两行矩阵与另一个同样大小的矩阵相乘，并不需要 8 次的乘法计算才能得到最后的结果，可以通过技巧简化为 7 次。该过程中拥有一些额外的加法运算，使运算效率得以进一步提升。这种矩阵乘法被称作算法。
在过去的五十几年中，科学家一直在不断的将算法进行优化。虽然研究者在此过程中找到了该算法之中一些不容易匹配到计算机上的代码乘法运算，并进行了细微改进，算法对大多数规模的矩阵依然最有效。
最近， 公司利用开发出的人工智能体 AlphaTensor 发现了一种新型的矩阵乘法，可以在当前的硬件系统上完美运行，能够将计算速度提升百分之二十。
（来源：Nature）
相关论文以《通过强化学习发现更快的矩阵乘法算法》（）为题，发表在 Nature 杂志上。
AlphaTensor 发现不同矩阵的数千种函数算法
AlphaTensor 作为 公司人工智能体家族的新晋成员，是在 AlphaZero 基础上被开发出来的。AlphaZero 是应用于象棋、围棋等棋盘游戏中的人工智能体。
据了解， 公司 Alpha 智能体家族成员从应用算法玩游戏到解决未解数学问题历时两年。最终，AlphaTensor 发现不同矩阵函数算法实现智能升级，历时两年之久。
首先，科学家把获得最佳算法问题转化为棋盘游戏。在该游戏当中，棋盘被当作 3 维张量，用来获得算法的错误。通过一组在算法控制下允许的动作，玩家不断调整张量，同时，将它的条目清空。
完成所有的操作后，游戏中的矩阵乘法算法便被 AlphaTensor 验证为完全正确。
图 | AlphaTensor 智能体玩游戏（来源： 公司）
然后，科学家训练出一个 AlphaTensor 智能体，该智能体使用强化学习算法，替代玩家玩游戏。一开始，AlphaTensor 对现有的矩阵乘法算法一无所知。
随着时间的过去，AlphaTensor 运用强化学习算法不断改进，最终超越人类直觉领域，发现更快的算法。
举个例子，AlphaTensor 找到的新算法在对 4 个数字组成的 4 行矩阵进行乘法运算时，只需 47 次就能获得最终结果，优于算法之中的 49 次乘法运算。
AlphaTensor 还发现了针对不同大小矩阵，具有几千种不同作用的特定功能函数算法。据统计，只是 4×4 的矩阵就多达 14000 个，运算能力却只有少部分比目前的水平更高。
除此之外，AlphaTensor 能够改进结构化矩阵乘法的已知结果，并通过优化运行，找到适合特定硬件的有效矩阵乘法算法。在相同的硬件上，这些算法相乘大型矩阵的速度比人工设计的算法更快。
图 | Alpha Tensor 发现的算法在 GPU 和 TRU 上的加速运行（来源：Nature）
例如，利用算法的这种多样性，研究者调整了 AlphaTensor，发现了针对 GPU（a） 和 TPU（b） “量身定制”的算法，可以将其优化为大小为 8192×8192 的矩阵，速度比在同一硬件上常用算法加快约百分之二十。这展示了 AlphaTensor 能够灵活的优化算法矩阵。
AlphaTensor 未来的应用方向
从数学方面来讲，AlphaTensor 有助于解决计算机中的基本问题，帮助研究者明确矩阵算法的丰富程度与矩阵乘法的渐变复杂程度。
矩阵乘法是众多计算机运算任务的核心部分，例如，矩阵反演、计算行列式和求解线性系统等。AlphaTensor 发现的算法可以大大提高这些计算的效率，防止算法工作时的误差像滚雪球一样扩大。
（来源： 公司）
此种方法还可以扩展到处理相关的原始数学问题之中，如，计算其它的秩概念和硬矩阵分解问题（例如，非负因子分解）。
对于矩阵方程取得的一系列进展， 的研究科学家侯赛因·法瓦兹（）在官网上说：“尽管研究结果在数学上是合理的，但在应用过程中无法直观地展现出来。从本质上说，我们并不真正知道系统为什么会得出这样的结论。为什么它是矩阵相乘的最好方法？我认为，对于探究 AlphaTensor 是如何通过深度学习发现新算法的，还有一些理论工作要做。”
参考资料：
https://www.nature.com/articles/s41586-022-05172-4
https://www.deepmind.com/blog/discovering-novel-algorithms-with-alphatensor