关注是你所需要的一切：望向 AI 未来

编者注：《Attention Is All You Need》发表于 2017 年的论文之一，目前被引用超 11 万次，它不仅仅是前面以 ChatGPT 为代表的大模型技术起源，其中介绍了 Transformer 架构和焦点机制Sora、AlphaFold 等动物或将改变世界的人工智能技术也被广泛使用。

「Attention Is All You Need」，这篇研究论文彻底改变了现代人工智能（AI）的未来。在这篇文章里，我将深入探讨 Transformer 模型和 AI 的未来。

2017年6月12日，八位谷歌工程师发表了一篇名为“Attention Is All You Need”的研究论文，这篇论文讨论了一种改变现代AI未来的神经网络架构。

而就在刚刚过去的2024年3月21日的GTC大会上，英伟达创始人黄仁勋与那8位Google工程师进行了一次小组讨论，并感谢他们引入了Transformer架构，使现代AI成为可能，令人惊叹的是的，NEAR 的创始人实际上有意 8 人名单。

什么是变压器？

Transformer是一种神经网络。

什么是神经网络？它受大脑结构和功能的启示，通过大量的人工神经元互相连接进行信息处理，并不是人类大脑的完全复制品。

简单理解的话，人脑就在亚马逊雨林，拥有许多不同的区域，以及连接这些区域的设备连接器。而神经元正好比这些设备间的连接器，它们可以向亚马逊雨林的任何部分发送和接收信号，因此连接就是本身，负责联通两个不同的大脑区域。

这让我们的大脑拥有非常强大的学习能力，它可以快速学习、识别模式并提供准确的输出结果。而像 Transformer 这样的神经网络试图实现与人类大脑相同的学习能力，只是它们目前的技术水平还达不到人类大脑的1%。

最近，Transformer 在现代人工智能方面取得了一些令人惊叹的进步。回顾人工智能的演变历程，我们可以看到早期的主要人工智能是像 Siri 以及其他语音/识别应用程序。

这些应用程序都使用循环神经网络（RNN）构建。RNN 存在一些限制，而这些限制已经被 Transformers 所解决并改进——Transformers 引入了自注意力机制，使它们能够同时分析任一序列的所有部分，从而捕获长距离依赖关系和上下文内容。

对于 Transformer 的创新周期来说，我们还处在一个非常早期的阶段。Transformer 有几种不同的衍生版本，例如 XLNet、BERT 和 GPT。

而 GPT 是其中最著名的一种，但它在事件预测方面的能力仍然有限。

当大型语言模型（LLM）能够根据过去的数据和模式预测事件时，这将引发现代人工智能的下一个重大飞跃阶段，并且也将加速我们实现通用人工智能（AGI）的动作。

为了实现这种预测能力，大型语言模型（LLM）需要采用时间融合转换器（TFT），它是一个基于不同数据集预测未来值的模型，还能够解释其所做的预测。

TFT除了用于提高外部预测，还可以用于区块链领域。通过在模型中特定定义规则，TFT可以自动执行以下操作：有效管理共识过程、出块速度、奖励奖励验证者、惩罚恶意验证者。

区块链网络本质上可以为具有累计积分的验证者提供更多的区块奖励，这可以基于他们的投票历史、区块提议历史、Slash历史、Stake金额、活跃度等一些参数来建立。

公链的共识机制本质上是验证者之间的一种博弈，需要超过三分之二的验证者就谁来创建下一个一致的达成区块。在这个过程中，可能会出现许多闭合和争论，这也是以太坊等公链网络效率较低的一个因素。

TFT 可以作为一种共识，通过提升出块时间并根据区块生产信誉奖励验证者，从而提高效率。比如将 TFT 模型投票过程的 BasedAI 机制，就是将该模型利用在验证者和网络参与者中之间分配代币发行量。

BasedAI还提出利用FHE技术，让开发者可以在其名为「Brains」的中心化设施去AI基础上托管隐私保护的大型语言模型（Zk-LLMs），通过将FHE技术集成到大型语言模型中，可以实现在用户选择启用个性化AI服务时，保护他们的隐私数据。

当人们相信数据会受到加密货币保护和隐私的前提下，愿意贡献数据的时候，或许我们就完全将实现通用人工智能（AGI）的突破，这一空白正在由关注隐私的技术实现，例如nillionnetwork Blind计算、零知识机器学习（ZkML）和同态加密货币（FHE）技术。

然而，所有这些关注隐私保护的技术都需要大量的计算资源，这使得它们还处于应用的早期阶段。