大模型架构如何构建智能基石

（整理自陈东升-中兴新云视频号，发布于 2025 年 7 月 15 日）

刚刚我们在讲这个过程当中，我们谈到了它是一个大模型，但是我们刚刚没有谈到一个重点：大模型之所以大，是大在什么地方？这里面一个非常重要的标识，或者说一个划分的标准，主要在于模型的参数量。一般来说，一个模型的参数量如果超过了 10 亿，我们就可以称之为大模型。对于一个满血版的 DeepSeek，它的参数量是多少呢？是 671B，这个 B 是英文单词 Billion 的缩写，它的参数量是非常庞大的。

我们怎么理解这个参数？这就和大模型的整个运作机理是关系非常密切的。我们说大模型有智能的能力，我们问他问题，他可以给我们非常准确的回答。譬如说我们问他说，如果把雪糕放在太阳下会怎么样？他会告诉我们说会融化。他之所以可以给到一个准确的回答，其实并不是他知道了我们的物理学原理，而是他在过去的大量的知识训练的过程当中，当太阳和雪糕这两个词同时出现的时候，出现概率最高的一个词就是融化。

这样的一个训练过程，他首先需要把大量的文本的数据知识传递给大模型。在这个过程当中，首先需要用一个叫分词器的工具，把所有的文本拆解成大模型能够处理的最小的基本单元，这个基本单元就叫 TOKEN。

这些 TOKEN 不能是离散的，它应该是大模型能够识别、能够处理的这种数学或者是计算机的语言模式。这就涉及到一个向量化的过程，需要用工具把所有的这些文本向量化到模型里面。在大模型输入进去之后，每一个 TOKEN 都给到它一个对应的位置，它有一个向量值，或者有一个向量位置。

我们如何理解向量位置这样的一个概念呢？我们可以做一个简单的设想：假如说是一个二维空间，我们在一张纸上画一个点，怎么确定这个点的位置？那其实非常简单，有一个横坐标，一个纵坐标，只要用两个数字，我们就能确定它的位置。如果是一个三维的立体的空间，那就有三个坐标轴，用三个数字，我们就能确定这个点的位置。但是对于大语言模型来讲，每个 TOKEN 它都是在一个高维的向量空间里，它的维度不是二维不是三维，它可能是几千维甚至更多的维度。这样的话，它就是需要有个多维的向量。

在嵌入的时候有一个嵌入矩阵，横向可能有几万行、10 万行甚至更多，每一行代表的是一个 TOKEN；在这后面可能有几千列甚至上万列，每一列代表的是这个 TOKEN 的维度。这样的话，在每个位置上就代表了一个参数，每一个 TOKEN 就有了几千甚至上万的参数。

我们假设说，当我的数据量比较大的时候，我有 10 万行，有 1 万列，也就有 10 万个 TOKEN，每个 TOKEN 有 1 万个参数，那么 10 万乘以 1 万，乘出来也只有 10 亿个参数。这个时候你会发现，10 亿的参数距离 DeepSeek 满血版的 6710 亿，这个差距还是非常大的。

为什么呢？因为刚刚我讲到的，这只是把信息输入给大模型，这是一个嵌入的过程，这只是嵌入层的参数，是我们比较容易形象化理解的参数的含义。实际上除了嵌入层，大模型想发挥作用的话，它还需要更多的层次：

多头注意力层：每个位置在运算的同时，要关注到其他位置的相关信息，这样才能捕捉到长距离的依赖关系和上下文的信息；

前馈神经网络层：它的作用主要是提炼大模型的这种推理能力和对特征的捕捉能力、表达能力；

层归一化层：对前面每一个层面输出的内容进行归一化的处理，它的目标主要是加速大模型的训练过程，同时增加它的稳定性和它的泛化性；

输出层：基于前面的运算，对最终的结果进行输出，它要判断说最大概率出现的会是哪个 TOKEN。

在每一个层面上，它都是有大量的这种参数的，最终这些参数结合起来，形成了整个模型的整体参数。DeepSeek 就是基于这些层面，最终它的满血版形成了 6710 亿个参数。

这是我说的大模型和小模型作为区分的一个最主要的标示，它的参数的数量。当然，大模型除了参数比较多之外，它训练的数据量也比较多，这个实际上就已经不是以什么数量做计量了，它是海量的。现在 DeepSeek 系统，基本上它可能识别到全球公开数据库它能够获取到的所有的知识和信息。当然它训练的时候，所占用资源也是会比较多的。这是我们怎么理解大模型这样一个概念。

大模型架构 如何构建智能基石

大模型架构如何构建智能基石