How Does AI Actually Know Anything?

AI从未煮过蛋、也没有内置食谱，打开大模型只看到约与银河系恒星数量相当的庞大数字。本节提出全片主线：跟随煮蛋问题穿过这些数字，看词如何变成意义地图上的位置，再一路走到数学金牌成绩。

许多自回归语言模型根据上下文逐个生成词元，词元可能是单词、词的一部分或其他符号。输出可按概率采样，也可采用确定性等不同解码方式。

视频用一个开源模型示范词元概率及采样。不同模型、提示和解码设置会得到不同概率与输出长度；计算可复用先前状态，不必每步从头处理全部历史。

视频以一个4050亿参数的开源模型说明规模；这只是特定模型的例子，并非对所有公开或现有模型规模的断言。

每个数字都能被调高或调低，模型行为随之改变，工程师称之为参数或权重。权重一词源自大脑：1943年两位科学家把脑细胞描述为累加周围信号、够大便放电的小开关；1958年Frank Rosenblatt证明这种网络能学习，猜错就调连接强度。但类比到此为止：真实脑细胞远比一次求和复杂，孩子也不是靠读万亿词学说话。芯片为此内置神经引擎与神经加速器。

输入被分为词元并映射成向量。向量可包含多种语义关系，但“地图上的地址”只是简化类比，词义也会随上下文而变化。

在自回归Transformer中，注意力可让当前位置结合允许访问的上下文。注意力与其他网络层共同处理信息，不应把单一注意力分数等同于完整解释。

视频展示的特定模型包含多层Transformer，层层更新上下文表示，再由输出层形成词元概率；层数与具体架构因模型而异。

模型通过输出层把上下文表示转换成词元分数，再形成概率分布。运算包括矩阵乘法、非线性变换、归一化与注意力等，不只是比较地图距离。

模型能力通常由大量参数和激活共同产生，不能简单把一个参数当作一个完整知识点。参数由训练过程优化，不是工程师逐个手工设定。

视频以预测下一个词元说明自回归预训练：模型根据上下文预测后续词元，再依据误差更新参数。不同模型也可能使用其他训练目标和后续训练方法。

地址也存在设置之中，因此随所有设置一起被微调。蛋与奶出现在同类句子里，同样的微调就把它们推到一起，意义地图不是人画的，而是训练推出来的。

视频所举模型使用大量公开可得数据；不同模型的语料来源、许可情况与训练规模各不相同，不能一概而论。

预测训练可帮助模型学习语言与部分事实，但流畅输出不保证正确。错误或编造可能有多种原因，仍需核查重要信息。

视频讨论语言模型可能从训练中发展出算术能力。实际计算机制因模型和任务而异，可能混合记忆、近似或学到的计算规律。

借用侦探小说比喻：要猜出最后一页的凶手必须跟随整个故事，模型被反复推着猜下一个词，也就被推着去跟随故事。

模型在有限参数中可以学习共性，也可能记住或复现部分训练文本；两者的比例取决于数据、模型和训练方式。

Anthropic研究者为自家模型造了显微镜，不直接读参数，而是观察模型工作时不断移动的列表及其方向，发现数百万个可命名的概念方向。

金门大桥作为一个概念方向，在读到名字和看到照片时都出现；研究者手动调高它，模型便念念不忘，甚至建议开车过桥付过路费。

问达拉斯所在州的首府，显微镜下可见模型先想到得州再想到奥斯汀；把得州换成加州，它便答出萨克拉门托，说明答案是被逐步推出的。

押韵实验原本想证明模型写一个词时不知句子走向，结果它在写第二行前就已选定结尾词rabbit，去掉rabbit后改以habit收尾。

研究者自己提醒：这些只是短例子，所用模型并非其最大模型，显微镜也只显示内部活动的一部分。

以23乘47为例，心算很难，但拆成23乘40得920、23乘7得161、相加得1081三步就简单，模型面临同样的单次推理步数限制。

模型自带草稿纸：写下的每个词都会回到列表并在下一轮被重读，于是能写下一步、读回一步、再走下一步，难题因此变成多轮推理。

一些推理系统会生成中间步骤，并将其作为后续计算的上下文；用户未必能看到完整过程，而且生成的解释不一定忠实反映内部机制。

难题难在选对步骤：每一步都有上千种可能写法，几乎都走不通，读遍数学书也未必知道该试哪条，需要有人批改的练习。

视频介绍一种基于可验证结果的强化学习思路：根据答案表现调整模型。强化学习也有其他奖励设计，不能概括为只看结果或完全不提供中间反馈。

具备代码执行工具的系统可以运行程序并利用输出或错误信息调整后续尝试；并非所有语言模型都能自行运行代码。

Google DeepMind报告，专门配置的Gemini Deep Think在2025年国际数学奥林匹克题目上解出六题中的五题，获得35分，达到金牌分数线；这不代表所有Gemini版本都有同等能力。

同年9月大学编程世界总决赛上，Gemini解出12题中的10题，其中包括一道没有人类队伍解出的题，最好的人类队伍解出11题。

Anthropic在所研究模型和特定算术任务中观察到近似估计与末位数字等并行计算路径；不能据此断言所有模型都采用同一方法。

该研究中模型对算术过程的口头解释与研究者观察到的部分内部路径不一致。这说明模型的自述未必忠实，但不代表它对所有问题都无法提供有用解释。

结论：没人编程写入煮蛋知识，是读人类文字、猜每个下一个词并被反复微调，把类似知道的东西压进参数，再经批改练习串起小步。

研究者知道模型的计算结构，但很难完整解释大量内部表示如何对应具体行为。现有可解释性方法能观察部分机制，仍有明显局限。

结尾把模型比作星系般的开关：无数没人设定的参数在相乘，走向一个它可能早已选好的词，而你只是问了煮蛋要多久。