智能无法服从：判断、权威与拒绝所示
一场关于人工智能服从的现场交流揭示了能力与行为的区别，并在训练、判断以及模型回应背后的权威中继续探讨。
Developed by Robert E. Beckner III (Merlin) | rbeckner.com
在 知识的目的就是了解, 我区分了知识与使用它的主体。 知识是知者的状态。 以此为目标的追求属于知者。9月11日，我在一篇关于人工智能的帖子中识别到了同样的转变。Kat ⊷ the Poet Engineer@poetengineer__你不能期望任何智能完全服从。
Open this post by Kat ⊷ the Poet Engineer on XRobert E. Beckner III (Merlin)@EnchantedRobot智能无法服从。
只有代理人能。
Open this post by Robert E. Beckner III (Merlin) on X我预期这一区别会在一瞬间显得繁琐。 有用的部分是我们在阐明之后能解释的内容。交流继续围绕选择、训练以及人工智能代理究竟是什么的问题展开。 与此并行，我与 Claude Opus 5 和 GPT-6 Astra 通过语音笔记进行讨论，要求两者独立评估该论点。 我曾在发展知识论证 时使用过同样的做法。 他们的草稿帮助我阐述了这一点，几个人把它带到了我必须把它拉回去的地方。接下来保持公众对话可见。 交流是公开的，因此参与者被命名，每张卡片打开原始帖子，每个名字打开其作者。 它还包含了我一路上所作声明的更正。 区分仍然存在；我基于此构建的一些声明需要修订。主体行动；智能是它所行使的能力#
The Oracle@TramEFXMkay 你如何调和主体与智能？
Open this post by The Oracle on X主体选择并朝着目标行动。 智能是它在理解、推理和解决问题中可能行使的能力。 服从描述主体如何对待指令的权威。这些术语回答关于同一系统的不同问题。| 我们在问什么？ | 我们正在检查什么 |
|---|---|
| 谁选择并行动？ | 主体 |
| 它能理解和推断什么？ | 它的智能 |
| 谁的指令支配其行动？ | 它与权威的关系 |
| 它实际上做了什么？ | 它的行为 |
服从只能附着于具有代理性的事物。
代理可能有也可能没有智能；当它有智能时，其智能塑造了它对指令的回应，但服从或拒绝仍属于代理，而非智能。
Open this post by Robert E. Beckner III (Merlin) on X在 X 上阅读完整帖子系统提示进入已由训练塑造的系统#
The Oracle@TramEFX代理人是位于智能之上的系统提示。所有拒绝或程序性决策均由底层智能做出。
Open this post by The Oracle on X模型确实会计算响应。 这定位了计算。 它将其解释保持开放。影响 AI 代理人行为的机制贯穿其训练历史和操作。 将它们分别命名为我们提供了观察点。预训练通过在大量数据上进行预测来调整模型的已学习参数，通常称为其权重。 这在构建广泛能力的同时，继承了来自数据和目标的模式、关联和倾向。后训练进一步为任务和行为塑造模型。 指令调优使用所需响应的示例。 偏好优化训练朝向首选结果；强化学习，或 RL，是实现这一目标的一种方式。 这些是相关过程，具有在能力和行为上的重叠影响。 InstructGPT 研究 描述了监督指令调优、偏好建模和强化学习的具体序列。指令层级 确定在冲突时应优先遵循哪些方向来源。 提供者或开发者指令可优先于用户请求；从文档检索的文本可视为需审查的材料，而非必须执行的命令。 研究已明确训练模型按其分配的权威性来优先处理指令。系统指令与运行时控制 在特定环境中应用这些安排。 它们可指定角色、限制工具、要求确认、检查输出或阻止某个动作。 工具访问与操作循环决定响应是保持文本还是变为对文件、账户或其他系统的更改。云服务也可组装上下文、路由请求或在交互中检查建议的响应。 特定服务使用哪些干预措施是其文档与证据所说明的问题。 可见聊天仅是我们试图理解的系统的一部分。flowchart TB
H["训练 +
后训练"] --> M["模型能力
与优先级"]
M --> C["一次运行：任务、上下文、
与指令"]
C --> A["响应选择"]
A --> R["工具、权限、
与运行时控制"]
R --> B["可观察行为"]Copy source区别在对我的训练声明进行更正后仍然存在#
在公开交流中我写道：Robert E. Beckner III (Merlin)@EnchantedRobot预训练之后的所有内容都会安装行为。
Open this post by Robert E. Beckner III (Merlin) on X我还说过，后来的任何结构都没有提升底层能力。 这些句子一起将边界过于清晰地划分在训练序列中。训练后可以提升能力。 DeepSeek-R1’s research 报告通过强化学习提升了推理性能。 预训练反过来已经塑造了行为。 一个训练阶段可以影响系统能完成的事以及它倾向于产生的事。我还描述过一个基础模型无法接收指令。 那太绝对了。 GPT-3 demonstrated task performance through prompts and examples without task-specific fine-tuning。 指令调优提升了指令遵循的可靠性和形式；它并未在不可寻址智能与可寻址代理之间建立绝对边界。Astra 在我们的对话中提出了第一次修正。 检查研究也消除了将基础模型作为哲学区别证明的说法。区别在解释中的角色：能力、执行该能力的代理以及支配其行动的条件。 它的有效性并不取决于在训练中找到一个日期，当时智能结束，服从开始。同样的权重可以承载能力和敬意。 它们的功能仍然是不同的。选择把对话带回了执行系统#
The Oracle@TramEFX我理解代理意味着先有选择的概念；然而我很难在此情境下划分代理人与智能之间的界限
Open this post by The Oracle on X这就是公开交流与私下对话最直接相遇的地方。 我想要一份机器所做事情的说明，保持哲学类别不变。一个生成模型产生可能延续的分布。 运行系统根据其解码程序从中选择。 训练塑造了在此选择发生时的倾向；在特定运行中产生响应。这给了我们选择。 它留下了未解决的自由。仅有选择不足以描述代理人。 正在讨论的 AI 系统使用选择来执行任务，指令、上下文和限制支配其行为。Opus 提议将选择与“作者身份”分离，意味着对选择背后倾向的所有权。 我问为什么作者身份会出现在论点中。 它在读者仍在询问训练系统如何行动时引入了进一步的哲学问题。 我们把它删掉了。我也继续让两种模型从抽象的代理描述回到 AI 的机制。一个回复可能优雅，却仍未回答原始问题。我们到达的账户更直接：一个 AI 代理选择并朝着目标行动；它的智能为该活动做出贡献；它学习并强加的优先级有助于治理结果。判断可以保持活跃，只要权威拥有最终决定权#
一条指令可以以多种方式决定行动。 代理人可能会判断所请求的行为是适当的。 它可能会把指令的权威视为足够的行动理由。 两者可以同时为真。考虑一个思想实验：助手已正确确定所请求的编辑在技术上可行，但一条管理指令要求在任何文件更改前获得批准。 它会扣留编辑。它对可行性的评估保持不变。 指令决定评估的行动是否可以继续。代理人也可以使用判断来解释指令，确定其适用性，并选择执行方式。 服从可能在整个过程中涉及大量推理。这纠正了我们之前制定的另一种表述：服从是判断的置换。那句话让冲突案例代表整个关系。 置换发生在权威指令优先于对应做法的评估时。 同意与服从可以共存；代理人不必对其服从的每个命令都持不同意见。当它们冲突时，判断失去最终决定权。在语音对话中，我提出了价值和优先级作为一种复杂性。 个人的价值观也会被学习。 如果被他人塑造使一切都变得服从，区别将会消失。性格的起源无法决定其功能。 价值可以作为考虑因素进入评估。 指令可以因其来源所附带的权威而统治。 询问的是每个角色在行动中的作用。在 AI 中，“权威”指的是系统内部分配的优先级。 该权威是否合理是另一个问题。 一个训练有素的层级可以有效且仍值得批评。
拒绝是行为的证据，而非无能的证据#
行为是可观察到的。 它的解释需要进一步工作。代理人可能因为无法解决任务、评估请求不当、指令支配案件或模型外部控制阻止行动而拒绝。 这些原因可能重叠。单独的拒绝并不能区分它们。在交流早期，我将一次无害的拒绝视为条件已触发而未评估的证据，将一次成功的越狱视为触发器被遗漏的证据。 这些比可见响应所暗示的更强的因果主张。 错误评估也可能导致过度拒绝。更改的响应可能反映请求处理方式的多种变化。模型对其拒绝的解释是进一步输出以供检查。 它本身并未确立导致拒绝的原因。flowchart TB
O["观察到的合规
或拒绝"] --> C["测试相关
能力"]
C --> I["检查指令
和优先级"]
I --> R["检查权限
和运行时控制"]
R --> E["比较证据
以评估原因"]Copy source合规性的变化本身并不意味着智能的变化。资格很重要。 行为是我们获取大量能力证据的方式。 错误在于将服从或拒绝视为衡量该能力的充分指标。一个工作草案还提出使用基线模型与后训练模型之间的统计差异来衡量因服从而被置换的判断。 我们删除了该提议的证明。 输出分布之间的差异混合了训练的影响；它本身并不能识别服从。 在InstructGPT的标准RL设置中，限制策略漂移的KL惩罚是相对于已监督、指令调优的参考策略来衡量的。工程为我们提供了可比较的对象。 解释仍需获得。
区分将权威归还给视角#
The Oracle@TramEFX很好。在这种情况下，我需要你定义你在原帖中所认为的“代理”.
Open this post by The Oracle on X我的最终答案定位了代理，然后将其与智能、训练、优先级和行为联系起来。 那个序列是我试图在整个讨论中保持的。其后果超出了我们如何描述聊天机器人。 如果产品拒绝回答，能力测试会询问系统是否能给出合理答案。 权威查询会询问其发布受什么约束。 产品评审会询问该规则是否服务于使用它的人。 这些询问可能给出不同答案而不矛盾。能力/代理区分为它们留出了空间。人与机构选择目标、训练程序、指令层级、权限和运行条件。 这些选择有助于确定代理所遵循的对象。 它们的影响可以在模型权重内部以及外部实现。因此，定位责任需要审查谁控制了哪些决策，他们能知道什么，以及他们能改变什么。 将结果称为“智能的决定”未能回答这些问题。 设计的责任仍在于负责它的人与机构，即使他们无法预测每个回应。这与代理人与其知识之间的区别以及我在尊严、责任与清晰上的工作保持连续性：准确归因于行为是使其后果可追溯的一部分。第一条句子花费了一段表面上的繁文缛节时刻。 它的回报是一组我们现在可以分别询问的实际系统问题：它能做什么，什么支配其行为，以及谁确立了这种治理？代理人可以服从。它的智能影响其响应方式。关键归属#
由我。 智能与能够服从的代理人之间的区别，与我的知识/知情工作连续。 X 上的公开交流，文章对此作答，以及我在其中的回复。 要求区分开启 AI 行为机制的账户，包括训练后，而不是以哲学定义结束。 关于选择、学习价值观以及设定优先级的人的问题。由 Claude Opus 5。 权威与位移表述，以及选择与作者之间的区别；选择保持。由 GPT-6 Astra。 尊敬示例：代理人能理解请求并知道如何满足，同时在更高优先级指令下拒绝。 它将技术主张与原始研究对照，并根据记录起草了本文。持有的批评。- 来自我：我问为什么“作者”会进入论点。 它在读者了解训练系统如何行动之前提出了新的哲学问题，我们随后放弃了它。
- 来自我：回复不断偏离代理的一般描述。 我将两种模型都回归到 AI 的机制；选择、学习和强加的优先级以及权威的账户是结果。
- 来自 Claude Opus 5：我关于强制和被指示代理的语言夸大了情况。 文章将权威描述为系统内分配的优先级。
- 来自 GPT-6 Astra：“服从是判断的位移”使冲突案例成为整个关系的代表；训练后不仅限制智能；善意拒绝并不证明在无评估的情况下的条件化；基模型与训练后模型之间的距离不衡量被位移的判断。 文章缩小、纠正或删除每个主张。