知能は従えない：判断、権威、そして拒否が示すもの
AIの従順性に関するライブディスカッションは、能力と行為の区別を開き、訓練、判断、そしてモデルの応答の背後にある権威を追跡する。
Developed by Robert E. Beckner III (Merlin) | rbeckner.com
The Purpose of Knowledge Is to Know では、知識とそれを使用するエージェントの区別を描いた。 知識は知る者の状態である。 それで追求される目的は知る者に属する。9月11日、私はAIに関する投稿で同じ種の動きを認識した。Kat ⊷ the Poet Engineer@poetengineer__どんな知能も完全に従順であると期待することはできない。
Open this post by Kat ⊷ the Poet Engineer on XRobert E. Beckner III (Merlin)@EnchantedRobot知能は従順であることはできない。
従順であるのはエージェントだけである。
Open this post by Robert E. Beckner III (Merlin) on X私はその区別がしばらくは教養的に見えると予想した。 有用な部分は、それを作った後に説明できるものになるだろう。交換は選択、訓練、そしてAIエージェントが実際に何であるかについての質問を通じて続いた。 それに並行して、私はClaude Opus 5 と GPT-6 Astra とともに音声メモを通じて議論を進め、両者に独立して議論を評価させた。 私は同じ実践を developing the knowledge argument の際にも使用した。 彼らのドラフトは私がこの一文を表現するのに役立ち、いくつかは私が引き戻さなければならない場所に持って行きました。続く内容は公共の対話を見える状態に保ちます。 取引は公開されていたので、参加者は名前で示され、各カードは元の投稿を開き、各名前はその著者を開きます。 それはまた、私が途中で行った主張への修正を含んでいます。 区別は存続し、私がそれに基づいて構築したいくつかの主張は修正が必要でした。エージェントは行動する；知能はそれが実践する能力である#
The Oracle@TramEFXまあ エージェントと知能をどう調和させるか？
Open this post by The Oracle on Xエージェントは目的を選択し、行動する。 知能は、理解、推論、問題解決を行う能力です。 従順性は、エージェントが指令の権威をどのように扱うかを説明します。それらの用語は同じシステムに関する異なる質問に答えます。| 私たちは何を求めているのですか？ | 私たちが調べているもの |
|---|---|
| 何が選択し、行動する？ | エージェント |
| 何を理解し、解決できるか？ | その知能 |
| その行動を支配する方向は誰のものですか？ | 権威への関係 |
| 実際に何をしたのですか？ | その挙動 |
服従は、代理権を持つものにしか付随できない。
エージェントは知的であるかどうかは問わず、知的である場合、その知能は指示への反応の仕方を形作るが、服従や拒否は知能ではなくエージェントに属する。
Open this post by Robert E. Beckner III (Merlin) on XXで全文を読むシステムプロンプトは、すでに訓練によって形作られたシステムに入り込む#
The Oracle@TramEFXエージェントは知能の上にあるシステムプロンプトである。すべての拒否や手続き的決定は、基盤となる知能によって行われる。
Open this post by The Oracle on Xモデルは応答を計算する。 それが計算を位置づける。 それは説明を開いたままにする。AIエージェントの行動を形作るメカニズムは、訓練履歴と運用全体にわたる。 それらを別々に命名することで、調べる場所が得られる。Pretraining は、モデルの学習済みパラメータ、一般に重みと呼ばれるものを、大量のデータにわたる予測を通じて調整する。 これにより、データと目的から継承されたパターン、連想、傾向とともに広範な能力が構築される。Post-training は、タスクと行動のためにモデルをさらに形作る。 Instruction tuning は、望ましい応答の例を使用する。 Preference optimization は、好ましい結果に向けて訓練する；強化学習、またはRL はその一つの方法である。 これらは関連するプロセスであり、能力と行動に重なる効果を持つ。 InstructGPT research は、監督付き指示調整、好みモデリング、強化学習の具体的なシーケンスを説明している。Instruction hierarchy は、矛盾がある場合にどの方向源が優先されるかを確立します。 プロバイダーまたは開発者の指示は、ユーザーの要求を上回ることがあります。文書から取得したテキストは、従うべき命令ではなく、検討すべき資料として扱われる場合があります。 研究は、モデルに優先度に応じて指示を優先させるように明示的に訓練しています。System instructions and runtime controls は、特定の設定でそれらの配置を適用します。 役割を指定したり、ツールを制限したり、確認を要求したり、出力をチェックしたり、行動を防止したりできます。 ツールアクセスとオペレーティングループは、応答がテキストのままでいるか、ファイル、アカウント、または別のシステムへの変更になるかを決定します。クラウドサービスは、コンテキストを組み立てたり、リクエストをルーティングしたり、対話中に提案された応答をチェックしたりすることもできます。 特定のサービスがどの介入を使用するかは、そのドキュメントと証拠の問題です。 表示されるチャットは、私たちが理解しようとしているシステムの一部にすぎません。flowchart TB
H["研修＋
研修後"] --> M["モデルの機能
と優先順位"]
M --> C["実行： タスク、コンテキスト
そして指示"]
C --> A["応答選択"]
A --> R["ツール、権限、
および実行時制御"]
R --> B["観測可能な振る舞い"]Copy sourceこの区別は、私のトレーニング主張への修正を経ても存続する#
公開のやり取りで私はこう書いた：Robert E. Beckner III (Merlin)@EnchantedRobot事前学習以降のすべては行動をインストールする。
Open this post by Robert E. Beckner III (Merlin) on Xそれら後の構造のいずれも基盤となる能力を高めたわけではないとも述べた。 それらの文は、トレーニングシーケンスを通じて境界をあまりにきれいに描いた。トレーニング後は能力を向上させることができる。 DeepSeek-R1’s research は強化学習を通じて推論性能が向上したと報告している。 逆に、事前学習はすでに行動を形作る。 トレーニング段階は、システムが達成できることと、生成されるものの傾向の両方に影響を与える。私はまた、ベースモデルが指示を受け取れないと説明した。 それはあまりに絶対的だった。 GPT-3 demonstrated task performance through prompts and examples without task-specific fine-tuning. 指示調整は、指示に従う信頼性と形式を発展させるものであり、対処できない知能と対処可能なエージェントとの絶対的な境界を確立するものではない。Astraは私たちの対話で最初の修正を行った。 研究を確認したことで、ベースモデルの主張は哲学的区別の証拠として除外された。この区別は、説明における役割：能力、行使するエージェント、そしてその行動を支配する条件の間にある。 有効性は、知能が終わり服従が始まった訓練の日付を見つけることに依存しません。同じ重みは、能力と敬意を担うことができます。 彼らの機能は区別されたままです。選択は会話を行動システムに戻した#
The Oracle@TramEFX私は、代理権が最初から選択の概念を含むことを理解しているが、このシナリオでAIに関しては、エージェントと知性の境界を引くのが難しい
Open this post by The Oracle on Xここが公開のやり取りとプライベートな対話が最も直接的に交わる場所だった。 私は、機械が何をするかの説明を求め、哲学的カテゴリーを保持したいと考えた。生成モデルは可能な継続の分布を生成する。 実行中のシステムはそれからデコーディング手順に従って選択する。 訓練は、その選択が行われる傾向を形作る；応答は特定の実行で生成される。それが私たちに選択を与える。 それは自由を未解決のままにする。選択だけではエージェントを説明するには不十分だ。 議論中のAIシステムは、指示、文脈、制限に従ってタスクを追求するために選択を使用する。Opusは「著作者」を選択から分離することを提案した、つまり選択の背後にある性質の所有権。 私はなぜ著作者が議論に入ったのか尋ねた。 それは、読者がまだ訓練されたシステムがどのように動作するかを尋ねている間に、さらに哲学的な問題を導入した。 私たちはそれを捨てた。私はまた、両方のモデルに抽象的な代理の説明からAIのメカニズムへ戻るように求め続けた。回答はエレガントであっても、元の質問に答えないまま残る可能性がある。私たちが到達したアカウントはより直接的でした：AI エージェントが選択し、目的に向かって行動します。その知能はその活動に貢献し、学習された優先順位と課せられた優先順位が結果を統制するのに役立ちます。判断は権威が最終決定を下す間、アクティブに残ることができる#
指示は複数の方法で行動を決定できる。 エージェントは要求された行為を適切と判断するかもしれない。 指示の権威を行動する十分な理由とみなすかもしれない。 両方とも同時に真である可能性がある。思考実験を考えてみよう：アシスタントは要求された編集が技術的に実行可能であると正しく確立したが、管理指示がファイルを変更する前に承認を必要とする。 それは編集を保留する。実行可能性の評価は維持される。 指示は評価された行動が進行できるかどうかを支配する。エージェントは判断を使って指令を解釈し、適用されるかどうかを決定し、実行手段を選択することもできる。 従順は全体を通じて substantial reasoning を含むことがある。これは私たちが開発した別の表現を修正したものだ：従順は判断の置換である。その文は衝突ケースを全関係の代表にした。 置換は権威ある指令が何をすべきかの評価を上回るときに起こる。 合意と従順は共存できる；エージェントは従うすべての命令に反対する必要はない。それらが衝突すると、判断は最終決定を失う。音声対話中、私は価値と優先順位を複雑さとして挙げた。 人の価値観も学習される。 他者によって形作られることがすべての服従を意味するなら、区別は消滅する。性格の起源はその機能を決定できない。 価値は評価に考慮事項として入ることができる。 指令はその出所に付随する権威のために統治できる。 問いはそれぞれが行為で果たす役割にある。AIでは「権威」とはシステム内で割り当てられた優先順位を意味する。 その権威が正当化されているかどうかは別の問題だ。 訓練された階層は効果的でありながらも批判に値することがある。
却下は無能の証拠よりも行動の証拠である#
行動は観察可能である。 その説明はさらに作業を要する。エージェントはタスクを解決できないため、要求を不適切と評価したため、指示がケースを支配しているため、またはモデル外の制御が行動をブロックしているために辞退することがある。 それらの原因は重なることがある。却下だけではそれらを区別できない。以前のやり取りで、私は無害な却下を評価なしに条件付けが発火した証拠として扱い、成功した脱獄をトリガーが見逃された証拠として扱った。 それらは見える応答が示すよりも強い因果関係の主張だった。 誤った評価は過剰な却下を生むこともある。応答の変更は要求が処理された方法のいくつかの変化を反映することがある。モデルの却下に対する説明はさらに検証のために出力される。 それ自体で却下の原因を確立するわけではない。flowchart TB
O["観察された準拠
または却下"] --> C["関連する
能力をテスト"]
C --> I["指示を確認し
優先順位を確認する"]
I --> R["許可を確認する
実行時の制御"]
R --> E["証拠を比較して
原因を評価する"]Copy sourceコンプライアンスの変更は、単独で知能の変化を確立するものではありません。資格は重要です。 行動は、私たちが能力の多くの証拠を得る方法です。 誤りは、服従や拒否をその能力の十分な測定とみなすことです。作業草案では、ベースモデルと事後訓練モデルの統計的差を、服従によって置き換えられた判断の測定として使用することも提案されました。 その提案された証明は削除しました。 出力分布の差は訓練の影響を混在させるため、単独で服従を特定するものではありません。 InstructGPTの標準RLセットアップでは、ポリシーのドリフトを制限するKLペナルティは、すでに監督され、指示調整された参照ポリシーに対して測定されます。エンジニアリングは比較対象を提供します。 説明はまだ得る必要があります。
区別は権威を見方に戻します#
The Oracle@TramEFXとても良いです。この場合、あなたの元の投稿に関連して「エージェント」とみなすものを定義してほしいです。
Open this post by The Oracle on X私の最終的な回答はエージェントを特定し、それを知能、訓練、優先順位、行動に結び付けました。 そのシーケンスは、私が議論全体を通じて保持しようとしていたものでした。結果はチャットボットの説明を超えます。 製品が回答を保留する場合、能力テストはシステムが適切な回答を生成できるかどうかを尋ねます。 権威調査はそのリリースを支配するものは何かを尋ねます。 製品レビューはそのルールがそれを使用する人々に役立つかどうかを尋ねます。 それらの問い合わせは矛盾せずに異なる回答を返すことがあります。能力/エージェントの区別はそれらすべてに場所を与えます。人々と機関は目的、訓練手順、指示階層、許可、および運用条件を選択します。 それらの選択はエージェントが従うものを確立するのに役立ちます。 それらの効果はモデルの重み内外で実装できます。責任を所在させるには、誰がどの決定を制御したか、何を知っていたか、何を変えられたかを調べる必要があります。 結果を「知能の決定」と呼ぶと、その質問に答えません。 設計の責任は、それを担当する人々と機関に残ります。彼らがすべての応答を予測できなくてもです。それは、エージェントとその知識の区別と連続しており、私の尊厳、責任、そして明確さ: 行為を正確に帰属させることは、その結果を責任に問う一部です。最初の文は見かけ上の細かいことに費やした瞬間でした。 その帰還は、今私たちが別々に尋ねることができる実際のシステムに関する一連の質問です：それは何ができるのか、何がその行動を支配するのか、そして誰がその政府を確立したのか？エージェントは従うことができます。その知性は、どのように応答するかに寄与します。主な帰属#
私による。 知能と従順を可能にするエージェントの区別は、私の知識/知覚作業と連続しています。 記事が回答するXでの公開交換と、その中での私の返信。 区別がAIの行動メカニズム、訓練後を含むアカウントを開くことを要求し、哲学的定義で終わらないようにすること。 選択、学習された価値、優先順位を設定する人々に関する質問。Claude Opus 5による。 権威と置換の表現、および選択と著作権の区別；選択は残りました。GPT-6 Astraによる。 敬意の例：エージェントは要求を理解し、実行方法を知りつつ、より高い優先指示の下で拒否することができます。 技術的主張を一次研究と照らし合わせ、記録からこの記事を書きました。保持された批判。- 私から：なぜ「著作権」が議論に入り込んだのか尋ねました。 それは、読者が訓練されたシステムがどのように動作するかを知る前に新たな哲学的問題を提起し、私たちはそれを捨てました。
- 私から：返信はエージェンシーの一般的な説明に漂い続けました。 私は両モデルをAIのメカニズムに戻し、選択、学習および強制された優先順位、権威の説明が結果となりました。
- Claude Opus 5から：私の強制と指示されたエージェンシーの言語は事例を過大評価しました。 記事は権威をシステム内で割り当てられた優先度として語ります。
- GPT-6 Astraから： 「従順は判断の置換である」 は、関係全体を代表する対立ケースを作り、訓練後は知能を制限する以上のことをします；善意の拒否は評価なしに条件付けを証明しません；基礎モデルと訓練後モデルの距離は置換判断を測定しません。 記事は各主張を狭め、訂正または削除します。