الذكاء لا يمكن أن يطيع: الحكم، السلطة، وما يُظهره الرفض
تبادل مباشر حول خضوع الذكاء الاصطناعي يفتح تمييزًا بين القدرة والسلوك، ثم يتبعه عبر التدريب، الحكم، والسلطة وراء استجابة النموذج.
Developed by Robert E. Beckner III (Merlin) | rbeckner.com
في الغرض من المعرفة هو المعرفة، رسمت تمييزًا بين المعرفة والوكيل الذي يستخدمها. المعرفة هي حالة المعلّم. الأهداف التي تُلاحَذ بها تنتمي إلى المعلّم.في 11 سبتمبر، أدركت نفس نوع الحركة في منشور عن الذكاء الاصطناعي.Kat ⊷ the Poet Engineer@poetengineer__لا يمكنك أن تتوقع أي ذكاء أن يكون خاضعًا تمامًا.
Open this post by Kat ⊷ the Poet Engineer on XRobert E. Beckner III (Merlin)@EnchantedRobotالذكاء لا يمكن أن يكون خاضعًا.
فقط الوكيل يمكنه.
Open this post by Robert E. Beckner III (Merlin) on Xتوقعت أن يبدو التمييز متعجرفًا للحظة. الجزء المفيد سيكون ما يمكننا شرحه بعد إجرائه.استمر التبادل عبر أسئلة حول الاختيار، التدريب، وما هو الوكيل الذكاء الاصطناعي فعليًا. إلى جانب ذلك، عملت على ملاحظات صوتية مع Claude Opus 5 وGPT-6 Astra، مطالبة كلاهما بتقييم الحجة بشكل مستقل. كنت قد استخدمت نفس الممارسة أثناء تطوير حجة المعرفة. ساعدت مسوداتهم على صياغة هذا، وقد أخذت بعضها إلى مكان اضطررت لسحبه من.ما يلي يحافظ على حوار الجمهور في الواجهة. كان التبادل علنيًا، لذا تم تسمية المشاركين، كل بطاقة تفتح المنشور الأصلي، وكل اسم يفتح مؤلفه. كما يحمل تصحيحات للادعاءات التي قدمتها على طول الطريق. استمرت الفروق؛ بعض الادعاءات التي بنيت عليها احتاجت إلى تعديل.يتصرف الوكيل؛ الذكاء هو قدرة يمارسها#
The Oracle@TramEFXكيف تتوفيق الوكيل مع الذكاء؟
Open this post by The Oracle on Xيختار الوكيل ويتصرف نحو هدف. الذكاء هو قدرة قد يمارسها في الفهم، والتفكير، وحل المشكلات. الطاعة تصف كيف يعامل الوكيل سلطة التوجيه.هذه المصطلحات تجيب على أسئلة مختلفة حول نفس النظام.| ما الذي نسأله؟ | ما نتحقّق منه |
|---|---|
| ما يختار ويتصرف؟ | الوكيل |
| ما يمكنه فهمه وحله؟ | ذكاؤه |
| من يوجه حركته؟ | علاقته بالسلطة |
| ما فعله فعليًا؟ | سلوكه |
لا يمكن للطاعة أن ترتبط إلا بشيء له وكالة.
قد يكون الوكيل ذكيًا أو لا؛ عندما يكون كذلك، يشكل ذكاؤه كيفية استجابته للتوجيهات، لكن الطاعة أو الرفض لا تزال تنتمي إلى الوكيل، وليس إلى الذكاء.
Open this post by Robert E. Beckner III (Merlin) on XRead the full post on Xيدخل موجه النظام إلى نظام قد تم تشكيله بالفعل بالتدريب#
The Oracle@TramEFXالوكيل هو موجه نظام فوق الذكاء. جميع الرفض أو القرارات الإجرائية يتم اتخاذها بواسطة الذكاء الأساسي.
Open this post by The Oracle on Xالنموذج يحسب الردود. هذا يحدد الحساب. يترك شرحًا مفتوحًا.الآليات التي تشكل سلوك وكيل الذكاء الاصطناعي تمتد عبر تاريخ تدريبه وعمليته. تسميتها بشكل منفصل يمنحنا أماكن للبحث.التدريب المسبق يضبط معلمات النموذج المتعلمة، عادةً ما يُسمى أوزانه، عبر التنبؤ على كميات كبيرة من البيانات. هذا يبني قدرات واسعة إلى جانب الأنماط، والارتباطات، والميلّات الموروثة من البيانات والهدف.التدريب بعدي يشكل النموذج أكثر للمهام والسلوك. ضبط التعليمات يستخدم أمثلة للردود المرغوبة. تدريب التفضيل يتجه نحو النتائج المفضلة؛ التعلم التعزيزي، أو RL، هو أحد طرق القيام بذلك. هذه عمليات ذات صلة، مع تأثيرات متداخلة على الكفاءة والسلوك. يصف InstructGPT البحث تسلسلًا ملموسًا لتعديل التعليمات المراقب، ونمذجة التفضيل، والتعلم التعزيزي.الترتيب الهرمي للتعليمات يحدد أي مصادر التوجيه يجب أن تسود عندما تتعارض. يمكن لتعليمات المزود أو المطور أن تتفوق على طلب المستخدم؛ يمكن اعتبار النص المستخرج من وثيقة كمواد للتحليل بدلاً من أمر للامتثال. تم تدريب النماذج صراحةً على تفضيل التعليمات وفقًا للسلطة المخصصة لها.التعليمات النظامية وأوامر التشغيل تطبق تلك الترتيبات في إعداد محدد. يمكن أن تحدد دورًا، تقيد الأدوات، تتطلب تأكيدًا، تتحقق من المخرجات، أو تمنع إجراءً. يحدد وصول الأداة وحلقة التشغيل ما إذا كان الرد سيبقى نصًا أم يصبح تغييرًا لملف، حساب، أو نظام آخر.يمكن لخدمة سحابية أيضًا تجميع السياق، توجيه الطلب، أو فحص رد مقترح أثناء التفاعل. أي تدخلات تستخدمها خدمة معينة هو سؤال للوثائق والأدلة الخاصة بها. الدردشة المرئية هي فقط جزء من النظام الذي نحاول فهمه.flowchart TB
H["التدريب +
ما بعد التدريب"] --> M["قدرات النموذج
وأولويات"]
M --> C["تشغيل: مهمة، سياق،
وتعليمات"]
C --> A["اختيار الرد"]
A --> R["أدوات، أذونات،
وأوامر التشغيل"]
R --> B["السلوك القابل للملاحظة"]Copy sourceيبقى التمييز على قيد الحياة بعد تصحيح ادعاء تدريبي#
في التبادل العام كتبت:Robert E. Beckner III (Merlin)@EnchantedRobotكل شيء بعد التدريب المسبق يثبت السلوك.
Open this post by Robert E. Beckner III (Merlin) on Xكما قلت أيضًا أن أيًا من تلك الهياكل اللاحقة لم يرفع القدرة الأساسية. معًا، رسمت تلك الجمل الحدود بشكلٍ نظيف جدًا عبر تسلسل التدريب.ما بعد التدريب يمكن أن يحسن القدرة. DeepSeek-R1’s research تقارير أداء التفكير المحسن من خلال التعلم التعزيزي. التدريب المسبق، بدوره، يشكل السلوك بالفعل. مرحلة التدريب يمكن أن تؤثر على ما يمكن للنظام إنجازه وما هو مستعد لإنتاجه.كنت قد وصفت أيضًا نموذجًا أساسيًا بأنه غير قادر على تلقي تعليمات. كان ذلك مطلقًا جدًا. GPT-3 demonstrated task performance through prompts and examples without task-specific fine-tuning. تطوير ضبط التعليمات يطور الموثوقية وشكل اتباع التعليمات؛ لا يحدد حدًا مطلقًا بين ذكاء غير قابل للتعامل معه ووكيل قابل للتعامل معه.ضغطت Astra على أول تصحيح في حوارنا. التحقق من البحث أيضًا أزال ادعاء النموذج الأساسي كدليل على التمييز الفلسفي.التمييز هو بين الأدوار في التفسير: القدرة، الوكيل الذي يمارسها، والظروف التي تحكم عملها. لا تعتمد صلاحيتها على إيجاد تاريخ في التدريب عندما انتهى الذكاء وبدأت الطاعة.يمكن للوزن نفسه أن يحمل الكفاءة والاحترام. وظائفهم تبقى مميزة.أعاد الاختيار المحادثة إلى نظام التمثيل#
The Oracle@TramEFXأفهم أن الوكالة تعني مفهوم الاختيار من البداية؛ ومع ذلك أجد صعوبة في رسم الخط بين الوكيل والذكاء عندما يتعلق الأمر بالذكاء الاصطناعي في هذا السيناريو
Open this post by The Oracle on Xكان هذا هو المكان الذي تلتقي فيه التبادلات العامة والحوار الخاص مباشرةً. أردت حسابًا لما يفعله الجهاز، مع الحفاظ على الفئات الفلسفية intact.ينتج نموذج توليدي توزيعًا على الاستمراريات المحتملة. يختار النظام الجاري منه وفقًا لإجراء التشفير الخاص به. يشكل التدريب الميلان الذي يحدث فيه ذلك الاختيار؛ يتم إنتاج رد في التشغيل المحدد.هذا يمنحنا الاختيار. يترك الحرية غير مستقرة.الاختيار وحده غير كافٍ لوصف الوكيل. يستخدم نظام الذكاء الاصطناعي المناقش الاختيار لمتابعة مهمة، مع تعليمات وسياق وحدود تحكم في أفعاله.اقترح Opus فصل الاختيار عن “الملكية"، أي ملكية التوجهات وراء الاختيار. سألت لماذا دخلت الملكية في الحجة على الإطلاق. أدخلت مشكلة فلسفية إضافية بينما كان القارئ لا يزال يسأل كيف يتصرف النظام المدرب. أزلنا ذلك.كما استمريت في طلب كلا النموذجين للعودة من الأوصاف المجردة للوكالة إلى آليات الذكاء الاصطناعي. يمكن أن يكون الرد أنيقًا وما زال يترك السؤال الأصلي غير مُجابٍ.الحساب الذي وصلنا إليه كان أكثر مباشرة: وكيل ذكاء اصطناعي يختار ويتصرف نحو هدف؛ يساهم ذكاؤه في تلك النشاط؛ تساعد أولوياته المتعلمة والمطبقة على حوكمة النتيجة.يمكن أن يبقى الحكم نشطًا بينما لدى السلطة القول النهائي#
يمكن لتعليمات أن تُنهي الفعل بطرق عدة. قد يحكم الوكيل الفعل المطلوب على أنه مناسب. قد يعامل سلطة التعليمات كسبب كافٍ للقيام بالعمل. يمكن أن يكون كلاهما صحيحًا معًا.فكر في تجربة فكرية: أُثبت المساعد بشكل صحيح أن التعديل المطلوب ممكن تقنيًا، لكن تعليمات حاكمة تتطلب موافقة قبل تغيير أي ملف. يوقف التعديل.يبقى تقييمه للقدرة على التنفيذ سليمًا. تحكم التعليمات ما إذا كان الفعل المُقَيَّم يمكن أن يتقدم.يمكن للوكيل أيضًا استخدام الحكم لتفسير توجيه، وتحديد ما إذا كان ينطبق، واختيار وسائل تنفيذه. قد تتضمن الطاعة تفكيرًا كبيرًا طوال الوقت.صحح هذا صياغة أخرى طورناها:الطاعة هي إزاحة الحكم.جعل هذا الجملة حالة صراع تمثل العلاقة بأكملها. تحدث الإزاحة عندما يتفوق توجيه أكثر سلطة على تقييم ما يجب فعله. يمكن أن يتعايش الاتفاق والطاعة؛ لا يحتاج الوكيل إلى أن يختلف مع كل أمر يطيعه.عندما يتعارضان، يفقد الحكم القول النهائي.خلال حوار الصوت، رفعت القيم والأولويات كمضاعف للتعقيد. تُتعلم قيم الشخص أيضًا. إذا كان التشكيل من قبل الآخرين يجعل كل شيء خضوعًا، فإن التمييز سيتلاشى.أصل التوجه لا يمكن أن يحدد وظيفته. يمكن أن يدخل قيمة في التقييم كاعتبار. يمكن أن تحكم توجيه بسبب السلطة المرفقة بمصدره. الاستفسار هو عن دور كل منها في الفعل.في الذكاء الاصطناعي، “السلطة” هنا تعني الأولوية المخصصة داخل النظام. ما إذا كانت تلك السلطة مبررة هو سؤال آخر. يمكن أن تكون التسلسل الهرمي المدرب فعالًا وما زال يستحق النقد.
إن الرفض هو دليل على السلوك قبل أن يكون دليلًا على العجز#
السلوك قابل للملاحظة. شرحها يتطلب مزيدًا من العمل.قد يرفض الوكيل لأنه لا يستطيع حل المهمة، أو لأنه يقيّم الطلب غير مناسب، أو لأن تعليمات تحكم الحالة، أو لأن تحكمًا خارجيًا خارج النموذج يمنع الفعل. يمكن أن تتداخل هذه الأسباب.الرفض وحده لا يميز بينها.في وقت سابق من التبادل، اعتبرت رفضًا بريئًا دليلًا على أن التكييف قد نشط دون تقييم، واعتبرت هروبًا ناجحًا دليلًا على أن محفزًا قد فُقد. كانت تلك ادعاءات سببية أقوى من ما تستدعيه الردود المرئية. يمكن أن ينتج تقييم خاطئ أيضًا رفضًا مفرطًا. قد يعكس رد متغير عدة تغييرات في كيفية معالجة الطلب.شرح النموذج لرفضه هو إخراج إضافي للتحليل. لا يثبت ذلك بمفرده ما سبب الرفض.flowchart TB
O["الامتثال الملحوظ
أو الرفض"] --> C["اختبار القدرة ذات
الصلة"]
C --> I["فحص التعليمات
والأولويات"]
I --> R["فحص الأذونات
والتحكمات وقت التشغيل"]
R --> E["قارن الأدلة
لتقييم السبب"]Copy sourceالتغيير في الامتثال لا يثبت، بمفرده، تغييرًا في الذكاء.المؤهلات مهمة. السلوك هو الطريقة التي نحصل بها على معظم أدلة قدرتنا. الخطأ هو اعتبار الطاعة أو الرفض كمعيار كافٍ لتلك القدرة.اقترح مسودة عمل أيضًا استخدام الفرق الإحصائي بين نموذج أساسي ومُدرّب لاحقًا كمقياس للحكم الذي يُبدل بالطاعة. أزلنا ذلك الدليل المقترح. يخلط الفرق بين توزيعات الإخراج تأثيرات التدريب؛ لا يحدد الطاعة بمفردها. في إعداد RL القياسي لـInstructGPT، يُقاس عقوبة KL التي تحد من انحراف السياسة مقابل سياسة مرجعية مُشرفة ومُحسّنة بالتعليمات مسبقًا.الهندسة تعطينا أشياء للمقارنة. لا يزال الشرح يجب أن يُكسب.
يُعيد التمييز السلطة للعرض#
The Oracle@TramEFXجيد جدًا. في هذه الحالة أحتاجك إلى تعريف ما تعتبره "وكيلًا" بالنسبة لمنشورك الأصلي.
Open this post by The Oracle on Xأجوبتي النهائية حددت الوكيل، ثم ربطته بالذكاء، والتدريب، والأولويات، والسلوك. كان ذلك التسلسل ما كنت أحاول الحفاظ عليه طوال المناقشة.النتيجة تتجاوز كيف نصف روبوت الدردشة. إذا أوقف منتج إجابة، يطلب اختبار القدرة ما إذا كان النظام يمكنه إنتاج إجابة صالحة. تساؤل السلطة يسأل ما الذي يحكم إطلاقه. مراجعة المنتج تسأل ما إذا كان ذلك القاعدة تخدم الناس الذين يستخدمونها. يمكن أن تعيد هذه الاستفسارات إجابات مختلفة دون تناقض.يخلق التمييز بين القدرة/الوكيل مساحة للجميع.يختار الناس والمؤسسات الأهداف، وإجراءات التدريب، وهياكل التعليمات، والأذونات، وظروف التشغيل. تساعد هذه الاختيارات على تحديد ما يتخلى عنه الوكيل. يمكن تنفيذ تأثيراتها داخل أوزان النموذج وكذلك خارجه.لذلك يستدعي تحديد المسؤولية فحص من سيطر على أي قرارات، وما كان بإمكانهم معرفته، وما كان بإمكانهم تغييره. تسمية النتيجة بـ "قرار الذكاء" يترك تلك الأسئلة غير مُجابَة. تبقى مسؤولية التصميم مع الأشخاص والمؤسسات المسؤولين عنها، حتى عندما لا يستطيعون التنبؤ بكل ردّ.هذا مستمر مع التمييز بين الوكيل ومعرفته، ومع عملي على الكرامة، المسؤولية، والوضوح: يُعزى الفعل بدقة هو جزء من جعل عواقبه قابلة للمحاسبة.الجملة الأولى تكلف لحظة من البيدانتية الظاهرة. عودته هي مجموعة من الأسئلة التي يمكننا الآن طرحها بشكل منفصل، على الأنظمة الفعلية: ما الذي يمكنه فعله، ما الذي يحكم سلوكه، ومن وضع ذلك الحكم؟يمكن للوكيل أن يطيع.يساهم ذكاؤه في كيفية استجابته.الخصائص الرئيسية#
بواسطة أنا. التمييز بين الذكاء والوكيل القادر على الطاعة، مستمر مع عملي المعرفي/المعرفة. التبادل العام على X الذي يجيب عليه المقال، وردودي فيه. المتطلب أن يفتح التمييز حسابًا لآليات سلوك الذكاء الاصطناعي، بما في ذلك ما بعد التدريب، بدلاً من أن ينتهي كتعريف فلسفي. الأسئلة حول الاختيار، القيم المكتسبة، والأشخاص الذين يحددون الأولويات.بواسطة Claude Opus 5. الصياغات السلطوية والبديلة، والتمييز بين الاختيار والملكية؛ ظل الاختيار.بواسطة GPT-6 Astra. مثال التقدير: يمكن للوكيل فهم الطلب ومعرفة كيفية تنفيذه مع الرفض تحت تعليمات ذات أولوية أعلى. فحص المطالب التقنية مقابل البحث الأساسي وصاغ هذا المقال من السجل.الانتقادات التي تمّ الاحتفاظ بها.- من جانبي: سألت لماذا دخلت “الملكية” في الحجة على الإطلاق. أثارت مشكلة فلسفية جديدة قبل أن يعرف القارئ كيف يتصرف النظام المدرب، وتخلينا عنها.
- من جانبي: استمرت الردود في الانحراف إلى حسابات عامة للوكالة. أعدت كلا النموذجين إلى آليات الذكاء الاصطناعي؛ حساب الاختيار، الأولويات المكتسبة والمفرض عليها، والسلطة هو النتيجة.
- من Claude Opus 5: لغتي للضغط والوكالة الموجهة أضفت قيمة الحالة. يتحدث المقال عن السلطة كالأسبقية المخصصة داخل النظام.
- من GPT-6 Astra: “الطاعة هي تحريك الحكم” جعل حالة الصراع تمثل العلاقة بأكملها؛ ما بعد التدريب يفعل أكثر من تقييد الذكاء؛ الرفض الطيب لا يثبت التكييف بدون تقييم؛ المسافة بين النموذج الأساسي وما بعد التدريب لا تقيس الحكم المتحرك. يضيق المقال، يصحح أو يزيل كل ادعاء.