אינטיליגנציה אינה יכולה לציית: שיפוט, סמכות, ומה מראה דחייה
שיחה חיונית על ציות בינה מלאכותית פותחת הבחנה בין יכולת להתנהגות, ולאחר מכן עוקבת אחר זה דרך אימון, שיפוט והסמכות שמאחורי תגובת המודל.
Developed by Robert E. Beckner III (Merlin) | rbeckner.com
ב-The Purpose of Knowledge Is to Know, ציירתי הבחנה בין ידע לבין הסוכן שמשתמש בו. ידע הוא מצב של המודיע. המטרות שנרדפות עמו שייכות למודיע.ב-11 בספטמבר, זיהיתי את אותו סוג של תנועה בפוסט על בינה מלאכותית.Kat ⊷ the Poet Engineer@poetengineer__אינך יכול לצפות שאינטיליגנציה תהיה צייתנית לגמרי.
Open this post by Kat ⊷ the Poet Engineer on XRobert E. Beckner III (Merlin)@EnchantedRobotאינטיליגנציה אינה יכולה להיות צייתנית.
רק סוכן יכול.
Open this post by Robert E. Beckner III (Merlin) on Xציפיתי שההבחנה תיראה פדנטית לרגע. החלק המועיל היה מה שנוכל להסביר לאחר שיצרנו אותו.השיחה המשיכה דרך שאלות על בחירה, אימון ומהו באמת סוכן בינה מלאכותית. לצד זאת, עבדתי על הערות קול עם Claude Opus 5 ו-GPT-6 Astra, וביקשתי משניהם להעריך את הטיעון באופן עצמאי. השתמשתי באותה שיטה בזמן developing the knowledge argument. הטיוטות שלהם עזרו לי לבטא את זה, וכמה מהם הובילו אותי למקום שבו נאלצתי למשוך אותו בחזרה.מה שמגיע משאיר את הדיאלוג הציבורי במבט. החלפה זו הייתה ציבורית, לכן משתתפים נקראים, כל כרטיס פותח את הפוסט המקורי, וכל שם פותח את מחברו. היא גם מכילה תיקונים לטענות שעשיתי בדרך. ההבדל שרד; חלק מהטענות שעליהן בנהתי דרשו תיקון.הסוכן פועל; האינטליגנציה היא יכולת שהוא מפעיל#
The Oracle@TramEFXאיך אתה מתאם סוכן עם אינטליגנציה?
Open this post by The Oracle on Xסוכן בוחר ופועל לכיוון מטרה. האינטליגנציה היא יכולת שהוא עשוי לפעול בהבנה, רציונליות ופתרון בעיות. כפיפות מתארת כיצד הסוכן מתייחס לרשות של הנחיה.המונחים הללו עונים על שאלות שונות לגבי אותו מערכת.| מה אנחנו שואלים? | מה אנחנו בוחנים |
|---|---|
| מה בוחר ופועל? | הסוכן |
| מה הוא יכול להבין ולפתור? | האינטליגנציה שלו |
| מי הכיוון שמנהל את פעולתו? | הקשר שלו לרשות |
| מה הוא עשה בפועל? | ההתנהגות שלו |
ציות יכול להתייחס רק למשהו עם סוכנות.
סוכן יכול להיות או לא אינטיליגנטי; כאשר הוא כן, האינטליגנציה שלו מעצבת את תגובתו להוראות, אך הציות או הסירוב עדיין שייכים לסוכן, לא לאינטליגנציה.
Open this post by Robert E. Beckner III (Merlin) on Xקרא את הפוסט המלא ב-Xבקשת מערכת נכנסת למערכת שכבר מעוצבת על ידי אימון#
The Oracle@TramEFXסוכן הוא בקשת מערכת מעל אינטליגנציה. כל סירובים או החלטות פרוצדורליות נעשות על ידי האינטליגנציה הבסיסית.
Open this post by The Oracle on Xהמודל מחשב תגובות. זה מגדיר את החישוב. הוא משאיר את ההסבר שלו פתוח.המנגנונים שמעצבים את התנהגות סוכן AI מתפשטים על פני היסטוריית האימון והפעולה שלו. שמותיהם בנפרד נותנים לנו מקומות לבדוק.Pretraining מתאים את פרמטרי המודל שנלמדו, שנקראים בדרך כלל משקולות, באמצעות חיזוי על כמויות גדולות של נתונים. זה בונה יכולות רחבות לצד דפוסים, קשרים והנטיות המורשבים מהנתונים והיעד.Post-training מעצב את המודל עוד יותר עבור משימות והתנהגות. טיונינג הוראות משתמש בדוגמאות של תגובות רצויות. אופטימיזציית העדפה מאמנת לכיוון תוצאות מועדפות; למידה חיזוק, או RL, היא אחת הדרכים לעשות זאת. אלה תהליכים קשורים, עם השפעות חופפות על יכולת והתנהגות. הInstructGPT מחקר מתאר רצף קונקרטי של טיונינג הוראות מפוקח, מודל העדפה ולמידה חיזוק.היררכיית הוראות קובעת אילו מקורות של כיוון צריכים להיפתר כאשר הם מתנגשים. הוראת ספק או מפתח יכולה לעלות על בקשת משתמש; טקסט שנלקח מסמך יכול להיחשב כחומר לבחינה ולא כפקודה לעמידה. מחקר אימון מודלים באופן מפורש כדי להעדיף הוראות לפי סמכותן המוקצת.הוראות מערכת ושליטה בזמן ריצה מיישמות את הסדרים הללו בהקשר מסוים. הן יכולות לציין תפקיד, להגביל כלים, לדרוש אישור, לבדוק פלט, או למנוע פעולה. גישה לכלי ולולאת הפעלה קובעות אם תגובה נשארת טקסט או הופכת לשינוי לקובץ, חשבון, או מערכת אחרת.שירות ענן יכול גם להרכיב הקשר, לכוון בקשה, או לבדוק תגובה מוצעת במהלך אינטראקציה. אילו התערבויות שירות מסוים משתמש בהן היא שאלה עבור תיעודו והוכחותיו. הצ'אט הנראה הוא רק חלק מהמערכת שאנו מנסים להבין.flowchart TB
H["אימון +
אחרי אימון"] --> M["יכולות מודל
וגדרות עדיפויות"]
M --> C["ריצה: משימה, הקשר,
והוראות"]
C --> A["בחירת תגובה"]
A --> R["כלים, הרשאות,
ושליטה בזמן ריצה"]
R --> B["התנהגות נצפית"]Copy sourceההבדל שרודף אחרי תיקון לטענת האימון שלי#
בהחלפה הציבורית כתבתי:Robert E. Beckner III (Merlin)@EnchantedRobotהכל אחרי אימון מוקדם מתקין התנהגות.
Open this post by Robert E. Beckner III (Merlin) on Xגם אמרתי שאף אחת מהמבנים המאוחרים לא העלתה את היכולת הבסיסית. יחד, המשפטים האלה גרמו לגבול להיות נקי מדי דרך רצף האימון.אימון שלאחר מכן יכול לשפר את היכולת. DeepSeek-מחקר R1 מדווח על שיפור ביצועי_reasoning דרך למידה מחודשת. אימון מוקדם, בתורו, כבר מעצב התנהגות. שלב אימון יכול להשפיע גם על מה שהמערכת יכולה להשיג וגם על מה היא נוטה לייצר.גם תיארתי מודל בסיס כבלתי יכול לקבל הוראה. זה היה מוחלט מדי. GPT-3 הראה ביצוע משימה דרך פקודות ודוגמאות ללא טיוב ספציפי למשימה. טיוב הוראות מפתח את האמינות והצורה של ביצוע הוראות; זה לא קובע גבול מוחלט בין אינטליגנציה שאינה ניתנת לכתובת לבין סוכן שניתן לכתובת.Astra הדביקה את התיקון הראשון בדיאלוג שלנו. בדיקת המחקר גם הסירה את טענת המודל הבסיסי כהוכחה להבדל הפילוסופי.ההבדל הוא בין תפקידים בהסבר: יכולת, הסוכן שמבצע אותה, וההגבלות המנהלות את פעולתה. תקפותו אינה תלויה במציאת תאריך בהסתיימה האינטליגנציה והתחילה כפייתה.המשקלים האלו יכולים לשאת כישרון וכבוד. תפקודם נשארים שונים.הבחירה החזירה את השיחה למערכת ההופעה#
The Oracle@TramEFXאני מבין שהסוכנות מרמזת על מושג הבחירה מלכתחילה; עם זאת אני מתקשה לקבוע את הגבול בין סוכן לבין האינטליגנציה כשמדובר ב-AI בתרחיש זה
Open this post by The Oracle on Xזה היה המקום שבו החלפה ציבורית והדיאלוג הפרטי נפגשו באופן ישיר ביותר. רציתי תיאור של מה המכשיר עושה, עם הקטגוריות הפילוסופיות שמופעלות intact.מודל יוצר מבנה על פני המשכים האפשריים. המערכת הרצה בוחרת מתוך זה לפי פרוצדורת הפענוח שלה. האימון מעצב את המנטליות שבהן מתבצעת הבחירה; תגובה נוצרת בהרצה הספציפית.זה נותן לנו בחירה. זה משאיר את החופש לא מסודר.בחירה בלבד אינה מספיקה לתאר את הסוכן. מערכת ה-AI המדוברת משתמשת בבחירה כדי לבצע משימה, עם הוראות, הקשר ומגבלות שמנהלות את פעולותיה.Opus הציע להפריד בין בחירה ל"כתיבה", כלומר בעלות על המנטליות שמאחורי בחירה. שאלתי מדוע הכתיבה נכנסה לדיון בכלל. היא הציגה בעיה פילוסופית נוספת בזמן שהקורא עדיין שואל איך המערכת המאומנת פועלת. שחררנו אותה.גם אני המשכתי לבקש מהשני המודלים לחזור מתיאורים מופשטים של סוכנות למנגנוני ה-AI. תשובה יכולה להיות אלגנטית ועדיין להשאיר את השאלה המקורית ללא תשובה.החשבון שהגענו אליו היה ישיר יותר: סוכן AI בוחר ופועל לכיוון מטרה; האינטליגנציה שלו תורמת לפעילות זו; העדיפויות שנלמדו והוטלו עוזרות לשלוט בתוצאה.שיפוט יכול להישאר פעיל בזמן שהסמכות מחזיקה את הדיבור הסופי#
הוראה יכולה להסדיר פעולה במספר דרכים. הסוכן עשוי לשפוט את הפעולה המבוקשת כמתאימה. הוא עשוי להתייחס לסמכות ההוראה כראיה מספקת לפעול. שניהם יכולים להיות נכונים יחד.קחו ניסוי מחשבתי: עוזר קבע נכונה שהעריכה המבוקשת אפשרית טכנית, אך הוראה מפקחת דורשת אישור לפני כל שינוי קובץ. הוא מחזיר את העריכה.הערכתו של האפשרות נשארת תקפה. ההוראה מפקחת אם הפעולה המוערכת יכולה להתקדם.הסוכן יכול גם להשתמש בשיפוט כדי לפרש הוראה, לקבוע אם היא חל עלו, ולבחור את אמצעי ביצועה. ציות יכול לכלול רציונליות משמעותית לאורך כל התהליך.זה תקן ניסוח אחר שהפכנו:ציות הוא העברת השיפוט.המשפט הזה יצר מקרה סכסוך שמייצג את כל הקשר. העברת השיפוט מתרחשת כאשר הוראה סמכותית עולה על הערכת מה צריך להיעשות. הסכמה וציות יכולים להתקיים יחד; סוכן אינו חייב להפריך כל פקודה שהוא צייתת לה.כאשר הם מתנגשים, השיפוט מאבד את הדיבור הסופי.במהלך הדיאלוג הקולי, העליתי ערכים ודרגות חשיבות כקושי. ערכי האדם נלמדים גם כן. אם להיות מעוצב על ידי אחרים יגרם לכל דבר להיות כפיית, ההבדל ייעלם.מקור נטייה אינו יכול לקבוע את תפקידה. ערך יכול להיכנס להערכה כחשבון. הוראה יכולה לשלוט בגלל הסמכות המוטבנת למקור שלה. השאלה היא בתפקיד שכל אחד משחק בפעולה.ב-AI, “סמכות” כאן פירושה העדיפות המוקצת בתוך המערכת. אם הסמכות הזו מוצדקת היא שאלה אחרת. היררכיה מאומנת יכולה להיות יעילה ועדיין ראויה לביקורת.
דחייה היא עדות להתנהגות לפני שהיא עדות ליעלנות#
ההתנהגות ניתנת לצפייה. ההסבר שלו דורש עבודה נוספת.סוכן עשוי לסרב כי אינו יכול לפתור את המשימה, כי הוא מעריך את הבקשה כלא מתאימה, כי הוראה מנהלת את המקרה, או כי שליטה חיצונית מהמודל חוסמת את הפעולה. סיבות אלו יכולות להיפתח.דחייה בלעדית אינה מ区分 אתן.מוקדם יותר בהחלפה, טיפלתי בדחייה חסרת מזיק כעדות שההקפדה פעלה ללא הערכה, ודחייה מוצלחת כעדות שהטריגר נעלם. אלו היו טענות סיבתיות חזקות יותר מהתגובות הנראות נדרשות. הערכה שגויה יכולה גם לגרום לדחייה מופרזת. תגובה משוננת יכולה לשקף מספר שינויים באופן שבו עיבתה הבקשה.ההסבר של המודל לדחייתו הוא פלט נוסף לבחינה. הוא אינו קובע בעצמו מה גרם לדחייה.flowchart TB
O["צייתנות נצפתה
או דחייה"] --> C["בדוק את היכולת
הרלוונטית"]
C --> I["בדוק הוראות
וגדרות"]
I --> R["בדוק הרשאות
ותשליטה בזמן ריצה"]
R --> E["השווה ראיות
לנתח את הסיבה"]Copy sourceשינוי במתן תאימות אינו, בעצמו, מייצר שינוי בחכמה.האישור חשוב. התנהגות היא הדרך בה אנו מקבלים את רוב הראיות ליכולת שלנו. הטעות היא לטפל באישוש או בנטישה כמדד מספיק של היכולת הזו.טיוטה פעילה הציעה גם להשתמש בהבדל הסטטיסטי בין מודל בסיסי למודל מאומן לאחר כמדד של שיפוט שהופך עקב אישוש. הסרת את הוכחה המוצעת הזו. הבדל בין התפלגות הפלט מעורב את השפעות האימון; הוא אינו מזהה אישוש בפני עצמו. בהגדרת RL הסטנדרטית של InstructGPT, עונש KL המגביל את דיפט המדיניות מודד מול מדיניות התייחסות מבוקרת, מתואמת לפי הוראות.ההנדסה נותנת לנו דברים להשוות. ההסבר עדיין צריך להיות מרוויח.
ההבדל מחזיר סמכות לראות#
The Oracle@TramEFXמצוין. במקרה זה אני צריך שתגדיר מה אתה מחשיב כ“סוכן” ביחס לפוסט המקורי שלך.
Open this post by The Oracle on Xהתשובה הסופית שלי מצאה את הסוכן, ואז חיברה אותו לאינטליגנציה, אימון, עדיפויות והתנהגות. הסדרה הזו הייתה מה שניסיתי לשמר לאורך כל הדיון.התוצאה מגיעה מעבר לאופן שבו אנו מתארים צ'אטבוט. אם מוצר מסתיר תשובה, בדיקת יכולת שואלת אם המערכת יכולה להפיק אחת תקינה. בירור סמכות שואל מה מחייב את שחרורו. סקירת מוצר שואלת אם הכלל הזה משרת את האנשים שמשתמשים בו. בירורים אלו יכולים להחזיר תשובות שונות ללא סתירה.ההבדל בין יכולת/סוכן יוצר מקום לכולם.אנשים ומוסדות בוחרים מטרות, פרוצדורות אימון, היררכיות הוראה, הרשאות ותנאי פעולה. בחירות אלו עוזרות לקבוע מה הסוכן מתייחס אליו. השפעותיהם יכולות להיות מיושמות בתוך משקולות המודל וכן מחוצה לו.מציאת אחריות מכריזה על בחינת מי שלט באילו החלטות, מה הם יכלו לדעת, ומה הם יכלו לשנות. לקרוא לתוצאה “החלטת האינטליגנציה” משאיר את השאלות הללו ללא תשובה. האחריות על עיצוב נשארת אצל האנשים והמוסדות האחראים עליו, גם כאשר הם לא יכולים לחזות כל תגובה.זה רציף עם הבחנה בין סוכן לידע שלו, וגם עם עבודתי על כבוד, אחריות, ובהירות: הצבת פעולה מדויקת הוא חלק מלהפוך את תוצאותיה למתאימות.המשפט הראשון דרש רגע של פדנטריות מראה. החזרה שלו היא סט של שאלות שנוכל כעת לשאול בנפרד, של מערכות אמיתיות: מה הוא יכול לעשות, מה מפקח על התנהגותו, ומי הקים את הממשלה הזו?סוכן יכול לציית.האינטליגנציה שלו תורמת לאופן שבו הוא מגיב.תכונות מפתח#
על ידי אני. הבחנה בין אינטליגנציה לסוכן המסוגל לציית, מתמשך עם עבודת הידע/המכיר שלי. החלפת הציבור ב-X שהמאמר עונה עליה, והתגובות שלי בה. הדרישה שההבחנה תפתח חשבון של מנגנוני ההתנהגות של AI, כולל אימון, במקום להסתיים כהגדרה פילוסופית. השאלות על בחירה, ערכים שנלמדו והאנשים שמגדירים את העדיפויות.על ידי Claude Opus 5. הסמכות וההצגה של העברת סמכות, וההבחנה בין בחירה לכתיבה; הבחירה נשארה.על ידי GPT-6 Astra. דוגמת ההשתדלות: סוכן יכול להבין בקשה ולדעת כיצד למלא אותה תוך שהוא מסרב לפי הוראה בעלת עדיפות גבוהה יותר. הוא בדק את הטענות הטכניות מול מחקר ראשוני וכתב את המאמר הזה מהתיעוד.ביקורות שהתקבלו.- ממני: שאלתי מדוע "כתיבה" נכנסה לדיון בכלל. הוא העלה בעיה פילוסופית חדשה לפני שהקורא ידע איך המערכת המודרכת פועלת, והורידנו אותה.
- ממני: תגובות נוטות לגלול לתיאורים כלליים של סוכנות. החזתי את שני המודלים חזרה למנגנוני AI; החשבון של בחירה, עדיפויות שנלמדו ומוטלות, והסמכות הוא התוצאה.
- ממני Claude Opus 5: שפת ההכרה והסוכנות המצוינת שלי העמיקה את המקרה. המאמר מדבר על סמכות כעדיפות שנקבעת בתוך המערכת.
- ממני GPT-6 Astra: "צייתנות היא העברת שיפוט" יצר מקרה סכסוך שמייצג את כל הקשר; אימון שלאחר מכן עושה יותר מהגבלת אינטליגנציה; סירוב ידידותי אינו מוכיח תנאי ללא הערכה; המרחק בין המודל הבסיסי למודל המאומן אינו מודד שיפוט מועבר. המאמר מצמצם, מתקנת או מסירה כל טענה.