در چند روز اخیر، تیتر «کلید خاموش برای هوش مصنوعی» توجه زیادی به خود جلب کرده است. اما تمرکز بر Kill Switch ممکن است بخش مهمتر این تحول را پنهان کند: دولتها و نهادهای تنظیمگر در حال عبور از مرحلهای هستند که حکمرانی هوش مصنوعی عمدتاً به تدوین قانون، انتشار اصول اخلاقی و دریافت تعهدات از شرکتها محدود میشد. اکنون بحث به سمت سازوکارهایی میرود که باید قابلآزمون، قابلممیزی و در صورت وقوع خطر، قابلاعمال باشند.
آنچه در این خبرها برای من اهمیت دارد، نزدیکشدن بحث حکمرانی به پرسشهایی است که هنگام طراحی و تحویل یک سامانه باید پاسخ بدهیم. ممیزی مستقل مدلها، الزام به گزارشدهی رخدادهای جدی، تعریف دقیقتر «رخداد ایمنی»، ارزیابی ادعاهای شرکتهای سازنده توسط طرف ثالث و حتی امکان توقف اضطراری برخی مدلهای پیشرفته، نشانههای این تغییرند. اگر این تحولات در کنار یکدیگر دیده شوند، ماجرا دیگر فقط بر سر داشتن یک «دکمه قرمز» نیست؛ پرسش اصلی این است که چه کسی، بر اساس چه معیاری و با چه اختیاری میتواند ادعای ایمنبودن یک سامانه هوش مصنوعی را راستیآزمایی کند و در صورت بروز خطر مداخله کند؟
مسئله فقط یک کلید خاموش نیست
۱۸ سپتامبر ۲۰۲۶، گاوین نیوسام، فرماندار کالیفرنیا، با فرمان اجرایی ۱۸ سپتامبر خواستار تسریع سازوکارهای نظارت مستقل بر هوش مصنوعی و بررسی امکان ایجاد یک «کلید توقف اضطراری» برای مدلهای پیشرفته شد. چند روز بعد، در ۲۳ سپتامبر، گروهی از متخصصان فناوری، سیاست و حکمرانی برای تدوین پیشنهادهای اجرایی این برنامه معرفی شدند.
عنوان Kill Switch طبیعتاً بیش از سایر بخشهای این تصمیم خبرساز شد، اما متن فرمان اجرایی کالیفرنیا مجموعه بسیار گستردهتری از ابزارهای حکمرانی را مطرح میکند. این فرمان تهیهٔ پیشنهاد برای تقویت قوانین را مطالبه میکند؛ بهخودیخود به معنای برقرارشدن الزام عمومی به نصب کلید توقف در همهٔ مدلها نیست.
از جمله پیشنهادهایی که اکنون باید بررسی شوند، حضور یک نهاد مستقل ارزیابی در شرکتهای توسعهدهنده مدلهای مرزی یا پیشرفته (Frontier)، انجام ممیزی و ارزیابیهای منظم، راستیآزمایی چارچوبهای ایمنی و گزارشهای شفافیت شرکتها و همچنین آزمون مستمر کارایی سازوکار توقف اضطراری است. تعریف «رخداد بحرانی ایمنی» نیز ممکن است به رخدادهایی گسترش پیدا کند که در آنها از دست رفتن کنترل بر یک سامانه مطرح است.
این اقدامات نیز از خلأ آغاز نشدهاند. بر اساس اعلام رسمی امضای قوانین در ۹ سپتامبر، کالیفرنیا در سال جاری SB 813 را برای ایجاد چارچوب شناسایی سازمانهای مستقل راستیآزمایی و AB 1405 را برای ایجاد ثبت ایالتی ممیزان هوش مصنوعی و تعیین الزامات استقلال، شفافیت و سلامت آنها تصویب کرده است. قانون SB 53 نیز از سال ۲۰۲۵ برای برخی توسعهدهندگان مدلهای پیشرفته الزاماتی درباره انتشار چارچوبهای ایمنی و گزارش برخی رخدادهای بحرانی ایجاد کرده بود.
بنابراین، «کلید خاموش» را نباید بهتنهایی دید. این کلید در حال قرار گرفتن در انتهای یک زنجیره است: تعریف مخاطره ← ارزیابی ← راستیآزمایی مستقل ← گزارش رخداد ← اختیار مداخله و شاید همین زنجیره، از خود دکمه توقف مهمتر باشد.
وقتی سازنده دیگر تنها مرجع تأیید ادعای خودش نیست
بخش بزرگی از نخستین نسل اسناد حکمرانی هوش مصنوعی بر تعهد توسعهدهندگان بنا شده بود. شرکت اعلام میکرد چه مخاطراتی را شناسایی کرده، چه آزمایشهایی انجام داده و چه تدابیری برای کنترل آنها در نظر گرفته است.
این رویکرد الزاماً بیفایده نیست. سازنده معمولاً بیش از هر نهاد بیرونی درباره معماری، فرایند آموزش، دادهها، قابلیتها و محدودیتهای مدل خود اطلاعات دارد. مسئله زمانی ایجاد میشود که ارائه شواهد و قضاوت درباره کفایت همان شواهد، هر دو در اختیار یک طرف قرار بگیرند.
در یادداشت «قرارداد هوش مصنوعی؛ دقیقاً چه چیزی را باید تحویل بگیریم؟» همین فاصلهٔ میان ادعا و شواهد را از سمت خریدار بررسی کردهام: «دقت بالا» یا یک دموی موفق، تا وقتی به مجموعه آزمون، نسخهٔ مشخص سامانه و معیار پذیرش وصل نشود، مبنای محکمی برای تحویل نیست. اینجا همان پرسش در مقیاس تنظیمگری مطرح میشود؛ با این تفاوت که تأیید طرف قرارداد لزوماً برای حفاظت از منافع عمومی کافی نیست و صلاحیت و استقلال ارزیاب هم باید بررسی شود.
در بسیاری از حوزههای مهندسی، ایمنی و مالی، چنین مدلی کافی دانسته نمیشود. سازندهٔ هواپیما خودش تنها مرجع تأیید ایمنی آن نیست و انتشار صورت مالی شرکت نیز جای حسابرسی مستقل را نمیگیرد.
حکمرانی هوش مصنوعی نیز بهتدریج به همین پرسش نزدیک میشود: اگر یک شرکت اعلام کرد مدلش ارزیابی ایمنی را پشت سر گذاشته است، چه کسی این ادعا را تأیید میکند؟ طرح اخیر کالیفرنیا پاسخ مشخصی را در دست بررسی دارد: یک Independent Verification Organization.
این تغییر کوچک نیست. زیرا در چنین الگویی موضوع نظارت دیگر صرفاً الزام شرکت به تهیه یک سند نیست، بلکه امکان بررسی مستقل صحت آن سند و کفایت آزمونهای انجامشده مطرح میشود. در نتیجه، بحث تنظیمگری از «چه چیزی باید اعلام شود؟» یک گام جلوتر میرود: چگونه باید اثبات شود که آنچه اعلام شده واقعاً درست است؟
گزارش رخداد؛ چیزی شبیه گزارش سانحه در صنایع دیگر
تحول دوم، جدیتر شدن مفهوم AI Incident Reporting است. در بسیاری از صنایع بالغ، وقوع یک حادثه مهم صرفاً مسئله داخلی شرکت نیست. سانحه هوایی، نقص جدی در تجهیزات پزشکی، رخداد امنیتی یا اختلال یک زیرساخت حیاتی ممکن است مشمول الزام گزارشدهی، ثبت و بررسی شود.
اما تعریف اینکه دقیقاً چه چیزی «رخداد هوش مصنوعی» محسوب میشود، در همهٔ چارچوبها یکسان نیست. آیا افشای گسترده اطلاعات توسط یک سامانه هوش مصنوعی رخداد است؟ استفاده موفق از یک مدل برای اجرای حمله سایبری چطور؟ اگر یک عامل هوشمند رفتاری خارج از محدودیتهای تعریفشده نشان دهد چه؟ اگر مدل امکان دور زدن سازوکار کنترل خود را پیدا کند، باید موضوع به تنظیمگر گزارش شود؟
این پرسشها دیگر صرفاً بحث دانشگاهی نیستند. در اقدام اخیر کالیفرنیا حتی پیشنهاد شده تعریف رخدادهای بحرانی به مواردی شامل loss of control گسترش پیدا کند. در سطحی دیگر، OpenAI نیز در پیشنهاد ۲۱ سپتامبر خود درباره استانداردهای بینالمللی مدلهای پیشرفته، در کنار معیارهای مشترک ارزیابی، از پروتکلهای مشترک گزارشدهی رخداد سخن گفته است. البته این مورد یک پیشنهاد سیاستی از سوی یک شرکت خصوصی است، نه یک الزام حقوقی؛ با این حال نشان میدهد مفهوم Incident Reporting در حال ورود به قلب بحث حکمرانی مدلهای پیشرفته است.
اهمیت گزارشدهی رخداد فقط در مطلعشدن تنظیمگر نیست. اگر رخدادها تعریف و ثبت نشوند، نظام حکمرانی امکان یادگیری از شکستها را نیز از دست میدهد. دادههای رخدادها میتوانند مشخص کنند کدام مخاطرات فقط فرضی بودهاند، کدام مخاطرات در عمل تکرار شدهاند و مقررات یا آزمونهای بعدی باید بر چه مواردی متمرکز شوند.
به بیان دیگر، Incident Reporting حافظه یک نظام حکمرانی است. بدون آن، هر حادثه تقریباً از نقطه صفر بررسی میشود.
وقتی گزارش رخداد از مرزهای ملی عبور میکند
شاید جالبترین تحول اخیر حتی در کالیفرنیا اتفاق نیفتاده باشد. به گزارش آسوشیتدپرس از سخنان اسکات بسنت، در گفتوگوهای اخیر آمریکا و چین، دولت آمریکا ایجاد سازوکاری برای اطلاعرسانی درباره رخدادهای مهم مرتبط با هوش مصنوعی را پیشنهاد کرده است؛ رخدادهایی که میتوانند پیامدهایی برای امنیت ملی یا ایمنی داشته باشند. این پیشنهاد در جریان مذاکرات دو کشور درباره هوش مصنوعی مطرح شده است.
هنوز با یک رژیم حقوقی بینالمللی یا حتی توافق جامع روبهرو نیستیم. بنابراین نباید این مذاکرات را بزرگتر از آنچه هستند توصیف کرد. اما خود مطرحشدن ایده اهمیت دارد.
تا امروز معمولاً درباره گزارش رخداد رابطهای از این جنس تصور میشد: شرکت ← تنظیمگر. اکنون یک رابطه دیگر نیز در حال مطرحشدن است: دولت ← دولت. دلیل آن روشن است. برخی مخاطرات مدلهای پیشرفته الزاماً در مرز یک کشور باقی نمیمانند. یک سامانه میتواند در حملات سایبری، عملیات علیه زیرساختهای حیاتی، انتشار گسترده اطلاعات نادرست یا سایر فعالیتهای فرامرزی مورد استفاده قرار گیرد.
در چنین وضعیتی ممکن است ارتباط اضطراری درباره هوش مصنوعی به همان اندازهای اهمیت پیدا کند که در حوزههای دیگری با ریسک فرامرزی، ایجاد کانالهای ارتباطی برای جلوگیری از سوءبرداشت یا تشدید بحران اهمیت دارد. این البته آغاز یک مسیر است، نه پایان آن. هنوز باید مشخص شود چه رخدادی باید گزارش شود، چه اطلاعاتی قابل تبادل است، چه نهادی مسئول ارتباط خواهد بود و چگونه میتوان میان شفافیت و ملاحظات امنیت ملی تعادل برقرار کرد. اما همین پرسشها نشان میدهند که حکمرانی رخدادهای هوش مصنوعی ممکن است از سطح مقررات داخلی فراتر برود.
استاندارد مشترک؛ پیششرط ممیزی و گزارشدهی
مشکل دیگری نیز وجود دارد. نمیتوان از شرکتها خواست یک مدل را «ایمن» ارزیابی کنند، از ممیز خواست آن ارزیابی را تأیید کند و از کشورها خواست رخدادهای مهم را گزارش دهند، در حالی که درباره معیار اندازهگیری توافقی وجود ندارد.
به همین دلیل است که بحث استانداردهای فنی اهمیت پیدا میکند. OpenAI در همان پیشنهاد درباره استانداردهای مشترک خواهان آن شده که ایالات متحده برای ایجاد استانداردهای فنی مشترک در حوزه مدلهای Frontier نقش رهبری داشته باشد و در کنار آن، معیارهای مشترک اندازهگیری و پروتکلهای گزارش رخداد توسعه پیدا کنند. این شرکت موضوع سامانههایی را که قادر به مشارکت در بهبود تواناییهای خود یا خودکارسازی بیشتر پژوهش هوش مصنوعی هستند نیز در این چارچوب قرار داده است.
طبیعتاً پیشنهاد یک شرکت فناوری درباره شکل استانداردهای آینده باید با ملاحظه منافع همان شرکت نیز خوانده شود. توسعهدهندگان بزرگ هوش مصنوعی خود ذینفعان مستقیم هر رژیم استانداردگذاری آیندهاند و حضور آنها در تدوین استانداردها نمیتواند جای فرایند مستقل سیاستگذاری و مشارکت سایر ذینفعان را بگیرد.
با این حال، اصل مسئله پابرجاست: بدون معیار مشترک، ممیزی مستقل نیز میتواند به مجموعهای از قضاوتهای ناهمگون تبدیل شود. اگر دو ممیز با دو روش کاملاً متفاوت یک مدل را ارزیابی کنند، نتیجه تا چه اندازه قابل مقایسه خواهد بود؟ اگر دو کشور تعریف متفاوتی از «رخداد بحرانی» داشته باشند، سازوکار گزارشدهی بینالمللی چگونه کار خواهد کرد؟ استاندارد دقیقاً در همین نقطه از یک موضوع فنی به ابزار حکمرانی تبدیل میشود.
حکمرانی بینالمللی نیز از گفتوگو به دنبال سازوکار میگردد
این تحولات همزمان با تلاش سازمان ملل برای ایجاد یک فرایند پایدارتر در حکمرانی بینالمللی هوش مصنوعی رخ میدهد. همانطور که در معرفی رسمی گفتوگوی جهانی حکمرانی هوش مصنوعی آمده، مجمع عمومی سازمان ملل با قطعنامه 79/325 این گفتوگو را ایجاد کرده است. نخستین نشست آن در ژوئیه ۲۰۲۶ در ژنو برگزار شد و نشست بعدی برای مه ۲۰۲۷ در نیویورک پیشبینی شده است. رئیس هشتاد و یکمین مجمع عمومی نیز در سخنرانی ۱۰ سپتامبر تأکید کرد که مشورتهای بینالدولی درباره اولویتهای حکمرانی هوش مصنوعی نباید تا نشست بعدی متوقف بمانند.
این مسیر با مذاکرات دوجانبه آمریکا و چین یکسان نیست و حتی ممکن است در مواردی منطق متفاوتی داشته باشد. یکی به دنبال چارچوبی چندجانبه با حضور کشورهای مختلف است و دیگری به مدیریت ریسک میان دو قدرت بزرگ فناوری میپردازد.
اما هر دو یک واقعیت را نشان میدهند: مدلهای پیشرفته هوش مصنوعی دیگر صرفاً محصولاتی متعلق به یک شرکت و تابع مقررات یک حوزه قضایی دیده نمیشوند. بخشی از مخاطرات احتمالی آنها ماهیت فرامرزی دارد و در نتیجه حداقل بخشی از سازوکارهای حکمرانی نیز ناگزیر باید امکان همکاری فرامرزی داشته باشند.
از «Responsible AI» تا «قابل اثبات بودن مسئولیت»
سالهاست عباراتی مانند «هوش مصنوعی مسئولانه»، «هوش مصنوعی قابل اعتماد» و «هوش مصنوعی ایمن» در اسناد شرکتها و دولتها تکرار میشوند. این مفاهیم همچنان مهماند، اما یک نظام حکمرانی نمیتواند برای همیشه در سطح صفت باقی بماند.
اگر یک سامانه «مسئولانه» است، باید بتوان نشان داد: چه کسی آن را ارزیابی کرده است؟ با چه آزمونی؟ بر اساس چه استانداردی؟ نتیجه ارزیابی کجا ثبت شده است؟ در صورت وقوع حادثه چه کسی باید مطلع شود؟ چه کسی مسئول بررسی رخداد است؟ و اگر خطر از سطح مشخصی عبور کرد، چه کسی اختیار مداخله دارد؟
در این نقطه، حکمرانی از بیانیه به فرایند تبدیل میشود. شاید بتوان تفاوت دو نسل را اینگونه خلاصه کرد: نسل نخست: چه اصولی باید رعایت شوند؟ نسل بعدی: چگونه اثبات میشود که رعایت شدهاند، چه کسی آن را بررسی میکند و اگر رعایت نشد چه اتفاقی میافتد؟
این تحول برای ایران چه معنایی دارد؟
اگر بخواهم از این تحولات برای ایران یک نقطهٔ شروع انتخاب کنم، از قابلآزمونکردن کنترلها شروع میکنم. پیش از نوشتن الزامِ «کلید خاموش»، باید معلوم باشد چه چیزی قرار است متوقف شود، اختیار توقف دست چه کسی است و پس از آن خدمت چگونه ادامه پیدا میکند.
در مقیاسی کوچکتر، در یادداشت «RAG سازمانی فقط embedding نیست» توضیح دادهام که مجوز دسترسی باید پیش از ورود سند به مسیر پاسخ اثر کند؛ حذف سند از خروجی نهایی، ورود قبلی آن به مدل یا لاگ را جبران نمیکند. از نظر من، پیوند این مثال با بحث حاضر در همین محل اجرای کنترل است: باید بتوان نشان داد قاعده دقیقاً کجا بر رفتار سامانه اثر میگذارد. ارزیابی مدلهای پیشرفته مسئلهٔ بسیار وسیعتری است، اما در هر دو مورد، نوشتنِ قاعده بدون آزمودنِ اجرای آن کافی نیست.
مسئله مهمتر، پاسخدادن به پرسشهایی است که قبل از رسیدن به آن کلید مطرح میشوند. برای مثال، در سامانههای هوش مصنوعی پرریسک چه کسی مسئول ارزیابی ایمنی است؟ آیا توسعهدهنده یا بهرهبردار میتواند تنها مرجع اثبات کفایت کنترلهای خودش باشد؟ ممیز مستقل هوش مصنوعی باید چه شرایطی داشته باشد و استقلال او چگونه تضمین شود؟
پرسش مهم دیگر تعریف رخداد است. هنوز باید روشن شود که در یک چارچوب ملی، چه اتفاقی «رخداد مهم هوش مصنوعی» محسوب میشود و چه سازمانهایی باید آن را گزارش کنند. رخداد امنیت سایبری، افشای داده، تصمیم اشتباه یک سامانه خودکار، رفتار خارج از محدوده پیشبینیشده مدل و اختلال در یک خدمت حیاتی الزاماً ماهیت یکسانی ندارند و ممکن است به طبقهبندیهای متفاوت نیاز داشته باشند.
بعد از آن تازه مسئله اختیار مداخله مطرح میشود. در یک سامانه هوش مصنوعی مورد استفاده در زیرساخت حیاتی، نظام مالی، سلامت، حملونقل یا خدمات عمومی، آیا باید سازوکار توقف یا بازگشت به حالت امن وجود داشته باشد؟ چه کسی میتواند فعالشدن آن را مطالبه کند؟ و مهمتر از همه: آیا کارایی این سازوکار پیش از حادثه آزموده شده است؟ همین سؤال آخر تفاوت میان یک الزام کاغذی و یک کنترل واقعی است.
قانون، نقطه پایان حکمرانی نیست
قانونگذاری همچنان جزء ضروری حکمرانی هوش مصنوعی است. بدون مبنای حقوقی، بسیاری از الزامات مربوط به شفافیت، مسئولیت و اختیار مداخله اساساً قابل اعمال نیستند.
اما تصویب قانون پایان مسیر نیست. پس از قانون، مجموعهای از مسائل دشوارتر آغاز میشوند: استاندارد، روش ارزیابی، صلاحیت ممیز، طبقهبندی مخاطره، ثبت رخداد، مسئولیت بررسی، قابلیت توقف، سازوکار اعتراض و نحوه اعمال تصمیم تنظیمگر.
تحولات چند هفته اخیر، از کالیفرنیا تا گفتوگوهای آمریکا و چین و بحث استانداردهای بینالمللی، نشانههایی از همین مرحلهاند. شاید مهمترین تغییر این باشد که سؤال حکمرانی هوش مصنوعی آرامآرام از: «چه قواعدی برای هوش مصنوعی بنویسیم؟» به این سؤال تغییر میکند: «چگونه بفهمیم این قواعد واقعاً رعایت شدهاند و وقتی رعایت نشدند چه کسی میتواند اقدام کند؟» این همان نقطهای است که حکمرانی هوش مصنوعی از قانوننویسی عبور میکند و وارد قلمرو نهاد، فرایند، ارزیابی و اجرا میشود.