داشتن استاندارد، آزمایشگاه ارزیابی و حتی شناخت دقیق مخاطرات هوش مصنوعی لزوماً به معنای وجود یک نظام مؤثر ایمنی نیست. حلقه تعیین‌کننده جایی است که ارزیابی باید از «توصیه» به «الزام»، و نتیجه آن از «گزارش» به «قدرت مداخله» تبدیل شود.
در بحث حکمرانی هوش مصنوعی، معمولاً وجود قوانین، استانداردها، مراکز ارزیابی و چارچوب‌های مدیریت ریسک به‌عنوان نشانه بلوغ یک کشور یا صنعت تلقی می‌شود. این برداشت تا حدی درست است، اما ممکن است یک شکاف مهم را پنهان کند: آیا توسعه‌دهنده واقعاً موظف است شواهد ایمنی تولید کند؟ آیا این شواهد باید پیش از عرضه مدل ارائه شوند؟ آیا یک نهاد مستقل حق دارد آن‌ها را راستی‌آزمایی کند؟ و اگر نتیجه ارزیابی نامطلوب بود، آیا کسی اختیار توقف، محدودسازی یا تعویق انتشار را دارد؟
گزارش تازه SemiAnalysis درباره رژیم ایمنی هوش مصنوعی چین، نمونه جالبی برای دیدن همین شکاف فراهم می‌کند. نویسندگان ۸۵۷ انتشار مدل از ۹ توسعه‌دهنده بزرگ چینی بین سال‌های ۲۰۲۱ تا سپتامبر ۲۰۲۶ را بررسی کرده‌اند و فقط برای ۳۱ انتشار، یعنی حدود ۳٫۶ درصد، نتیجه‌ای از ارزیابی ایمنی پیدا کرده‌اند که بتوان آن را به همان مدل مشخص نسبت داد. تنها ۹ مورد، حدود ۱٫۱ درصد، هنگام عرضه یا پیش از آن چنین شواهد عمومی‌ای داشته‌اند.
این اعداد باید با احتیاط خوانده شوند. گزارش میزان انتشار عمومی شواهد را اندازه می‌گیرد، نه میزان واقعی آزمون‌هایی را که ممکن است داخل شرکت‌ها انجام شده باشند. روش شمارش انتشار مدل نیز میان شرکت‌ها یکسان نیست و پژوهش مقایسه هم‌روش کاملی با شرکت‌های آمریکایی ارائه نمی‌کند. بنابراین نمی‌توان از این داده نتیجه گرفت که ۹۶ درصد مدل‌ها «بدون آزمون ایمنی» منتشر شده‌اند.
اما مسئله تحلیلی حتی بدون چنین نتیجه‌گیری‌ای باقی می‌ماند: اگر ارزیابی انجام شده باشد اما الزام مشخصی برای انتشار، ارائه به ممیز یا تسلیم به تنظیم‌گر وجود نداشته باشد، نظام حکمرانی تا چه اندازه می‌تواند به آن اتکا کند؟
شناخت خطر با مهار خطر یکی نیست
چین نمونه مناسبی برای این تمایز است، چون نمی‌توان گفت موضوع ایمنی AI در آن نادیده گرفته شده است. «چارچوب حکمرانی ایمنی هوش مصنوعی ۳.۰» که در سپتامبر ۲۰۲۶ منتشر شد، طبقه‌بندی نسبتاً گسترده‌ای از مخاطرات ارائه می‌کند و در نسخه جدید، Agentها و هوش embodied را نیز به‌طور مشخص وارد دامنه ریسک کرده است.
در کنار آن، استاندارد ملی GB/T 47507-2026 درباره Trustworthiness هوش مصنوعی از اوت ۲۰۲۶ اجرایی شده و مجموعه بزرگی از استانداردها و راهنماهای تخصصی درباره امنیت مدل، داده، Agent، حریم خصوصی، ثبت رویداد و مدیریت ریسک نیز وجود دارد یا در حال تدوین است.
حتی ظرفیت فنی ارزیابی Frontier AI نیز وجود دارد. طبق بررسی SemiAnalysis، Shanghai AI Lab چارچوب مدیریت ریسک مدل‌های Frontier منتشر کرده، خطوط قرمز و زرد تعریف کرده و پیشنهاد داده است در بعضی سطوح خطر، استقرار مدل متوقف شود. این مرکز همچنین تعدادی از مدل‌های چینی و غربی را با ابزارهای UK AI Security Institute ارزیابی کرده است.
پس مسئله فقدان دانش یا ابزار نیست.
مسئله این است که میان چهار مرحله فاصله وجود دارد:
شناخت مخاطره ← تعریف معیار ← انجام ارزیابی ← الزام به تبعیت از نتیجه
سه مرحله نخست می‌توانند کاملاً توسعه پیدا کنند، درحالی‌که مرحله چهارم همچنان ضعیف باقی بماند.
استاندارد بدون «Duty to Demonstrate»
در بسیاری از حوزه‌های مهندسی، داشتن استاندارد کافی نیست. تولیدکننده باید بتواند اثبات کند که محصولش استاندارد را رعایت می‌کند.
این تمایز در هوش مصنوعی اهمیت بیشتری پیدا می‌کند، چون بسیاری از ویژگی‌های مدل از مشاهده ظاهری محصول قابل استنتاج نیستند. نمی‌توان فقط با استفاده معمول از یک مدل فهمید آیا در برابر jailbreak مقاوم است، چه سطحی از capability سایبری دارد، داده آموزشی آن چگونه کنترل شده یا تحت چه شرایطی امکان رفتار خطرناک پیدا می‌کند.
در نتیجه، حکمرانی مؤثر به چیزی فراتر از استاندارد نیاز دارد؛ می‌توان آن را Duty to Demonstrate نامید: توسعه‌دهنده باید موظف باشد برای ادعاهای ایمنی خود شواهد قابل بررسی تولید کند.
این الزام می‌تواند درجات مختلفی داشته باشد. برای یک سامانه کم‌ریسک شاید self-assessment کافی باشد. در سطح بالاتر ممکن است مستندات آزمون لازم باشد. برای مدل‌های پرریسک‌تر، ارزیابی شخص ثالث یا ارائه محرمانه شواهد به تنظیم‌گر می‌تواند ضروری شود.
مسئله اصلی در همه این حالت‌ها یکی است: بار اثبات نباید کاملاً بر دوش تنظیم‌گر باشد.
اگر یک شرکت مدعی است مدلی برای استفاده در محیط حساس ایمن است، تنظیم‌گر نباید مجبور باشد از بیرون و بدون دسترسی کافی خلاف آن را ثابت کند.
ممیزی مستقل هم به‌تنهایی کافی نیست
در یادداشت «حکمرانی هوش مصنوعی در حال عبور از قانون‌نویسی» بحث اصلی این بود که نسل بعدی حکمرانی دارد از اصول کلی به سمت ممیزی مستقل، گزارش رخداد و امکان مداخله حرکت می‌کند. مطالعه اخیر چین یک حلقه دیگر به همان زنجیره اضافه می‌کند.
ممیزی مستقل فقط زمانی معنی دارد که سه شرط برقرار باشد.
نخست، حق دسترسی. ممیز باید بتواند به اطلاعاتی دسترسی پیدا کند که برای ارزیابی لازم است؛ نه فقط به همان داده‌هایی که توسعه‌دهنده مایل است عمومی کند.
دوم، معیار ارزیابی. باید روشن باشد چه چیزی آزموده می‌شود و چه سطحی از عملکرد قابل قبول است.
و سوم، اثر نتیجه ممیزی. اگر ممیز به نتیجه برسد که یک کنترل کار نمی‌کند یا مدل از آستانه مشخصی از خطر عبور کرده است، چه اتفاقی می‌افتد؟
اگر پاسخ این باشد که «گزارش تهیه می‌شود و شرکت درباره آن تصمیم می‌گیرد»، استقلال ممیزی فقط بخشی از مسئله را حل کرده است.
این تفاوت میان Audit و Assurance with Consequence است.
نقطه تعیین‌کننده: چه کسی می‌تواند بگوید «نه»؟
در نهایت، هر نظام ایمنی به یک سؤال ساده اما دشوار می‌رسد: چه کسی می‌تواند در برابر انتشار یک مدل یا استقرار یک سامانه بگوید «نه»؟
ممکن است این اختیار همیشه در اختیار دولت نباشد. در بسیاری از موارد، هیئت‌مدیره، کمیته ریسک، ممیز مستقل یا حتی قرارداد مشتری می‌تواند نقش Gate را ایفا کند. اما در سامانه‌هایی که اثر اجتماعی گسترده یا ریسک سیستمیک دارند، صرف وجود توصیه فنی کافی نیست.
اینجا باید میان چند نوع اختیار تفکیک کرد: اختیار درخواست اطلاعات، اختیار الزام به آزمون، اختیار مطالبه اصلاح، اختیار محدودکردن کاربرد، اختیار تعلیق استقرار و در نهایت اختیار توقف.
این اختیارات لزوماً نباید همگی در یک نهاد متمرکز شوند. حتی شاید چنین تمرکزی مطلوب نباشد. اما اگر هیچ‌کدام در معماری حکمرانی وجود نداشته باشند، استاندارد و ارزیابی به ابزارهای مشورتی تبدیل می‌شوند.
مسئله دقیقاً در همین نقطه از «Safety» به «Governance» تبدیل می‌شود.
ZTAI همین مسئله را در مقیاس سامانه حل می‌کند
این بحث در سطح کلان شباهت جالبی با منطق Zero Trust AI دارد. در ZTAI فرض نمی‌کنیم چون یک مدل داخلی است، یک کاربر احراز هویت شده یا یک پردازش قبلاً تأیید شده، پس اقدام بعدی هم قابل اعتماد است. اعتماد باید با شواهد و در هر مرز مهم دوباره برقرار شود.
همین منطق را می‌توان در سطح حکمرانی نیز دید. صرف اینکه یک شرکت چارچوب ایمنی دارد، استاندارد را پذیرفته یا گزارش ارزیابی منتشر کرده، نباید به‌معنای اعتماد خودکار باشد. باید بتوان ادعا را بررسی کرد، شواهد را راستی‌آزمایی کرد و در نقاط حساس Gate مستقل داشت.
در مقیاس معماری می‌گوییم:
Never trust, always verify.
در مقیاس حکمرانی، معادل آن تقریباً این است:
Never accept safety claims without verifiable evidence.
اما حتی این هم کافی نیست. اگر نتیجه راستی‌آزمایی هیچ اثری بر تصمیم نداشته باشد، «Verify» نیز به یک فعالیت تشریفاتی تبدیل می‌شود.
شکاف میان Evaluation و Enforcement
شاید بتوان کل مسئله را در یک تفکیک خلاصه کرد:
Evaluation می‌گوید وضعیت چیست.
Enforcement تعیین می‌کند با این وضعیت چه باید کرد.
بخش بزرگی از تلاش‌های فعلی AI Safety روی نیمه اول متمرکزند: benchmark بهتر، red teaming، استاندارد ارزیابی، model card، system card، capability evaluation و روش‌های تازه سنجش خطر.
همه این‌ها ضروری‌اند. اما بلوغ فنی ارزیابی نباید با بلوغ حکمرانی اشتباه گرفته شود.
یک نظام ممکن است دقیق‌ترین آزمون جهان را داشته باشد، اما اگر هیچ‌کس موظف نباشد آن را انجام دهد یا نتیجه آن هیچ اثری بر عرضه محصول نداشته باشد، ارزش حکمرانی آن محدود خواهد بود.
به همین دلیل، پرسش بعدی درباره هر استاندارد یا چارچوب AI نباید فقط این باشد که «چه چیزی را اندازه می‌گیرد؟» بلکه باید پرسید:
- چه کسی موظف است آن را اجرا کند؟
- چه کسی نتیجه را می‌بیند؟
- چه کسی می‌تواند نتیجه را راستی‌آزمایی کند؟
- و اگر نتیجه نامطلوب بود، چه کسی اختیار اقدام دارد؟
از قانون‌نویسی تا زنجیره اثبات
در یادداشت‌های قبلی درباره سازمان ملی هوش مصنوعی نیز بارها به این مسئله رسیده‌ایم که نقش نهاد مرکزی نباید صرفاً تولید سند و دستورالعمل باشد. نهاد حکمرانی زمانی اثرگذار می‌شود که بتواند مسئولیت‌ها را روشن کند، از دستگاه‌ها شواهد بخواهد و در نقطه اختلاف یا شکست، سازوکار تصمیم داشته باشد.
گزارش اخیر درباره چین این مسئله را از زاویه دیگری نشان می‌دهد. حتی کشوری که مجموعه گسترده‌ای از استانداردها، چارچوب‌های ایمنی و مراکز فنی دارد می‌تواند در نقطه اتصال میان استاندارد و الزام با شکاف مواجه باشد.
این مسئله مختص چین نیست. هر نظام حکمرانی AI ممکن است گرفتار همان خطا شود: تدوین استاندارد را با اجرای استاندارد، انتشار گزارش را با ممیزی، و ممیزی را با امکان مداخله یکی بگیرد.
اما این‌ها چهار مرحله متفاوت‌اند.
شاید نسل بعدی حکمرانی هوش مصنوعی را بهتر باشد نه با تعداد قوانین یا استانداردها، بلکه با کامل‌بودن یک زنجیره سنجید:
الزام به ارائه شواهد ← ارزیابی ← راستی‌آزمایی مستقل ← تصمیم ← امکان اعمال تصمیم
هر حلقه‌ای که حذف شود، بخشی از حکمرانی روی کاغذ باقی می‌ماند.
و شاید سؤال اصلی دیگر این نباشد که یک کشور چند استاندارد AI دارد؛ بلکه این باشد که وقتی شواهد نشان می‌دهند یک مدل هنوز آماده انتشار نیست، آیا کسی واقعاً می‌تواند جلوی انتشار آن را بگیرد؟