دقت ۹۵ درصد برای کارخانه چه معنایی دارد؟

تأمین‌کننده در جلسه می‌گوید: «سامانه تشخیص عیب ما به دقت ۹۵ درصد رسیده است.» عدد امیدوارکننده‌ای است. مدیر تولید به کاهش ضایعات فکر می‌کند، مدیر مالی به بازگشت سرمایه و واحد خرید به عبارتی که می‌توان در قرارداد نوشت.

اما هنوز نمی‌دانیم این سامانه برای کارخانه مفید است یا نه. حتی نمی‌دانیم عیب‌ها را پیدا می‌کند.

فرض کنیم در یک شیفت، ده‌هزار قطعه تولید می‌شود؛ ۹۵۰۰ قطعه سالم و ۵۰۰ قطعه معیوب. سامانه‌ای که بدون دیدن هیچ تصویری، همه قطعه‌ها را «سالم» اعلام کند، در ۹۵ درصد موارد درست گفته است. با این حال، حتی یک قطعه معیوب را هم پیدا نکرده است.

پیش از پذیرفتن عدد ۹۵ درصد باید بپرسیم: ۹۵ درصدِ چه چیزی، روی کدام قطعه‌ها، در چه شرایطی و با چه پیامدی؟

تمام اعداد این یادداشت فرضی و برای توضیح مسئله‌اند؛ نتیجه آزمایش یک کارخانه واقعی یا حد پیشنهادی پذیرش نیستند.

دو سامانه با یک عدد، دو نتیجه متفاوت

همان ده‌هزار قطعه را به دو سامانه بدهیم. سامانه الف همه را سالم اعلام می‌کند. سامانه ب بخشی از عیب‌ها را تشخیص می‌دهد، اما گاهی به قطعه سالم هم هشدار می‌دهد.

سامانه ب چهارصد قطعه معیوب را پیدا کرده است، اما چهارصد قطعه سالم را هم مشکوک دانسته است. سامانه الف هیچ هشداری نداده و همه عیب‌ها را از دست داده است. عددی که در ارائه فروش برابر بود، در خط تولید دو معنای کاملاً متفاوت دارد.

این چهار شمارش را معمولاً «ماتریس خطا» می‌نامند. برای شروع ارزیابی، دیدن همین شمارش‌ها از شنیدن یک درصد تنها مفیدتر است. مدیر کارخانه لازم نیست متخصص یادگیری ماشین باشد تا بپرسد: چند عیب عبور کرد و چند قطعه سالم بی‌دلیل کنار گذاشته شد؟

عیب ازدست‌رفته با هشدار کاذب یکسان نیست

Recall یا نرخ کشف عیب می‌گوید چه سهمی از قطعه‌های واقعاً معیوب پیدا شده‌اند. برای سامانه ب، این عدد ۴۰۰ از ۵۰۰، یعنی ۸۰ درصد است.

Precision یا سهم هشدارهای درست می‌گوید از میان قطعه‌هایی که سامانه معیوب اعلام کرده، چند قطعه واقعاً معیوب بوده‌اند. سامانه ب ۸۰۰ هشدار داده و ۴۰۰ مورد درست بوده است؛ پس این عدد ۵۰ درصد است.

نرخ هشدار کاذب، مخرج دیگری دارد: ۴۰۰ قطعه سالم از مجموع ۹۵۰۰ قطعه سالم، حدود ۴٫۲ درصد. بنابراین عبارت «نصف هشدارها اشتباه‌اند» با «نصف قطعه‌های سالم اشتباه رد شده‌اند» یک معنا ندارد. تعریف این معیارها و تفاوت مخرج آنها در راهنمای ارزیابی طبقه‌بندی گوگل آمده است.

برای واحد کیفیت، عبور یک قطعه معیوب ممکن است به مرجوعی، دوباره‌کاری یا حادثه منجر شود. برای تولید، هشدار کاذب ممکن است بررسی اضافه، اتلاف مواد یا توقف خط بسازد. نمی‌توان این دو خطا را فقط به این دلیل که هر دو «یک اشتباه» هستند، هم‌ارزش گرفت.

نوع عیب هم تعیین‌کننده است. خراش ظاهری و ترکی که ایمنی محصول را تهدید می‌کند، نباید پشت یک میانگین پنهان شوند. سامانه‌ای که عیب‌های ساده و پرتکرار را خوب پیدا می‌کند، ممکن است در عیب نادر اما بحرانی ضعیف باشد. گزارش باید عملکرد هر گروه مهم را جدا نشان دهد؛ اگر نمونه کافی از عیبی نداریم، وضعیت آن «شواهد ناکافی» است.

درصد را به هزینه و ظرفیت تبدیل کنیم

برای ادامه مثال، فرض کنیم هزینه مورد انتظار عبور هر قطعه معیوب یک میلیون تومان و هزینه اضافی هر هشدار کاذب بیست‌هزار تومان باشد. فقط با احتساب این دو قلم، هزینه سامانه الف ۵۰۰ میلیون تومان و هزینه سامانه ب چنین می‌شود:

۱۰۰ عیب ازدست‌رفته × یک میلیون تومان + ۴۰۰ هشدار کاذب × بیست‌هزار تومان = ۱۰۸ میلیون تومان.

هر دو سامانه دقت ۹۵ درصد داشتند؛ هزینه این دو نوع خطای آنها یکسان نبود. این محاسبه هنوز توجیه اقتصادی خرید نیست. هزینه تجهیزات، نگهداری، رسیدگی به عیب‌های کشف‌شده و تغییر فرایند را حساب نکرده‌ایم. همچنین سامانه الف صرفاً یک مثال برای نشان‌دادن ضعف معیار بود؛ گزینه جدید باید با روش بازرسی فعلی کارخانه مقایسه شود.

بار کاری را هم باید شمرد. اگر هر یک از ۸۰۰ هشدار سامانه ب به بررسی انسانی سی‌ثانیه‌ای نیاز داشته باشد، بررسی‌ها در مجموع شش ساعت و چهل دقیقه زمان خالص می‌گیرند. فقط هشدارهای کاذب وقت اپراتور را مصرف نمی‌کنند؛ هشدار درست هم ممکن است نیازمند تأیید باشد. تازه این محاسبه زمان جابه‌جایی قطعه، ثبت نتیجه و تجمع هشدارها در ساعت اوج را کنار گذاشته است.

«انسان تصمیم نهایی را می‌گیرد» زمانی یک راه‌حل عملی است که آن انسان وقت، ابزار و اختیار لازم را داشته باشد. افزودن یک مرحله تأیید به نمودار فرایند، ظرفیت بررسی ایجاد نمی‌کند.

در عیب‌های ایمنی نیز کاهش میانگین هزینه به‌تنهایی کافی نیست. حدود قابل قبول و کنترل‌های لازم باید متناسب با پیامد همان عیب تعیین شوند؛ صرفه‌جویی در صدها خطای کم‌اهمیت، مجوز نادیده‌گرفتن یک خطر بحرانی نیست.

عدد روی چه داده‌ای به دست آمده است؟

پوشه‌ای از تصاویر واضحِ سالم و معیوب، لزوماً نماینده خط تولید نیست. محصول، نور، سرعت نوار، مواد اولیه، وضعیت دوربین و شیفت کاری باید در دامنه آزمون مشخص باشند. اگر مدل فقط روی یک خانواده محصول آزموده شده است، عدد آن را نمی‌توان به همه محصولات کارخانه نسبت داد.

ابتدا واحد شمارش را روشن کنیم. ده تصویر از یک قطعه، ده قطعه مستقل نیست. مدلی که در سطح تصویر خوب عمل می‌کند، ممکن است در تجمیع تصاویر یا اتصال تصمیم به قطعه درست خطا کند. برای کارخانه، معیار نهایی باید به تصمیم مورد نیاز نزدیک باشد: مثلاً پذیرش یا جداسازی هر قطعه.

استقلال داده آزمون هم مهم است. اگر تصاویر بسیار مشابه یک قطعه در آموزش و آزمون پخش شوند، نتیجه می‌تواند خوش‌بینانه باشد. بسته به کاربرد، باید داده‌ها را در سطح قطعه، دسته تولید یا زمان جدا کرد. داده آزمون نهایی نیز نباید برای تنظیم مدل یا انتخاب آستانه مصرف شود؛ این همان مسئله‌ای است که مستندات scikit-learn درباره نشت داده توضیح می‌دهد.

ترکیب داده نیز باید معلوم باشد. مجموعه‌ای که عمداً نصف آن معیوب انتخاب شده، برای بررسی انواع عیب مفید است، اما درصد هشدارهای درست و حجم بررسی انسانی آن را نمی‌توان مستقیماً به خطی تعمیم داد که فقط پنج درصد قطعه‌هایش معیوب‌اند.

کنار هر درصد، تعداد نمونه‌های مربوط را بخواهیم. کشف همه پنج نمونه از یک عیب نادر، همان پشتوانه‌ای را ندارد که آزمون گسترده و متنوع فراهم می‌کند. حتی دیدن هزاران قطعه سالم، کمبود نمونه از آن عیب را جبران نمی‌کند. گزارش باید عدم‌قطعیت برآورد و محدودیت پوشش را نیز روشن کند؛ «در آزمون خطایی ندیدیم» معادل تضمین بی‌خطایی نیست.

سرانجام، مرجع سالم یا معیوب بودن قطعه چیست؟ نظر یک بازرس، توافق چند کارشناس، اندازه‌گیری ابزار دقیق یا آزمایش تخصصی؟ اگر کارشناسان درباره موارد مرزی اختلاف دارند، روش حل اختلاف باید پیش از ارزیابی معلوم باشد. درصدی که نسبت به برچسب‌های نامطمئن محاسبه شده، با اضافه‌کردن رقم اعشار معتبرتر نمی‌شود.

آستانه تصمیم، تنظیمی بی‌اهمیت نیست

بسیاری از مدل‌ها امتیاز می‌دهند و سامانه بر اساس یک آستانه، قطعه را مشکوک اعلام می‌کند. برای یک مدل و داده ثابت، پایین‌آوردن آستانه می‌تواند عیب‌های بیشتری را بگیرد و هم‌زمان هشدار کاذب بیشتری بسازد. بنابراین گزارش عملکرد باید آستانه استفاده‌شده را هم ثبت کند.

در مثال ما، ممکن است بتوان تعداد عیب‌های ازدست‌رفته را کاهش داد، اما هزینه آن افزایش ارجاع به اپراتور باشد. انتخاب این نقطه به پیامد خطا و ظرفیت کارخانه وابسته است. نباید اجازه داد پس از مشاهده نتیجه آزمون نهایی، آستانه بارها تغییر کند تا فقط عدد مورد پسند قرارداد حاصل شود.

نسخه مدل، آستانه و دامنه مجاز استفاده باید معلوم باشند. تغییر هرکدام ممکن است به ارزیابی دوباره نیاز داشته باشد؛ ثابت‌ماندن Accuracy کلی نشان نمی‌دهد که توزیع خطاها نیز ثابت مانده است.

مدل درست تشخیص داده؛ آیا سامانه درست عمل کرده است؟

فرض کنیم مدل عیب را درست می‌بیند، اما پاسخ پس از عبور قطعه از مکانیزم جداسازی می‌رسد. یا شناسه تصویر با قطعه مجاور جابه‌جا می‌شود. در هر دو حالت، کیفیت مدل در آزمون تصویری می‌تواند خوب باشد و نتیجه خط نامطلوب.

آزمون پذیرش باید مسیر کامل را بسنجد: تصویربرداری، پردازش، انتقال تصمیم، عملگر جداسازی و ثبت نتیجه. تأخیر در بار اوج، قطعه‌های بدون تصویر و تصمیم‌های دیررس نیز باید در گزارش دیده شوند؛ حذف آنها از مخرج ارزیابی، بخشی از شکست عملیاتی را پنهان می‌کند.

رفتار هنگام قطع دوربین، شبکه یا پردازش هم باید از پیش تعیین شود. ادامه تولید، جداسازی موقت، بازرسی جایگزین یا توقف، تصمیم‌هایی وابسته به خطر و فرایند هستند. خاموش‌کردن خودکار خط همیشه پاسخ مناسب نیست؛ عبور بی‌خبر قطعه‌ها هم تصمیمی خنثی نیست.

برای استقرار می‌توان ابتدا از حالت سایه استفاده کرد: سامانه پیش‌بینی کند، اما کنترل خط را در دست نگیرد. سپس، در صورت وجود شواهد کافی، به تصمیم کمکی و بعد خودکارسازی محدود برسیم. در هر مرحله هم عملکرد مدل و هم نتیجه فرایند کامل اندازه‌گیری شود. افزودن اپراتور یا عملگر، نتیجه نهایی را تغییر می‌دهد و باید جداگانه ارزیابی شود.

به‌جای «دقت حداقل ۹۵ درصد» چه بخواهیم؟

معیار پذیرش باید پیش از آزمون نهایی توافق شود. به‌جای یک درصد تنها، این پرسش‌ها را به پیوست فنی تبدیل کنیم:

حد عددی این موارد از یک مقاله عمومی به دست نمی‌آید. واحد کیفیت، تولید، ایمنی و تیم فنی باید آن را با توجه به خطر، داده و توان عملیاتی همان کارخانه تعیین کنند. بهتر است پذیرش به برآورده‌شدن هم‌زمان شرایط وابسته باشد؛ بهبود یک شاخص نباید شکست شاخص ضروری دیگری را بپوشاند.

ارزیابی پس از تحویل هم ادامه دارد. تغییر تأمین‌کننده مواد، نور یا محصول می‌تواند شرایطی بسازد که در آزمون اولیه نبوده است. راهنمای سنجش در چارچوب مدیریت ریسک NIST نیز بر ارزیابی در زمینه استفاده و پایش عملکرد پس از استقرار تأکید می‌کند. برای کارخانه، این یعنی تعیین مسئول، حدود هشدار و اقدام مشخص؛ داشتن داشبورد به‌تنهایی کافی نیست.

در پایش، فقط قطعه‌های هشدارگرفته را بررسی نکنیم. برای برآورد عیب‌های ازدست‌رفته، باید از قطعه‌های پذیرفته‌شده هم طبق یک طرح بازرسی مناسب نمونه بگیریم. وگرنه سامانه ممکن است ظاهراً آرام‌تر شده باشد، چون عیب‌های بیشتری را نمی‌بیند.

دفعه بعد که تأمین‌کننده گفت «دقت سامانه ۹۵ درصد است»، از او بخواهیم همان عدد را به زبان خط تولید بازگو کند: در هر شیفت چند عیب عبور می‌کند، چند قطعه سالم مشکوک می‌شود، چند ساعت کار به اپراتور اضافه می‌شود و این برآورد در کدام شرایط معتبر است؟

اگر پاسخ این پرسش‌ها روشن باشد، درصد به تصمیم کمک می‌کند. اگر روشن نباشد، هنوز نمی‌دانیم کارخانه قرار است چه چیزی تحویل بگیرد.