ضوضاء التصنيفات: سقف الدقة الذي لم يضعه أحد عمدًا

ما المشكلة التي يعالجها هذا الحل؟

تفحص شركة تصنيع إلكترونيات تعاقدية لوحات ملحومة بالتدفق الحراري بحثًا عن عيوب: لحام غير كافٍ، وتجسير، وانتصاب المكوّن، ووصلات باردة، وفراغات. ويقوم ثلاثة مفتّشين بوسم صور التدريب عبر ورديتين. ويستوي نموذج الرؤية عند دقة 87.4% ويبقى هناك عبر ثلاث بنى وأربعة أنظمة تدريب.

ثم يعيد الفريق وسم عيّنة من 500 صورة بمفتّشين يعملان بشكل مستقل. فيختلفان على 61 صورة — أي ما يزيد قليلًا على 12%. ويتركّز جلّ الاختلاف في موضع واحد: الوصلات الهامشية التي يعتبر أحد المفتّشين حافتها مقبولة ويعتبرها الآخر غير كافية.

وهذا القياس وحده يعيد تأطير المشروع كله. فالنموذج لم يكن مقصّرًا؛ بل كان يستنسخ حدًّا لا يرسمه المفتّشون أنفسهم باتساق. واختلاف بنسبة اثني عشر بالمئة يحدّ الاتفاق مع أي مفتّش منفرد عند نحو 88%، وهو تقريبًا حيث استقر النموذج بالضبط.

كيف يعمل الحل؟

قِس الاتفاق قبل أي شيء آخر. اجعل مفتّشَين يسمان العيّنة نفسها بشكل مستقل واحسب معامل كابا لكوهين لكل فئة عيب. فنسبة الاتفاق الخام تُجمّل النتيجة لأنها تشمل الحالات التي اتفقا فيها بداهةً على وصلة سليمة.

صنّف الضوضاء. فالعشوائية منتشرة بالتساوي وتتصرف كعائق ثابت. والمعتمدة على الفئة منهجية — كالخلط بين الوصلات الباردة واللحام غير الكافي في اتجاه أكثر من الآخر. أما المعتمدة على الحالة فتتركّز على الصور الملتبسة فعلًا وهي الأصعب إزالةً.

ابتّ ولا تحسب متوسطًا. فحين يختلف مفتّشان، يحسم مراجع أول أقدم، وتُكتب قاعدة الحسم في معيار الفحص. أما حساب متوسط رأيين فيُنتج تصنيفًا لا يدافع عنه أحد.

ابنِ مجموعة مرجعية ذهبية. فبضع مئات من الصور المبتوت فيها بالإجماع تصبح مجموعة التقييم الثابتة. ويُقاس أداء النموذج عليها لا على أي مفتّش صادف أن وسم دفعة الاختبار.

1. 1
   دخول الالتباس إلى التصنيف فئة عيب لها حدّ لا يحدده المعيار المكتوب بدقة — كمقدار الحافة الذي يُعدّ لحامًا غير كافٍ.
2. 2
   المفتّشون يحسمونه بشكل مختلف يطبّق كلٌّ عتبةً شخصية، متسقة مع نفسه لكنها غير متسقة مع الآخر.
3. 3
   مجموعة التدريب تُرمّز الاثنين تتلقى صورتان شبه متطابقتين تصنيفين متعاكسين، فيحتوي سطح الخسارة تناقضًا لا يحلّه أي ضبط للمعاملات.
4. 4
   النموذج يلائم المتوسط يتقارب على حدّ يقع بين المفتّشَين، فيختلف مع كلٍّ منهما في جزء من المنطقة الملتبسة.
5. 5
   التقييم يرث الضوضاء تحمل مجموعة الاختبار عدم الاتساق نفسه، فيعكس السقف المقيس عملية الوسم لا قدرة النموذج.

البنية المرجعية

جودة التصنيفات تُنتجها أربع طبقات، وآخرها وحدها تقنية.

خيارات النشر: قد تكشف صور اللوحات تصاميم العملاء وتشملها عادةً اتفاقيات سرية تصنيعية، لذا يجري البتّ وبناء المجموعة الذهبية داخل البيئة المعتمدة للمصنع لا على خدمة وسم مشتركة.

القدرات الرئيسية

التكاملات

تُحكَم جودة التصنيفات في عملية الفحص ومنصة الوسم؛ أما مسار النموذج فيستهلك النتيجة فحسب.

حالات الاستخدام والقطاعات

منهجية التنفيذ

1. 1
   وسم عيّنة مرتين اجعل مفتّشَين يسمان عدة مئات من الصور بشكل مستقل، دون اطلاع أحدهما على قرارات الآخر.
2. 2
   حساب كابا لكل فئة أبلغ عن الاتفاق المصحَّح بالمصادفة لكل فئة عيب، لا عن نسبة الاتفاق الإجمالية.
3. 3
   تحديد نوع الضوضاء افحص مصفوفة الالتباس بحثًا عن اتجاه. فعدم التماثل المنهجي يشير إلى المعيار المكتوب لا إلى إهمال المفتّشين.
4. 4
   تنقيح المعيار وإعادة البتّ أصلح معيار الحالة الملتبسة، ثم أعد البتّ في الصور المتأثرة وفقه.
5. 5
   تثبيت مجموعة ذهبية ابنِ مجموعة تقييم موسومة بالإجماع وأدرها بالإصدارات، حتى تصبح النتائج اللاحقة قابلة للمقارنة.

الأمن وخيارات النشر

سجلات البتّ تدوّن أي مفتّش وسم ماذا وأين نُقض قراره، وهي بيانات أداء موظفين بقدر ما هي بيانات جودة. اتفق مسبقًا على كيفية استخدامها، وأبقِها داخل البيئة المعتمدة للمصنع، وافصل الغرض الجودي عن أي إجراء يتعلق بالموارد البشرية. وصور اللوحات ملكية فكرية للعميل في معظم اتفاقيات التصنيع التعاقدي ولا ينبغي إرسالها إلى خدمة وسم خارجية دون إذن خطي صريح.

مثال عملي

عيّنة البتّ المكوّنة من 500 صورة، مفصّلة بحسب موضع الاختلاف الفعلي.

1. الاتفاق الخام. تطابقت 439 صورة من 500، أي اتفاق خام 87.8% — وهو ما يبدو مقبولًا حتى يُؤخذ توازن الفئات في الحسبان.
2. بعد تصحيح المصادفة. 82% من الصور وصلات سليمة يسمها المفتّشان بداهةً. فيأتي معامل كابا قرب 0.61، وهو متوسط لا قوي.
3. موضع الاختلاف. من أصل 61 اختلافًا، 47 بين «لحام غير كافٍ» و«مقبول». والأربعة عشر الباقية موزّعة على الفئات الأربع الأخرى.
4. اتجاه الخطأ. يعتبر المفتّش (أ) الوصلات الهامشية مقبولةً بمعدل ضعف ما يفعل المفتّش (ب). فالضوضاء معتمدة على الفئة واتجاهية لا عشوائية.
5. بعد البتّ. يحسم مراجع أقدم الحالات الـ61 وفق معيار مكتوب منقّح، ويُضاف المعيار إلى وثيقة الفحص.

لم يكن النموذج هو القيد قط. فمعامل كابا 0.61 على الفئة الحرجة يفسّر استواءً عند 87.4% بدقة. وإصلاح المعيار المكتوب وإعادة البتّ في الصور المتأثرة يرفع السقف القابل للتحقيق؛ أما تغيير البنية الأساسية فلا يفعل.

مثال برمجي

تشخيصان يؤديان معظم العمل: قياس الاتفاق بين المقيّمين، ثم استخدام تنبؤات خارج الطيّة لإظهار التصنيفات المرجّح خطؤها.

import numpy as np
from sklearn.metrics import cohen_kappa_score, confusion_matrix
from sklearn.model_selection import cross_val_predict, StratifiedKFold
from sklearn.linear_model import LogisticRegression

# 1. Inter-rater agreement on the doubly-labelled sample.
print("raw agreement:", round((rater_a == rater_b).mean(), 4))
print("cohen kappa:  ", round(cohen_kappa_score(rater_a, rater_b), 4))
for cls in np.unique(rater_a):
    mask = (rater_a == cls) | (rater_b == cls)
    print(f"  kappa[{cls}]:", round(
        cohen_kappa_score(rater_a[mask] == cls, rater_b[mask] == cls), 3))

# Direction of disagreement: is it symmetric or systematic?
print(confusion_matrix(rater_a, rater_b))

# 2. Confident-learning style screen using OUT-OF-FOLD probabilities.
# In-fold probabilities would be contaminated by the very labels under test.
cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=3)
proba = cross_val_predict(
    LogisticRegression(max_iter=2000), X, y_noisy, cv=cv, method="predict_proba",
)
classes = np.unique(y_noisy)
self_conf = proba[np.arange(len(y_noisy)), np.searchsorted(classes, y_noisy)]

# Class-conditional thresholds, not one global cutoff.
thresholds = {c: proba[y_noisy == c, i].mean() for i, c in enumerate(classes)}
suspect = np.array([self_conf[i] < thresholds[y_noisy[i]] for i in range(len(y_noisy))])

print("flagged for review:", int(suspect.sum()), "of", len(y_noisy))
print("by class:", {int(c): int(((y_noisy == c) & suspect).sum()) for c in classes})

# IMPORTANT: send these to a human adjudicator.
# Auto-relabelling to the model's prediction teaches the model its own bias.
review_queue = np.argsort(self_conf)[:200]

معامل كابا لكل فئة، ومصفوفة التباس تُظهر ما إذا كان الاختلاف اتجاهيًا، وقائمة مراجعة مرتّبة. والقائمة مُدخل للبتّ البشري لا أمر بإعادة الوسم — فقلب التصنيفات لتطابق تنبؤات النموذج يزيل بالضبط الأمثلة التي كانت ستصحّحه.

فحوصات تشخيصية

• احسب معامل كابا لكل فئة على عيّنة موسومة مرتين. فدون 0.7 تقريبًا على الفئة الحرجة تكون التصنيفات هي القيد الفعلي.
• قارن الاتفاق الخام بمعامل كابا. فالفجوة الكبيرة تعني أن الرقم الخام متضخم بفئة أغلبية سهلة.
• اقرأ مصفوفة التباس المقيّمين بحثًا عن عدم تماثل. فالاختلاف الاتجاهي يدل على مشكلة في المعيار لا على قلة عناية.
• ارسم توزيع التصنيفات بحسب المفتّش وبحسب الوردية. فالقفزة عند حدّ وردية ضوضاء منهجية.
• رتّب أمثلة التدريب بحسب ثقة النموذج بها خارج الطيّة وافحص أدناها. فالتصنيفات الخاطئة الحقيقية تتجمّع هناك.
• تحقّق مما إذا كانت أخطاء النموذج تتركّز على الصور نفسها التي اختلف عليها المفتّشون؛ فإن كان كذلك فقد بلغ النموذج سقف التصنيفات لا حدّ قدرته.

القيود والمتطلبات المسبقة

• التعلّم الواثق يُظهر مرشحين لا أحكامًا؛ فكل عنصر مُعلَّم ما زال يحتاج بتًّا بشريًا.
• إعادة الوسم لمطابقة تنبؤات النموذج تعزّز أي انحياز يحمله أصلًا وقد تزيد السقف سوءًا.
• الضوضاء المعتمدة على الحالة في الأمثلة الملتبسة فعلًا لا يمكن إزالتها كليًا، بل جعلها متسقة بقاعدة صريحة.
• معامل كابا يعتمد على انتشار الفئات، فقيمه ليست قابلة للمقارنة المباشرة بين مجموعات بمعدلات عيوب مختلفة.

أنواع الضوضاء الثلاثة وما يتطلبه كلٌّ منها

تظهر جميعها كالاستواء نفسه لكنها تستجيب لتدخلات مختلفة تمامًا.

المزيد من بيانات التدريب يفيد الصف الأول وحده. أما الثلاثة الأخرى فتتطلب تغييرًا في كيفية إنتاج التصنيفات، وذلك قرار عملية لا قرار نمذجة.

الخلاصة

• اختلاف المقيّمين هو ما يحدد سقف الدقة؛ ولا يحرّكه أي تغيير في البنية.
• قِس الاتفاق المصحَّح بالمصادفة لكل فئة، لأن الاتفاق الخام متضخم بفئة الأغلبية السهلة.
• ميّز بين الضوضاء العشوائية والمعتمدة على الفئة والمعتمدة على الحالة — فالمزيد من البيانات يفيد الأولى وحدها.
• استخدم ثقة النموذج لترتيب التصنيفات للمراجعة البشرية، لا للكتابة فوقها تلقائيًا.
• المجموعة الذهبية المبتوت فيها بالإجماع هي ما يجعل النتائج قابلة للمقارنة بين إصدارات النموذج.

الأسئلة الشائعة

مواضيع وحلول ذات صلة

• ADASYN: Generating Where the Model Is Actually Struggling
• Class Imbalance: When 95% Accuracy Means the Model Found Nothing
• Data Leakage: The Model That Only Works Before Deployment
• Smart Inspection
• تسرّب البيانات: النموذج الذي ينجح قبل النشر فقط
• القيم الشاذة: التمييز بين حساس معطّل ووحدة تبريد معطّلة
• تحيز الاختيار: حين لا تحتوي بياناتك إلا على من أكمل الخدمة
• التكرار العشوائي للعينات: التكرار بوصفه قرارًا مقصودًا