عدم توازن الفئات: حين تعني دقة 95% أن النموذج لم يكتشف شيئًا

ما المشكلة التي يعالجها هذا الحل؟

يُطلق فريق مكافحة الاحتيال نموذجًا بدقة 95%. وفي الشهر الأول لا يرصد النموذج شيئًا. كان التوزيع 950 معاملة سليمة مقابل 50 معاملة احتيال، والتنبؤ بـ«سليمة» في كل مرة يحقق 95% بالضبط. لم يكن هذا الرقم يقيس الاكتشاف في أي لحظة.

ويتكرر النمط نفسه حيثما كان الحدث المهم نادرًا: عيب في خط إنتاج تبلغ جودته 99.2%، أو حدث أمني خلال أسبوع من تسجيلات كاميرات خالية من الحوادث، أو مرض موجود لدى 3% من الفئة المفحوصة. وفي كل حالة تكون الفئة الأكبر كافية للهيمنة على دالة الخسارة، فتصبح أرخص وسيلة لتقليل الخطأ هي تجاهل الفئة الأقل تمامًا.

كيف يعمل الحل؟

غيّر المقياس أولًا قبل المساس بالبيانات. تبقى مقاييس Precision وRecall وF1 وPR-AUC ذات دلالة حين تكون إحدى الفئات نادرة، بينما تفقد الدقة دلالتها. هذه الخطوة لا تكلّف شيئًا وكثيرًا ما تكشف أن النموذج لم يكن جيدًا كما أُبلغ عنه.

ثم حدّد أي الخطأين أغلى ثمنًا. فحالة احتيال فائتة وعميل موسوم خطأً ليسا كلفةً متكافئة، وحد القرار — لا النموذج — هو الموضع الذي تُضبط فيه هذه الموازنة.

وبعد ذلك فقط انظر في إعادة أخذ العينات. فزيادة عينات الفئة الأقل، أو تقليل عينات الفئة الأكبر، أو توليد أمثلة صناعية عبر SMOTE أو ADASYN، كلٌّ منها يغيّر توزيع التدريب بطريقة مختلفة، ولكلٍّ نمط إخفاق خاص به.

1. 1
   قياس التوزيع احسب عدد الأمثلة لكل فئة داخل كل تقسيم. فوجود عدم توازن في التدريب دون الاختبار، أو العكس، مشكلة مختلفة وأخطر.
2. 2
   بناء خط أساس قيّم نموذجًا يتنبأ دائمًا بالفئة الأكبر. أي نموذج حقيقي يجب أن يتفوق عليه في Recall وPR-AUC، لا في الدقة.
3. 3
   اختيار مقياس التشغيل اختر المقياس الذي يطابق القرار المُؤتمت، واتفق عليه مع مالك العملية قبل بدء الضبط.
4. 4
   تعديل التدريب طبّق أوزان الفئات أو إعادة أخذ العينات أو دالة خسارة حساسة للتكلفة. وأوزان الفئات هي الأقل تدخلًا وينبغي تجربتها أولًا.
5. 5
   ضبط حد القرار امسح حد القرار عبر مجموعة التحقق واختر النقطة التي تطابق التكلفة المتفق عليها لكل نوع من الخطأ.

البنية المرجعية

يُعالَج عدم التوازن عند أربع نقاط مستقلة، والخلط بينها هو أكثر أسباب هدر الجهد شيوعًا.

خيارات النشر: النشر داخل مقر العميل أو على الحافة أو في سحابة خاصة بحسب متطلبات إقامة البيانات. فبيانات الاحتيال والصحة والفحص الحكومي كثيرًا ما لا يمكن أن تغادر نطاق الجهة، وهو ما يقيّد موضع التدريب والمراقبة.

القدرات الرئيسية

التكاملات

معالجة عدم التوازن جزء من مسار التدريب لا منتج منفصل. ويجب أن تصمد أمام إعادة التدريب، ما يعني أن أسلوب أخذ العينات ينتمي إلى شيفرة مُدارة بالإصدارات لا إلى دفتر ملاحظات شغّله أحدهم مرة واحدة.

حالات الاستخدام والقطاعات

منهجية التنفيذ

1. 1
   الاتفاق على التكلفة حدّد مع مالك العملية كلفة الحالة الموجبة الفائتة وكلفة الإنذار الكاذب. فبدون ذلك يفقد ضبط حد القرار هدفه.
2. 2
   تثبيت المقياس استبدل الدقة في كل تقرير ولوحة متابعة. فإبقاؤها ظاهرة يضمن أن يقتبسها أحدهم منفردة.
3. 3
   تجربة أوزان الفئات ابدأ بـ class_weight='balanced' أو ما يعادلها. فهي معامل واحد وكثيرًا ما تُغلق معظم الفجوة.
4. 4
   إعادة أخذ العينات عند الحاجة أضف SMOTE أو ADASYN أو التقليل داخل طيّة التحقق المتقاطع، وقارن بأمانة مع خط الأساس الموزون.
5. 5
   الضبط والمراقبة اختر حد القرار من منحنى Precision-Recall، ثم راقب المعدل الأساسي واستدعاء كل فئة بعد النشر.

الأمن وخيارات النشر

بيانات تدريب نماذج الاحتيال والصحة والأمن من أكثر ما تملكه المؤسسة حساسية. أبقِها داخل النطاق المعتمد، واستخدم مبدأ الحد الأدنى من الصلاحيات للوصول إلى بيئة التدريب، وتعامل مع أمثلة الفئة الأقل المولّدة صناعيًا على أنها بيانات شخصية مشتقة لا بيانات مجهولة الهوية — فأسلوب SMOTE يستوفي بين سجلات حقيقية وقد يحمل بنية قابلة للتعريف.

مثال عملي

لنأخذ 1000 معاملة: 950 سليمة و50 احتيالية. النموذج الذي يجيب دائمًا بـ«سليمة» يُنتج ما يلي.

1. الدقة (Accuracy). 950 إجابة صحيحة من 1000 = 95.0%. هذا هو الرقم الذي يصل إلى اللجنة التوجيهية.
2. الاستدعاء (Recall) للاحتيال. صفر من أصل 50 حالة احتيال = 0.0%. هذا هو الرقم الذي يهم فعلًا.
3. الدقة الموجبة (Precision) للاحتيال. غير معرّفة — لأن النموذج لا يتنبأ بالاحتيال إطلاقًا، فلا توجد تنبؤات موجبة ليكون صائبًا بشأنها.
4. مقياس F1 للاحتيال. 0.0، لأنه المتوسط التوافقي بين Precision وRecall، وقيمة Recall صفر.

مقياسان على التنبؤات نفسها: 95% و0%. واحد فقط منهما يصف ما إذا كان النظام يؤدي وظيفته. هذه الفجوة هي «مفارقة الدقة»، ولهذا يسبق قرارُ المقياس قرارَ النمذجة.

مثال برمجي

التفصيل الحاسم هو ترتيب التقسيم. فإعادة أخذ العينات قبل التقسيم تنسخ أو تولّد أمثلة من الفئة الأقل تظهر بعدها على جانبي التقسيم، فترفع نتيجة الاختبار بشكل مضلل وتُخفي المشكلة بدل معالجتها.

from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report, average_precision_score
from imblearn.over_sampling import SMOTE

# 1,000 rows, 5% minority - roughly the fraud shape described above.
X, y = make_classification(
    n_samples=1000, n_features=10, n_informative=4,
    weights=[0.95, 0.05], random_state=42,
)

# Split FIRST. Everything that follows touches training data only.
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.25, stratify=y, random_state=42,
)

# Baseline: no resampling, but tell the loss function the classes differ.
baseline = LogisticRegression(max_iter=1000, class_weight="balanced")
baseline.fit(X_train, y_train)

# SMOTE applied to the TRAINING SPLIT ONLY - never before the split.
X_res, y_res = SMOTE(random_state=42).fit_resample(X_train, y_train)
resampled = LogisticRegression(max_iter=1000)
resampled.fit(X_res, y_res)

for name, model in [("class_weight", baseline), ("smote", resampled)]:
    proba = model.predict_proba(X_test)[:, 1]
    print(name, "PR-AUC:", round(average_precision_score(y_test, proba), 3))
    print(classification_report(y_test, model.predict(X_test), digits=3))

يُسجّل كلا النموذجين دقةً أقل بكثير من نموذج الفئة الأكبر، واستدعاءً أعلى بكثير للفئة الأقل. قارن بينهما بمقياس PR-AUC لا بالدقة؛ ومع فئة أقل تمثّل 5% كثيرًا ما يتغيّر الترتيب بين الأسلوبين بتغيّر البذرة العشوائية، وهذا في حد ذاته مؤشر مفيد على أن الفارق ليس ذا دلالة بعد.

فحوصات تشخيصية

• احسب خط أساس الفئة الأكبر. فإذا كانت دقة النموذج قريبة منه، فقد لا يكون النموذج قد تعلّم شيئًا.
• اقرأ مصفوفة الالتباس لا الدرجة المختصرة. فعمود من الأصفار عند الفئة الأقل دليل قاطع.
• تحقّق مما إذا كانت إعادة أخذ العينات جرت قبل تقسيم التدريب والاختبار أم بعده. فقبله تسرّبٌ ونتيجة الاختبار غير صالحة.
• قارن PR-AUC بـ ROC-AUC. فقد يبدو ROC-AUC قويًا على بيانات شديدة الاختلال بينما تكون Precision عند حد التشغيل غير قابلة للاستخدام.
• تأكّد من أن توزيع الفئات في التشغيل يطابق التوزيع الذي ضُبط عليه حد القرار.

القيود والمتطلبات المسبقة

• إعادة أخذ العينات تغيّر توزيع التدريب لا محتواه المعلوماتي؛ فهي لا تستطيع تصنيع إشارة لا تحملها الخصائص.
• يستوفي SMOTE بين نقاط موجودة من الفئة الأقل، وقد يُنتج أمثلة غير منطقية في الفضاءات الفئوية أو عالية الأبعاد.
• يتخلّص التقليل من أمثلة الفئة الأكبر، ومعها معلومات قد تكون مفيدة عن حدّ الفصل.
• حد القرار المضبوط على معدل أساسي معيّن يصبح خاطئًا حين يتغيّر ذلك المعدل، وهو ما يحدث عادةً.

اختيار أسلوب معالجة عدم التوازن

هذه الخيارات ليست مرتبة تفضيليًا. فالأنسب منها يعتمد على مدى ندرة الفئة الأقل، وعدد الأمثلة المتاحة، وكلفة كل نوع من الخطأ.

عمليًا يكون التسلسل: صحّح المقياس، ثم وازن الفئات، ثم اضبط حد القرار، وبعد ذلك فقط فكّر في التوليد الصناعي.

الخلاصة

• الدقة على بيانات غير متوازنة تقيس المعدل الأساسي لا النموذج.
• غيّر المقياس قبل تغيير البيانات — فهو مجاني وكثيرًا ما يكون حاسمًا.
• أوزان الفئات هي التدخل الأول، والتوليد الصناعي هو التدخل الثالث.
• طبّق أي إعادة أخذ للعينات بعد تقسيم التدريب والاختبار وداخل الطيّة، وإلا فالنتيجة غير صالحة.
• حد القرار هو الموضع الذي تُعبَّر فيه فعليًا عن التكلفة التجارية لكل خطأ.

الأسئلة الشائعة

مواضيع وحلول ذات صلة

• SMOTE: Inventing Minority Examples Without Copying Them
• ADASYN: Generating Where the Model Is Actually Struggling
• Data Leakage: The Model That Only Works Before Deployment
• القيم المفقودة: لماذا تحمل الفجوة نفسها معلومة
• التكرار العشوائي للعينات: التكرار بوصفه قرارًا مقصودًا
• القيم الشاذة: التمييز بين حساس معطّل ووحدة تبريد معطّلة
• تحيز الاختيار: حين لا تحتوي بياناتك إلا على من أكمل الخدمة
• ضوضاء التصنيفات: سقف الدقة الذي لم يضعه أحد عمدًا