التكرار العشوائي للعينات: التكرار بوصفه قرارًا مقصودًا

ما المشكلة التي يعالجها هذا الحل؟

تحتفظ شركة تأمين مركبات بـ 84,000 مطالبة مسوّاة. وأكدت إدارة التحقيقات الخاصة 290 منها كاحتيال — أي نحو واحدة من كل 290 مطالبة. ويُبلّغ نموذج التعزيز التدرّجي الأساسي عن دقة مرتفعة ولا يُحيل شيئًا تقريبًا، لأن التنبؤ بـ«مطالبة سليمة» لكل حالة هو أرخص وسيلة لتقليل الخسارة.

ولدى الفريق الخصائص المتوقعة: المدة بين بدء الوثيقة والإخطار الأول، وتكرار ورشة الإصلاح نفسها عبر مطالبات متعددة، وعدم تطابق نقطة الارتطام المُبلَّغ عنها مع أعمال الصفائح المفوترة، وعدد الركاب المطالبين بتعويض إصابة، وما إذا كانت صور المُخمِّن قد التُقطت في الورشة لا في موقع الحادث.

ولا يفيد أيٌّ من ذلك ما دامت إشارة التدريب مهيمَنًا عليها بـ 83,710 مطالبات سليمة. فسجلات الاحتيال الـ290 تسهم بقدر ضئيل في الخسارة الإجمالية بحيث يستطيع النموذج تجاهلها بأمان، ولا تُستخدم تلك الحقول إطلاقًا.

كيف يعمل الحل؟

التكرار العشوائي يغيّر الحساب لا البيانات. فتكرار الحالات الـ290 المؤكدة حتى تمثّل مثلًا واحدة من كل أربع في طيّة التدريب يعني أن دالة الخسارة صارت تدفع ثمنًا حقيقيًا عند إغفالها.

ولأنه يكرّر ولا يستوفي، فهو آمن مع الحقول الفئوية التي تعجّ بها هذه البيانات — معرّف الورشة، ونوع الوثيقة، والمنطقة، ونقطة الارتطام. فلا يستطيع أي أسلوب صناعي حساب متوسط بين رمزَي ورشة لينتج شيئًا ذا معنى.

والكلفة هي ظهور مكرر. فتلك المطالبات الـ290 تظهر مرات كثيرة لكل منها، فيستطيع نموذج مرن ملاءمتها فرديًا بدل تعلّم النمط الذي تشترك فيه. وحدود العمق والإيقاف المبكر والتحقق المتقاطع الأمين هي ما يكبح ذلك.

والكلفة الثانية هي المعايرة. فبعد التكرار تعكس احتمالات النموذج المتوقعة النسبة المُعاد معاينتها لا النسبة الحقيقية بواحد من 290. وأي عملية لاحقة تتعامل مع الدرجة كاحتمال احتيال ستكون خاطئة ما لم تُعاد معايرة الدرجات.

1. 1
   التقسيم أولًا أنشئ طيّات التدريب والتحقق قبل أي إعادة معاينة، حتى لا يظهر أي صف مكرر على الجانبين.
2. 2
   اختيار نسبة مستهدفة حدّد نسبة الفئة الأقل في طيّة التدريب. والتوازن الكامل قيمة افتراضية لا توصية.
3. 3
   السحب مع الإرجاع اسحب صفوف الفئة الأقل عشوائيًا مع الإرجاع حتى بلوغ العدد المستهدف. فتُسحب بعض الصفوف مرات كثيرة وأخرى مرة واحدة.
4. 4
   التدريب على الطيّة الموسّعة يرى المصنّف الآن الفئة الأقل بما يكفي للتأثير في التدرّج.
5. 5
   إعادة المعايرة وتحديد الحدّ أعِد ربط درجات النموذج باحتمالات الواقع، ثم اختر حدّ التشغيل مقابل كلفة الإحالة مقارنةً بكلفة احتيال فائت.

البنية المرجعية

أربع طبقات تحدد ما إذا كان التكرار سيفيد أم سينتج نموذجًا حافظًا فحسب.

خيارات النشر: بيانات المطالبات بيانات شخصية وتكون عادةً قابلة لتعريف حامل الوثيقة. وإعادة المعاينة تُنتج نسخًا إضافية من سجلات حقيقية لا سجلات صناعية، فترث مجموعة التدريب تصنيف المصدر دون أي تخفيف.

القدرات الرئيسية

التكاملات

يعيش التكرار في مسار التدريب، لكن نتائجه تظهر في سير عمل المطالبات، حيث تتحول الدرجات إلى إحالات والإحالات إلى عبء عمل.

حالات الاستخدام والقطاعات

منهجية التنفيذ

1. 1
   عدّ المجموعة المؤكدة حدّد عدد حالات الاحتيال المبتوت فيها وطريقة تأكيدها. فدون مئة حالة متمايزة تقريبًا لا تكون المعاينة هي القيد الفعلي.
2. 2
   حساب معامل التكرار اشتقّه من النسبة المستهدفة وافحصه. فمعامل يتجاوز الخمسين تقريبًا يستدعي هدفًا أخف.
3. 3
   تقييد النموذج حُدّ العمق، واضبط حدًّا أدنى لحجم الورقة، وفعّل الإيقاف المبكر قبل رفع النسبة.
4. 4
   إعادة المعايرة لائم معايرة تساوقية أو معايرة Platt على بيانات لم تُمس حتى تُقرأ الدرجات كاحتمالات.
5. 5
   ضبط الحدّ على الطاقة اختر نقطة التشغيل من عدد الإحالات التي يستطيع المحققون معالجتها فعليًا.

الأمن وخيارات النشر

التكرار العشوائي يضاعف سجلات حاملي وثائق حقيقية داخل مجموعة التدريب. وخلافًا للأساليب الصناعية لا توجد خطوة إخفاء هوية إطلاقًا، فتحمل المجموعة المُعاد معاينتها تصنيف البيانات الشخصية وضوابط الوصول نفسها تمامًا كالمصدر. أبقِ الطيّة المُعاد معاينتها داخل بيئة التدريب، ولا تصدّرها للمقارنة المرجعية، واحذفها مع أدوات التدريب بدل الاحتفاظ بها كمجموعة بيانات مريحة.

مثال عملي

حساب الأرقام على طيّة تدريب واحدة من بيانات المطالبات — 67,200 مطالبة سليمة و232 حالة احتيال مؤكدة بعد تقسيم 80/20.

1. استهداف واحدة من أربع. بقيمة p = 0.25 وN_maj = 67,200، يكون عدد حالات الاحتيال المطلوب 0.25 × 67,200 ÷ 0.75 = 22,400.
2. معامل التكرار. سحب 22,400 من 232 مطالبة متمايزة يعني ظهور كل مطالبة حقيقية نحو 97 مرة في المتوسط.
3. ما يراه النموذج. مطالبة اصطدام مُدبَّر واحدة برمز ورشة غير معتاد صارت تسهم بنحو 97 ضعف وزنها الأصلي في التدرّج.
4. الأثر على الدرجات. يرتفع متوسط الاحتمال المتوقع للنموذج نحو 0.25، بينما يبقى المعدل الأساسي الحقيقي 0.0035.

سبع وتسعون نسخة من مطالبة واحدة هي التقنية كلها في رقم واحد. وهي تفسّر تحسّن الاستدعاء — إذ صارت الفئة مرئية أخيرًا — وتفسّر كذلك لماذا سيفرط نموذج عميق غير مقيَّد في ملاءمة تلك المطالبات الـ232 بعينها بدل السلوك الذي تمثّله. أما هدف أخف مثل p = 0.10 فيعطي معامل تكرار قرابة 30 وهو عادةً نقطة البداية الأفضل.

مثال برمجي

أمران يهمّان في الشيفرة: وقوع المولّد داخل الطيّة، وإعادة معايرة الدرجات الخام قبل أن يتعامل معها أحد كاحتمالات.

import numpy as np
from sklearn.model_selection import StratifiedKFold, train_test_split
from sklearn.ensemble import HistGradientBoostingClassifier
from sklearn.calibration import CalibratedClassifierCV
from sklearn.metrics import average_precision_score, brier_score_loss
from imblearn.over_sampling import RandomOverSampler
from imblearn.pipeline import Pipeline

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, stratify=y, random_state=11,
)

# sampling_strategy is the minority:majority ratio AFTER resampling.
# 0.33 -> one minority row for every three majority rows.
pipe = Pipeline([
    ("ros", RandomOverSampler(sampling_strategy=0.33, random_state=11)),
    ("clf", HistGradientBoostingClassifier(
        max_depth=4, early_stopping=True, random_state=11)),
])
pipe.fit(X_train, y_train)
raw = pipe.predict_proba(X_test)[:, 1]

# Oversampling shifts the score distribution away from the true base rate.
# Calibrate on data the sampler never touched.
calibrated = CalibratedClassifierCV(pipe, method="isotonic", cv=5)
calibrated.fit(X_train, y_train)
cal = calibrated.predict_proba(X_test)[:, 1]

print("base rate:      ", round(y_test.mean(), 5))
print("mean raw score: ", round(raw.mean(), 4))
print("mean cal score: ", round(cal.mean(), 4))
print("PR-AUC raw:     ", round(average_precision_score(y_test, raw), 3))
print("Brier raw:      ", round(brier_score_loss(y_test, raw), 5))
print("Brier calibrated:", round(brier_score_loss(y_test, cal), 5))

# Referral capacity is finite: pick the threshold from the budget, not from 0.5.
capacity = 400
threshold = np.sort(cal)[-capacity]
print("threshold for", capacity, "referrals:", round(threshold, 4))

يقع متوسط الدرجة الخام أعلى بكثير من المعدل الأساسي الحقيقي بينما يقترب متوسط الدرجة المُعايَرة منه، ويتحسّن مقياس Brier بعد المعايرة حتى حين يبقى PR-AUC كما هو. فجودة الترتيب وجودة الاحتمال خاصيتان منفصلتان، والتكرار يضرّ بالثانية وحدها.

فحوصات تشخيصية

• احسب معامل التكرار صراحةً. فظهور مطالبة واحدة مئات المرات خطر حفظ لا استراتيجية نمذجة.
• قارن متوسط الدرجة المتوقعة بالمعدل الأساسي الحقيقي. فالفجوة الكبيرة تؤكد تشويه المعايرة الذي يُحدثه التكرار.
• افحص مقياس Brier قبل المعايرة وبعدها؛ فـ PR-AUC وحده لن يكشف المشكلة.
• تأكّد من عدم ظهور أي صف مكرر في طيّتَي التدريب والتحقق معًا.
• افحص أعلى الخصائص أهميةً. فإن هيمن معرّف ورشة أو رقم مطالبة، فقد تعلّم النموذج مطالبات بعينها لا سلوكًا.
• أعد التشغيل ببذور عشوائية متعددة. فالتباين الكبير يدل على أن النتيجة تتوقف على أي المطالبات القليلة سُحبت أكثر.

القيود والمتطلبات المسبقة

• لا يضيف معلومات؛ فالنموذج ما زال يتعلّم من المطالبات الـ290 المتمايزة نفسها مهما تكرّر نسخها.
• الاحتمالات المتوقعة لم تعد تعكس المعدل الأساسي الحقيقي دون إعادة معايرة.
• زمن التدريب ينمو مع حجم الطيّة المُعاد معاينتها، وهو أمر مهم حين تكون الفئة الأكبر ضخمة.
• النماذج المرنة تلائم الصفوف المكررة فرديًا، فتنتج نتائج تحقق لن تصمد أمام مطالبات جديدة.

التكرار العشوائي بين البدائل

يقود الاختيارَ نوعُ الخصائص وحجم الفئة الأقل أكثر مما تقوده درجة التعقيد.

لجدول مطالبات تغلب عليه الحقول الفئوية مع بضع مئات من الحالات المؤكدة، يكون التكرار العشوائي مع نموذج مقيَّد وإعادة معايرة صريحة خيارًا أول قابلًا للدفاع عنه.

الخلاصة

• التكرار العشوائي ينسخ صفوف الفئة الأقل؛ فيغيّر مقدار الظهور لا المحتوى المعلوماتي.
• معامل التكرار ينتج عن النسبة المستهدفة وينبغي حسابه قبل التدريب لا استنتاجه بعده.
• هو الخيار الآمن حين تكون الخصائص فئوية، لأن شيئًا لا يُستوفى.
• الاحتمالات المتوقعة تنزاح عن المعدل الأساسي الحقيقي ويجب إعادة معايرتها.
• قيّد سعة النموذج، وإلا حُفظت بضع مئات من المطالبات بدل تعميمها.

الأسئلة الشائعة

مواضيع وحلول ذات صلة

• Class Imbalance: When 95% Accuracy Means the Model Found Nothing
• SMOTE: Inventing Minority Examples Without Copying Them
• ADASYN: Generating Where the Model Is Actually Struggling
• Random Undersampling: Throwing Away Data on Purpose
• AI Products Portfolio
• القيم الشاذة: التمييز بين حساس معطّل ووحدة تبريد معطّلة
• تكرار البيانات: عندما يصبح المريض الواحد أربعة سجلات
• تقنية ADASYN: التوليد حيث يتعثّر النموذج فعلًا