تسرّب البيانات: النموذج الذي ينجح قبل النشر فقط

ما المشكلة التي يعالجها هذا الحل؟

تبني شركة مرافق نموذجًا لتعطّل المضخات على سنتين من تاريخ الحساسات. ويأتي مقياس ROC-AUC بالتحقق المتقاطع عند 0.98. فيطلقه الفريق. وخلال الربع التالي لا يتنبأ بشيء مفيد تقريبًا، والأعطال التي يرصدها كان مخططو الصيانة قد جدولوها أصلًا.

أمران أخفقا. الأول أن الصفوف خُلطت عشوائيًا قبل التقسيم، فوقعت قراءات بعد عشر دقائق من العطل في مجموعة التدريب وقراءات قبله بعشر دقائق في مجموعة الاختبار — فكان النموذج يستوفي داخل حدث واحد رآه بالفعل.

والثاني أن إحدى الخصائص كانت `work_order_raised` التي يملؤها نظام الصيانة. وهي موجودة في الجدول التاريخي وهي نتيجة للعطل لا مؤشر عليه. ووقت التنبؤ تكون فارغة دائمًا. فكان النموذج قد تعلّم قراءة الإجابة.

كيف يعمل الحل؟

اطرح سؤالًا واحدًا على كل خاصية: هل ستوجد هذه القيمة، بهذه القيمة تحديدًا، في اللحظة التي يجب أن يُتخذ فيها التنبؤ؟ فإن كان الجواب لا، أو كانت تُملأ بعملية تجري بعد الحدث، فهي تتسرّب.

قسّم زمنيًا كل ما له ترتيب زمني. فالتدريب على الماضي والاختبار على المستقبل هو التقسيم الوحيد الذي يعكس كيفية استخدام النموذج.

قسّم حسب المجموعة حيث تتشارك السجلات كيانًا واحدًا. فكل قراءات مضخة واحدة، وكل صور مريض واحد، وكل معاملات حساب واحد، يجب أن تقع كليًا في جانب واحد من التقسيم.

لائم كل تحويل داخل الطيّة. فالمُقيّسات والمُعوِّضات والمُرمِّزات ومولّدات العينات يجب أن تتعلّم معاملاتها من بيانات التدريب وحدها، وإلا تدفّقت إحصاءات مجموعة الاختبار عكسيًا إلى التدريب.

1. 1
   دخول المعلومة إلى مجموعة الخصائص يُدرَج عمود مشتق من النتيجة، أو محسوب باستخدام مجموعة البيانات كاملةً، ضمن المدخلات.
2. 2
   النموذج يجدها يستغل التحسين أقوى إشارة متاحة، والخاصية المتسرّبة هي الأقوى بحكم بنائها.
3. 3
   التحقق يؤكدها يحمل تقسيم التحقق التلوّث نفسه، فترتفع النتيجة بدل أن تنخفض.
4. 4
   لا أحد يشكّك في الرقم تُقدَّم النتيجة المرتفعة على أنها نجاح. وهذه هي النقطة التي كان ينبغي الاشتباه بالتسرّب عندها.
5. 5
   التشغيل يزيلها عند الاستدلال يكون الحقل المتسرّب فارغًا أو يكون المستقبل مجهولًا فعلًا، فينهار الأداء إلى قدرة النموذج الحقيقية.

البنية المرجعية

يدخل التسرّب من أربع نقاط. ولكلٍّ انضباط مختلف يمنعه، والمسار الذي يحرس واحدة منها فقط ليس محميًا.

خيارات النشر: أقوى دفاع بنيوي هو مخزن خصائص بدلالات زمنية صريحة، بحيث تُسترجَع قيمة الخاصية دائمًا كما كانت في ختم زمن التنبؤ لا كما هي اليوم.

القدرات الرئيسية

التكاملات

يُمنع التسرّب في منصة البيانات أكثر مما يُمنع في شيفرة النموذج، لأن الضمانات يجب أن تصمد عبر كل إعادة تدريب.

حالات الاستخدام والقطاعات

منهجية التنفيذ

1. 1
   حصر الخصائص ومساءلتها لكل خاصية، حدّد هل توجد وقت التنبؤ وما العملية التي تملؤها.
2. 2
   اختيار التقسيم عمدًا زمني للمسائل الزمنية، ومُجمَّع للكيانات المتكررة، وكلاهما حيث ينطبق كلاهما.
3. 3
   نقل كل شيء إلى المسار لا ملاءمة لأي تحويل خارج الطيّة، بما يشمل التقييس والتعويض وإعادة أخذ العينات.
4. 4
   فرز الخصائص المشبوهة قيّم كل خاصية منفردة؛ فأي خاصية شبه مثالية بمفردها مرشّحة للتسرّب.
5. 5
   إعادة ضبط التوقعات أبلغ أصحاب المصلحة بالنتيجة الأمينة قبل أن يصير الرقم السابق هو الهدف.

الأمن وخيارات النشر

قد يغيّر حذف خاصية متسرّبة البيانات التي يحتاجها النموذج، وأحيانًا يقلّل حساسية مجموعة التدريب — وهو أثر جانبي مفيد يستحق التوثيق. احتفظ بتدقيق توفّر الخصائص كوثيقة حوكمة: فحين يسأل جهة رقابية أو مدقق داخلي عن سبب اختلاف أداء النموذج في التشغيل عنه في التحقق، تكون تلك الوثيقة هي الجواب.

مثال عملي

مجموعة بيانات المضخات نفسها مُقيَّمة بثلاث طرق، لإظهار حجم ما كان تسرّبًا من النتيجة.

1. تقسيم عشوائي بكل الخصائص. ROC-AUC = 0.98. تظهر صفوف من حدث العطل نفسه على الجانبين، وتُدرَج `work_order_raised`.
2. تقسيم عشوائي مع حذف العمود المتسرّب. ROC-AUC = 0.91. حذف الخاصية المشتقة من الهدف كلّف سبع نقاط.
3. تقسيم زمني مع حذف العمود المتسرّب. ROC-AUC = 0.74. التدريب على الأشهر الثمانية عشر الأولى والاختبار على الستة الأخيرة يزيل الأفضلية الزمنية.
4. تقسيم زمني مع تجميع حسب المضخة. ROC-AUC = 0.71. لا تظهر أي مضخة في التدريب والاختبار معًا.

الرقم الأمين هو 0.71 لا 0.98. سبع وعشرون نقطة من الأداء الظاهري كانت تسرّبًا. وقد يظل نموذج عند 0.71 مجديًا تجاريًا — لكن النسخة عند 0.71 وحدها هي التي كانت ستصمد بعد النشر، وذلك الرقم وحده هو ما كان ينبغي أن يصل إلى اللجنة التوجيهية.

مثال برمجي

عادتان تمنعان معظم التسرّب: وضع كل تحويل داخل Pipeline، واستخدام مُقسِّم يحترم الزمن والمجموعات.

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.impute import SimpleImputer
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.model_selection import TimeSeriesSplit, GroupKFold, cross_val_score

# WRONG - the scaler sees the whole dataset, including the test fold.
# X_scaled = StandardScaler().fit_transform(X)
# scores = cross_val_score(model, X_scaled, y, cv=5)

# RIGHT - every transformation is refitted inside each training fold.
pipe = Pipeline([
    ("impute", SimpleImputer(strategy="median")),
    ("scale", StandardScaler()),
    ("clf", GradientBoostingClassifier(random_state=0)),
])

# Temporal data: never shuffle. Train on the past, test on the future.
ts = TimeSeriesSplit(n_splits=5)
print("time-aware:", cross_val_score(pipe, X, y, cv=ts, scoring="roc_auc").mean().round(3))

# Repeated entities: keep every pump entirely on one side of the split.
gk = GroupKFold(n_splits=5)
print("grouped:", cross_val_score(pipe, X, y, cv=gk, groups=pump_id, scoring="roc_auc").mean().round(3))

# Cheap leakage screen: a single feature that alone predicts almost perfectly.
from sklearn.tree import DecisionTreeClassifier
for col in X.columns:
    auc = cross_val_score(DecisionTreeClassifier(max_depth=1),
                          X[[col]], y, cv=ts, scoring="roc_auc").mean()
    if auc > 0.90:
        print(f"SUSPECT: {col} alone reaches AUC {auc:.3f}")

نتيجتا تحقق متقاطع أمينتان وقائمة بالأعمدة المشبوهة منفردةً. فأي خاصية واحدة تبلغ AUC فوق 0.90 بمفردها تكون في الغالب الأعم مشتقة من الهدف لا مؤشرة عليه.

فحوصات تشخيصية

• قيّم كل خاصية على حدة. فعمود واحد يبلغ AUC فوق 0.90 بمفرده يكون في الغالب مشتقًا من الهدف.
• قارن أداء التقسيم العشوائي بأداء التقسيم الزمني. فالفجوة الكبيرة تسرّب زمني.
• تحقّق مما إذا كان أي معرّف كيان يظهر في مجموعتَي التدريب والاختبار معًا.
• أكّد ملاءمة كل مُقيّس ومُعوِّض ومُرمِّز داخل الطيّة لا على البيانات كاملةً.
• اسأل متى تُكتب كل خاصية فعليًا. فكل ما تملؤه عملية لاحقة بعد الحدث يتسرّب بحكم التعريف.
• تأكّد من أن اختيار الخصائص والبحث عن المعاملات الفائقة لم يرَ مجموعة الاختبار النهائية.

القيود والمتطلبات المسبقة

• ليس كل تسرّب قابلًا للكشف إحصائيًا؛ فبعضه يتطلب معرفة مجالية بكيفية ملء الحقل.
• التقسيم الزمني يقلّل حجم التدريب الفعلي ويخفض النتيجة المُبلَّغ عنها عادةً، وهو ما قد يكون صعبًا سياسيًا بعد تداول رقم مرتفع.
• التقسيم المُجمَّع قد يترك مجموعات قليلة جدًا لتقدير مستقر في البيانات الصغيرة.
• الصحة الزمنية مكلفة عند تركيبها لاحقًا على مستودع لم يُصمَّم لها.

أنواع التسرّب الأربعة

تظهر جميعها بشكل متطابق كنتيجة متضخمة. أما التشخيص والمعالجة فيختلفان.

قد يكون المسار محروسًا من نوع واحد ومفتوحًا على مصراعيه لآخر؛ افحص الأربعة بدل افتراض أن كائن Pipeline يغطيها.

الخلاصة

• التسرّب هو التدريب على معلومات لن توجد وقت التنبؤ.
• يضخّم نتيجة التحقق لأن مجموعة التحقق تحمل التلوّث نفسه.
• هناك أربعة أنواع متمايزة، وكائن Pipeline يحرس واحدًا منها فقط.
• قسّم زمنيًا حين تكون البيانات مرتّبة، وحسب المجموعة حين تتكرر الكيانات.
• النتيجة المرتفعة بشكل غير متوقع سبب للتحقيق لا للإطلاق.

الأسئلة الشائعة

مواضيع وحلول ذات صلة

• Class Imbalance: When 95% Accuracy Means the Model Found Nothing
• SMOTE: Inventing Minority Examples Without Copying Them
• Duplicate Data: When One Patient Becomes Four Records
• AI Products Portfolio
• القيم الشاذة: التمييز بين حساس معطّل ووحدة تبريد معطّلة
• تكرار البيانات: عندما يصبح المريض الواحد أربعة سجلات
• تقنية SMOTE: توليد أمثلة للفئة الأقل دون نسخها
• تحيز الاختيار: حين لا تحتوي بياناتك إلا على من أكمل الخدمة