التقليل العشوائي للعينات: التخلّص من البيانات عن قصد

ما المشكلة التي يعالجها هذا الحل؟

يستقبل مركز عمليات أمنية مُدار نحو 41 مليون حدث عبر تسعين يومًا متجددة. وبعد الربط تتحول 2.6 مليون منها إلى تنبيهات. ومن تلك أُكِّدت 1,180 حالة كحوادث حقيقية من محللي المستوى الثاني. فتكون النسبة على مستوى التنبيهات قريبة من واحد إلى 2,200.

وتدريب مصنّف لترتيب التنبيهات لأغراض الفرز يصطدم بجدارين منفصلين. الأول حسابي: فالملاءمة على 2.6 مليون صف في كل تجربة تجعل التكرار بطيئًا لدرجة أن الفريق يتوقف عن التجريب. والثاني إحصائي: إذ تهيمن الفئة السليمة على دالة الخسارة هيمنةً تامة فيتقارب النموذج على ترتيب كل شيء بأولوية منخفضة.

والميل الغريزي هو تقليل التنبيهات السليمة. والخطر أن «السليم» ليس شيئًا واحدًا. فهو يضم حركة النسخ الاحتياطي الليلية، ونشر الرقع المجدول، وفحوص الثغرات المصرّح بها، ونشاط حسابات الخدمة، وإعادة اتصال الشبكات الافتراضية الخاصة، وذيلًا طويلًا من ضجيج التطبيقات. والسحب العشوائي المنتظم يأخذ 99% من كل شيء، بما يشمل 99% من الأمثلة الأربعين الوحيدة لفحص مصرّح به — فيصنّف النموذج الفحص المصرّح به التالي كحادثة.

كيف يعمل الحل؟

اجعل السحب طبقيًا. عاين داخل كل نوع فرعي من السلوك السليم بدل المعاينة عبر الفئة الأكبر مجمّعةً، حتى تحتفظ السلوكيات النادرة المشروعة بنسبة أكبر من أمثلتها مما يحتفظ به الضجيج عالي الحجم.

وحيث لا توجد تسميات للأنواع الفرعية، جمّع الفئة الأكبر في عناقيد أولًا ثم عاين داخل العناقيد. فهذا يقارب التقسيم الطبقي مستخدمًا بنية موجودة في البيانات أصلًا.

وفكّر في الأساليب الجماعية بدل سحب واحد. فـ EasyEnsemble يدرّب عدة نماذج، كلٌّ على مجموعة فرعية مختلفة مقلَّلة من الفئة الأكبر، ثم يجمعها — فلا يبقى عبر المجموعة الجماعية إلا القليل من بيانات الفئة الأكبر غير مستخدم.

وميّز التقليل المُستنير عن العشوائي. فروابط Tomek تحذف نقاط الفئة الأكبر الملاصقة مباشرةً لنقطة من الفئة الأقل، فتنظّف الحدّ بدل تخفيف الفئة. وNearMiss يختار نقاط الفئة الأكبر بحسب قربها من الفئة الأقل، فيشحذ الحدّ لكنه شديد الحساسية للضوضاء.

1. 1
   التقسيم قبل المعاينة ابنِ الطيّات أولًا. فتقليل البيانات كاملةً قبل التقسيم يُنتج مجموعة تقييم لم تعد تعكس أحجام التنبيهات الحية.
2. 2
   تعريف طبقات الفئة الأكبر استخدم تصنيف التنبيهات القائم، أو معرّف قاعدة الاكتشاف، أو جولة تجميع حيث لا يوجد تصنيف.
3. 3
   التوزيع لكل طبقة حدّد عدد الصفوف المُبقاة من كل نوع فرعي، مع إبقاء حدّ أدنى للسلوكيات منخفضة الحجم بدل نسبة موحّدة.
4. 4
   السحب دون إرجاع عاين داخل كل طبقة. فلا يتكرر أي صف، والصفوف المحذوفة ببساطة غائبة عن هذه الطيّة.
5. 5
   التقييم على التوزيع الأصلي تحتفظ مجموعتا التحقق والاختبار بالنسبة الحقيقية واحد إلى 2,200، فتعكس الدقة عند حدّ التشغيل عبء العمل الذي سيراه المحللون فعلًا.

البنية المرجعية

يمسّ التقليل أربعة اعتبارات، وأولها فقط يتعلق بنسبة الفئات.

خيارات النشر: بيانات مراكز العمليات تحوي غالبًا معرّفات مستخدمين وأسماء مضيفات وعناوين داخلية. والتقليل يخفّض الحجم لكنه لا يُخفي هوية أي شيء، فتحمل الطيّة المُبقاة متطلبات المعالجة نفسها المطبّقة على مخزن السجلات الكامل.

القدرات الرئيسية

التكاملات

يقع النموذج بين طبقة الربط وقائمة انتظار المحللين، فيكون سطح تكامله هو مسار التنبيهات ونظام إدارة الحالات لا منصة علوم بيانات.

حالات الاستخدام والقطاعات

منهجية التنفيذ

1. 1
   حصر الفئات السليمة اسرد السلوكيات المشروعة المتمايزة داخل الفئة الأكبر وأحجامها قبل اختيار أي معدل معاينة.
2. 2
   ضع الحدود ثم وزّع اضمن حدًّا أدنى لكل نوع فرعي أولًا، ووزّع الباقي بحسب الحجم.
3. 3
   فضّل الأسلوب الجماعي حيث تسمح قدرة المعالجة، درّب عدة نماذج على مجموعات فرعية مختلفة بدل حذف البيانات مرة واحدة إلى الأبد.
4. 4
   قيّم تشغيليًا أبلغ عن الحوادث المرصودة عند ميزانية مراجعة ثابتة إلى جانب PR-AUC.
5. 5
   راقب لكل نوع فرعي تتبّع الإنذارات الكاذبة بحسب السلوك السليم بعد النشر؛ فالنوع الفرعي الذي خُفّف أكثر من اللازم يظهر هنا أولًا.

الأمن وخيارات النشر

طيّة التدريب المعاينة من بيانات مركز العمليات ما زالت تحوي أسماء مضيفات ومعرّفات مستخدمين وبنية شبكة داخلية، وهي بذلك هدف جذّاب بحد ذاتها. أبقِها داخل النطاق نفسه لمخزن السجلات، وطبّق ضوابط الوصول ذاتها، وحدّد تاريخ حذف صريحًا — فمجموعات التدريب المشتقة كثيرًا ما تغفلها سياسات الاحتفاظ المكتوبة للسجلات المصدر. وسجّل الأنواع الفرعية التي خُفّفت، فذلك السجل أول ما يُرجَع إليه حين يظهر نمط إنذارات كاذبة غير مفسَّر بعد أشهر.

مثال عملي

طيّة تدريب واحدة: 944 حادثة مؤكدة و2.08 مليون تنبيه سليم، باستهداف نسبة فئة أقل تبلغ واحدًا من أربعة.

1. عدد الفئة الأكبر المطلوب. بقيمة p = 0.25، أبقِ 944 × 0.75 ÷ 0.25 = 2,832 تنبيهًا سليمًا من أصل 2.08 مليون.
2. معدل الإبقاء في السحب المنتظم. 2,832 ÷ 2,080,000 معدل إبقاء يقارب 0.14%، يُطبَّق بشكل متطابق على كل سلوك سليم.
3. الأثر على نوع فرعي عالي الحجم. حركة النسخ الاحتياطي الليلية تسهم بـ 610,000 تنبيه وتُبقي نحو 830. وهو وفير.
4. الأثر على نوع فرعي منخفض الحجم. فحوص الثغرات المصرّح بها تسهم بـ 40 تنبيهًا عبر النافذة وتُبقي 0.056 — أي صفرًا عمليًا.
5. البديل الطبقي. طبّق حدًّا أدنى قدره 25 صفًا لكل نوع فرعي أولًا، ثم وزّع الباقي تناسبيًا على الطبقات عالية الحجم.

السحب المنتظم يمحو سلوكًا مشروعًا كاملًا من طيّة التدريب. فلا يكون النموذج قد رأى قط فحصًا مصرّحًا به موسومًا كسليم، ويُرتَّب أول فحص يلقاه في التشغيل كحادثة مرجّحة. أما الحدّ الأدنى فيكلّف 25 صفًا من أصل 2,832 ويمنع هذا الصنف من الإنذارات الكاذبة تحديدًا.

مثال برمجي

المقارنة التي تستحق التشغيل هي المنتظم مقابل الطبقي، مقيسةً على تغطية الأنواع الفرعية لا على النتيجة الإجمالية.

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import average_precision_score, precision_recall_curve
from imblearn.under_sampling import RandomUnderSampler, TomekLinks
from imblearn.ensemble import EasyEnsembleClassifier

X_train, X_test, y_train, y_test, sub_train, sub_test = train_test_split(
    X, y, alert_subtype, test_size=0.25, stratify=y, random_state=5,
)

def stratified_undersample(X, y, subtype, target_majority, floor=25, seed=5):
    """Keep a minimum per benign subtype, then distribute the remainder by volume."""
    rng = np.random.default_rng(seed)
    maj = np.where(y == 0)[0]
    groups = pd.Series(subtype).iloc[maj].groupby(lambda i: subtype[maj[i]]).groups
    keep = []
    remaining = target_majority - floor * len(groups)
    total = len(maj)
    for name, idx in groups.items():
        idx = np.asarray(list(idx))
        share = int(round(remaining * (len(idx) / total))) if remaining > 0 else 0
        n = min(len(idx), floor + max(share, 0))
        keep.extend(rng.choice(idx, size=n, replace=False))
    keep = np.concatenate([np.asarray(keep, dtype=int), np.where(y == 1)[0]])
    return X[keep], y[keep]

n_min = int((y_train == 1).sum())
target_maj = int(n_min * 0.75 / 0.25)

# 1. Uniform random undersampling
Xu, yu = RandomUnderSampler(sampling_strategy=0.33, random_state=5).fit_resample(X_train, y_train)

# 2. Stratified undersampling with a per-subtype floor
Xs, ys = stratified_undersample(X_train, y_train, sub_train, target_maj)

# 3. Ensemble over multiple undersampled subsets - little majority data wasted
ens = EasyEnsembleClassifier(n_estimators=10, random_state=5).fit(X_train, y_train)

for name, (Xf, yf) in [("uniform", (Xu, yu)), ("stratified", (Xs, ys))]:
    clf = RandomForestClassifier(n_estimators=300, random_state=5).fit(Xf, yf)
    p = clf.predict_proba(X_test)[:, 1]
    print(name, "PR-AUC:", round(average_precision_score(y_test, p), 3))

print("easyensemble PR-AUC:",
      round(average_precision_score(y_test, ens.predict_proba(X_test)[:, 1]), 3))

# Operational view: at a fixed analyst budget, how many incidents are caught?
budget = 500
scores = ens.predict_proba(X_test)[:, 1]
cut = np.sort(scores)[-budget]
flagged = scores >= cut
print(f"at {budget} alerts reviewed: caught {int(y_test[flagged].sum())} of {int(y_test.sum())}")

ثلاث قيم لـ PR-AUC ورقم تشغيلي واحد. والسطر التشغيلي هو ما يُعرض على مدير مركز العمليات: كم حادثة مؤكدة يُظهرها الترتيب عند عدد ثابت من التنبيهات المراجَعة في كل وردية. وكثيرًا ما يتقارب PR-AUC الإجمالي بين المنتظم والطبقي بينما تختلف الإنذارات الكاذبة على مستوى النوع الفرعي اختلافًا كبيرًا.

فحوصات تشخيصية

• عُدّ الصفوف المُبقاة لكل نوع فرعي سليم. فأي نوع خُفّض إلى صفر مصدرُ إنذارات كاذبة ينتظر التفعيل.
• قارن معدلات الإنذار الكاذب لكل نوع فرعي بين المعاينة المنتظمة والطبقية؛ فالنتيجة الإجمالية ستُخفي الفارق.
• تأكّد من احتفاظ مجموعتَي التحقق والاختبار بالنسبة الأصلية لا بالنسبة المقلَّلة.
• أعد التشغيل ببذور متعددة. فإذا تذبذب PR-AUC بوضوح، فقد حُذف من الفئة الأكبر أكثر مما يسمح بتقدير مستقر.
• تحقّق مما إذا كان كيان — مضيف أو مستخدم أو حساب خدمة — يقع كليًا في جانب واحد من التقسيم، فسجلات مراكز العمليات تتكرر بكثافة لكل كيان.
• قارن بأوزان الفئات على البيانات كاملةً. فإن طابقت الأوزان نتيجة التقليل، فالبيانات المحذوفة لم تكن تشتري شيئًا.

القيود والمتطلبات المسبقة

• الصفوف المحذوفة تختفي من تلك الطيّة كليًا؛ وخلافًا للتكرار لا يمكن تدارك الخسارة بالضبط.
• السحب المنتظم أعمى عن بنية الفئة الأكبر ويحذف بصمت سلوكيات مشروعة نادرة.
• المقاييس الإجمالية تُخفي الضرر، الذي يظهر كإنذارات كاذبة خاصة بأنواع فرعية بعد النشر.
• NearMiss وغيره من المُنتقيات القائمة على القرب حسّاسة للضوضاء وقد تشحذ الحدّ حول نقاط موسومة خطأً.

صيغ التقليل لفرز التنبيهات

الاختيار بين السرعة وجودة الحدّ ومقدار المعلومات التي تقبل خسارتها.

لفرز تنبيهات مراكز العمليات، يكون التقليل الطبقي بحدود دنيا لكل نوع فرعي هو الخيار العملي الافتراضي، وEasyEnsemble هو الترقية حين تسمح ميزانية المعالجة.

الخلاصة

• التقليل هو أسلوب إعادة المعاينة الوحيد الذي يحذف المعلومات نهائيًا.
• «السليم» ليس فئة واحدة؛ والسحب المنتظم يمحو السلوكيات المشروعة منخفضة الحجم كليًا.
• قسّم طبقيًا بحسب النوع الفرعي مع حدّ أدنى لكل طبقة، أو جمّع في عناقيد حيث لا يوجد تصنيف.
• EasyEnsemble يستعيد معظم البيانات المحذوفة بجمع نماذج عبر عدة مجموعات فرعية.
• قيّم على النسبة الأصلية وأبلغ عن الحوادث المرصودة عند ميزانية مراجعة ثابتة للمحللين.

الأسئلة الشائعة

مواضيع وحلول ذات صلة

• Class Imbalance: When 95% Accuracy Means the Model Found Nothing
• Random Oversampling: Duplication as a Deliberate Choice
• SMOTE: Inventing Minority Examples Without Copying Them
• Outliers: Telling a Broken Sensor From a Broken Chiller
• Duplicate Data: When One Patient Becomes Four Records
• SAIF – Cybersecurity
• تكرار البيانات: عندما يصبح المريض الواحد أربعة سجلات
• القيم الشاذة: التمييز بين حساس معطّل ووحدة تبريد معطّلة