تقنية ADASYN: التوليد حيث يتعثّر النموذج فعلًا

ما المشكلة التي يعالجها هذا الحل؟

يدرّب برنامج فحص شبكية العين مصنّفًا لحالات تستدعي الإحالة. ونحو 6% من الصور تستدعي الإحالة. رفعت SMOTE الاستدعاء إلى مستوى قابل للاستخدام، لكن الأخطاء المتبقية تتجمّع في موضع واحد: الحالات الخفيفة التي تبدو قريبة جدًا من السليمة.

وتلك الصور الحدّية هي المهمة سريريًا. فالحالة المتقدمة الواضحة سهلة على النموذج وعلى المُقيّم معًا؛ أما الحالة الهامشية فهي حيث يكسب برنامج الفحص قيمته أو يفقدها. والزيادة المنتظمة توزّع النقاط الصناعية بالتساوي على الفئة الأقل، فتنفق معظم جهدها في المنطقة التي يتقنها النموذج أصلًا.

ويريد الفريق تركيز التوليد حيث يكون المصنّف أضعف — وهو بالضبط ما صُمّمت له ADASYN، وبالضبط سبب وجوب اقترانها بفحص جادّ لجودة التصنيفات أولًا.

كيف يعمل الحل؟

تقيس ADASYN لكل عينة من الفئة الأقل عدد جيرانها الأقرب المنتمين إلى الفئة الأكبر. وتصبح تلك النسبة درجةَ صعوبة.

ثم توزّع ميزانية العينات الصناعية بما يتناسب مع تلك الدرجات. فالنقطة المحاطة بجيران من الفئة الأكبر تتلقى رفقاء صناعيين كثيرين، والمحاطة بأبناء فئتها تتلقى القليل أو لا شيء.

أما التوليد نفسه فهو الاستيفاء ذاته الذي تستخدمه SMOTE. والفارق كله في عدد النقاط المُنشأة حول كل بذرة، لا في كيفية إنشاء كل نقطة.

ولأن الصعوبة وسوء التصنيف يبدوان متطابقين من وجهة نظر الخوارزمية، ينبغي أن يسبق تدقيقُ التصنيفات على العينات الأعلى صعوبةً أي تشغيل لـ ADASYN.

1. 1
   قياس الاختلال احسب إجمالي العينات الصناعية اللازمة لبلوغ نسبة الفئات المطلوبة.
2. 2
   تقييم كل نقطة من الفئة الأقل لكل عينة، أوجد أقرب k جيران عبر مجموعة البيانات كاملةً واحسب نسبة المنتمين منهم إلى الفئة الأكبر.
3. 3
   تطبيع الدرجات اقسم كل درجة على مجموع الدرجات حتى تشكّل توزيعًا على عينات الفئة الأقل.
4. 4
   توزيع الميزانية اضرب ذلك التوزيع في العدد الإجمالي للعينات الصناعية المطلوبة، فينتج عدد التوليد لكل بذرة.
5. 5
   الاستيفاء ولّد لكل بذرة عددها المخصص من النقاط بالاستيفاء نحو جيران مختارين عشوائيًا، تمامًا كما تفعل SMOTE.

البنية المرجعية

تشغل ADASYN الموضع نفسه من المسار الذي تشغله SMOTE، لكنها تضيف اعتمادًا على جودة التصنيفات لا تحمله SMOTE بالدرجة ذاتها.

خيارات النشر: البيانات السريرية والتأمينية لا تستطيع عادةً مغادرة بيئة الجهة، لذا تجري مراجعة التصنيفات وتشغيل التدريب معًا داخل النطاق المعتمد.

القدرات الرئيسية

التكاملات

ADASYN مكوّن في مسار التدريب، لكن نقطة تكامله الحقيقية هي منصة الوسم، لأن جودة مخرجاتها تعتمد على جودة التصنيفات أكثر من معظم المولّدات.

حالات الاستخدام والقطاعات

منهجية التنفيذ

1. 1
   قياس الصعوبة أولًا احسب نسب الجيران وانظر في التوزيع قبل تقرير ما إذا كانت ADASYN مناسبة أصلًا.
2. 2
   تدقيق أصعب العينات راجع النقاط الأعلى ترتيبًا يدويًا. صحّح أو احذف التصنيفات الخاطئة قبل التوليد.
3. 3
   المقارنة مع SMOTE شغّل الاثنين على طيّات متطابقة وأبلغ عن الانحراف المعياري إلى جانب المتوسط.
4. 4
   التحليل حسب المنطقة أكّد ظهور التحسّن في نطاق الحدّ، فهو السبب الوحيد لتفضيل ADASYN.
5. 5
   تثبيت المعاملات سجّل k ونسبة أخذ العينات والبذرة؛ فتوزيع ADASYN حسّاس لها جميعًا.

الأمن وخيارات النشر

تدقيق التصنيفات الذي تعتمد عليه ADASYN يتطلب اطلاعًا بشريًا على السجلات الأصلية، وهو للبيانات السريرية أو التأمينية حدث خاضع للرقابة. سجّل من راجع أي عينات، وأبقِ المراجعة داخل البيئة المعتمدة، وتعامل مع النقاط الصناعية الناتجة كبيانات شخصية مشتقة تحمل تصنيف مصدرها.

مثال عملي

ثلاث صور من الفئة الأقل، وk = 5 جيران لكل منها، وميزانية صناعية إجمالية قدرها 100 نقطة.

1. الصورة أ — في عمق منطقة الفئة الأقل. جار واحد من خمسة ينتمي إلى الفئة الأكبر. r = 0.2.
2. الصورة ب — قرب حدّ الفصل. ثلاثة من خمسة ينتمون إلى الفئة الأكبر. r = 0.6.
3. الصورة ج — شبه محاطة. أربعة من خمسة ينتمون إلى الفئة الأكبر. r = 0.8.
4. التطبيع. المجموع = 1.6، فتكون الحصص 0.125 و0.375 و0.500.
5. التوزيع. تحصل أ على نحو 13 نقطة صناعية، وب على نحو 37، وج على نحو 50.

نصف الميزانية كاملةً يذهب إلى صورة واحدة. فإن كانت ج حالة حدّية صعبة فعلًا، فهذا صحيح تمامًا. وإن كانت قد صُنّفت خطأً، تكون ADASYN قد بنت خمسين مثالًا صناعيًا لخطأ — ولهذا فإن العينات الأعلى في قيمة r هي ما يجب فحصه قبل التشغيل.

مثال برمجي

النمط المفيد هو فحص درجات الصعوبة قبل توليد أي شيء، ثم مقارنة ADASYN بـ SMOTE على الطيّات نفسها.

import numpy as np
from sklearn.neighbors import NearestNeighbors
from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.linear_model import LogisticRegression
from imblearn.over_sampling import ADASYN, SMOTE
from imblearn.pipeline import Pipeline

def difficulty_scores(X, y, minority_label=1, k=5):
    """Fraction of each minority point's neighbours that are majority class."""
    nn = NearestNeighbors(n_neighbors=k + 1).fit(X)
    idx = np.where(y == minority_label)[0]
    _, neigh = nn.kneighbors(X[idx])
    neigh = neigh[:, 1:]              # drop the point itself
    return idx, (y[neigh] != minority_label).mean(axis=1)

idx, r = difficulty_scores(X_train, y_train)
hardest = idx[np.argsort(-r)][:20]
print("inspect these labels first:", hardest.tolist())
print("difficulty range:", r.min().round(2), "to", r.max().round(2))

cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=0)
for name, sampler in [("smote", SMOTE(random_state=0)), ("adasyn", ADASYN(random_state=0))]:
    pipe = Pipeline([("s", sampler), ("clf", LogisticRegression(max_iter=2000))])
    s = cross_val_score(pipe, X_train, y_train, cv=cv, scoring="average_precision")
    print(f"{name}: PR-AUC {s.mean():.3f} +/- {s.std():.3f}")

قائمة بأصعب عشرين عينة من الفئة الأقل لمراجعتها يدويًا، ومدى درجات الصعوبة، ومقارنة متكافئة لـ PR-AUC بين SMOTE وADASYN. وإذا تفوّقت ADASYN بفارق أقل من انحرافها المعياري، فالفارق غير حقيقي.

فحوصات تشخيصية

• ارسم توزيع درجات الصعوبة. فتجمّع كبير عند r قريبة من 1.0 يشير إلى ضوضاء تصنيف لا إلى حدّ صعب.
• افحص يدويًا أعلى عشرين عينة في الدرجة. فإن كان عدد منها موسومًا خطأً بوضوح، صحّح التصنيفات قبل تشغيل ADASYN.
• قارن الأداء لكل نطاق. فإن حسّنت ADASYN الإجمالي دون نطاق الحدّ، فهي لا تفعل ما اخترتها من أجله.
• أبلغ عن الانحراف المعياري عبر الطيّات. ففي الفئات الأقل الصغيرة كثيرًا ما يقع تفوّق ADASYN على SMOTE داخل الضوضاء.
• تحقّق من وجود نقاط بلا أي جار من الفئة الأقل؛ فقد تُخفق ADASYN أو تتصرف بشكل شاذّ مع القيم المعزولة.

القيود والمتطلبات المسبقة

• لا تستطيع ADASYN التمييز بين مثال صعب ومثال خاطئ، وتعامل كليهما كأنه يستحق التضخيم.
• تتجاهل توزيع الفئة الأكبر أثناء الاستيفاء، فقد تقع النقاط الصناعية داخل منطقة الفئة الأكبر.
• التوزيع حسّاس لقيمة k؛ فتغييرها يعيد توزيع الميزانية بشكل كبير.
• في الفئات الأقل الصغيرة أو المتفرقة يكون تقدير الصعوبة غير مستقر وتختفي الميزة على SMOTE.

ADASYN مقابل SMOTE

الاستيفاء نفسه وتوزيع مختلف. والفارق لا يهم إلا حين تكون الأخطاء ساكنة عند حدّ الفصل.

شغّل SMOTE أولًا. وتستحق ADASYN التجربة حين يُظهر تحليل الخطأ أن الإخفاقات المتبقية تقع عند الحدّ، وبعد فحص أصعب التصنيفات فقط.

الخلاصة

• ADASYN هي SMOTE مع ترجيح بالصعوبة لعدد النقاط التي تولّدها كل بذرة.
• تركّز الجهد عند حدّ الفصل، وهو حيث تقع الحالات الحدّية.
• الترجيح نفسه يعني أن نقطة موسومة خطأً تجتذب أكبر حصة من الميزانية الصناعية.
• دقّق العينات الأعلى صعوبةً قبل توليد أي شيء.
• قِسها مقابل SMOTE على طيّات متطابقة وأبلغ عن التباين لا المتوسط وحده.

الأسئلة الشائعة

مواضيع وحلول ذات صلة

• SMOTE: Inventing Minority Examples Without Copying Them
• Class Imbalance: When 95% Accuracy Means the Model Found Nothing
• Label Noise: The Accuracy Ceiling Nobody Put There Deliberately
• Random Oversampling: Duplication as a Deliberate Choice
• Outliers: Telling a Broken Sensor From a Broken Chiller
• AI Products Portfolio
• تسرّب البيانات: النموذج الذي ينجح قبل النشر فقط
• التقليل العشوائي للعينات: التخلّص من البيانات عن قصد