الحد الأدنى المحلي: حين يتوقف التدريب عن التحسّن دون أن ينتهي

ما المشكلة التي يعالجها هذا الحل؟

يتدرّب نموذج تنبؤ بانصراف العملاء لدى مشغّل اتصالات على مدى أربعين دورة. تنخفض الخسارة بحدّة خلال ست دورات، ثم تستقر عند 0.42 وتبقى هناك. وتقف دقة التحقق عند 71% بينما تتطلب دراسة الجدوى 80%. يضاعف الفريق عدد الدورات، فلا يتغير شيء، فيستنتج أن النموذج بلغ سقفه.

وهذا الاستنتاج سابق لأوانه عادةً. فللمنحنى المستوي أسباب عدة غير متكافئة: قد يكون المُحسِّن داخل حوض حقيقي، أو عند نقطة سرج يكون التدرّج فيها قريبًا من الصفر دون أن تكون حدًّا أدنى، أو قد يكون معدل التعلّم تدهور حتى صارت الخطوات أصغر من أن تُفلت من أي شيء، أو قد يكون نصف وحدات ReLU قد مات وتوقف عن تمرير التدرّج أصلًا.

ولأن هذه الحالات تبدو متطابقة على مخطط الخسارة، كثيرًا ما تتنقل الفرق بين المُحسِّنات عشوائيًا: Adam، ثم SGD مع الزخم، ثم العودة إلى Adam بمعدل تعلّم مختلف — قدر كبير من المعالجة يُنفَق دون فرضية.

كيف يعمل الحل؟

افصل التشخيص عن المعالجة. سجّل معايير التدرّج لكل طبقة، ومعدل التعلّم الحالي، ونسبة التفعيلات التي تساوي صفرًا تمامًا. هذه الأرقام الثلاثة تميّز الأسباب الأربعة في تشغيلة واحدة.

فإذا كانت التدرّجات قريبة من الصفر في كل مكان وسطح الخسارة مستويًا في جميع الاتجاهات، فتلك حالة استواء أو سرج. وإذا كانت التدرّجات سليمة بينما تدهور معدل التعلّم إلى ما يقارب الصفر، فالمشكلة في الجدولة. وإذا كانت نسبة كبيرة من مخرجات ReLU أصفارًا، فالوحدات ميتة ولن يفيد تغيير المُحسِّن.

وتختلف التدخلات تبعًا لذلك: إعادة التشغيل الدافئة والزخم لنقاط السرج، وجدولة منقّحة عند فرط التدهور، وإعادة تهيئة الأوزان أو استخدام LeakyReLU للوحدات الميتة، وبذرة تهيئة مختلفة فعلًا عند الاشتباه بحوض حقيقي.

1. 1
   النزول التدرّجي محلي كل خطوة تحرّك المعاملات عكس التدرّج المحسوب عند النقطة الحالية. ولا شيء في قاعدة التحديث يستطيع الرؤية أبعد من الجوار المباشر.
2. 2
   الحد الأدنى حيث يتلاشى التدرّج عند النقطة الثابتة يكون التدرّج صفرًا، فيصبح التحديث صفرًا ويتوقف التدريب عن التحرّك مهما بقي من دورات.
3. 3
   الانحناء يحدد النوع إذا انحنى كل اتجاه إلى أعلى فالنقطة حد أدنى محلي. وإذا انحنت بعض الاتجاهات إلى أسفل فهي نقطة سرج والإفلات ممكن.
4. 4
   الأبعاد العالية تُرجّح السروج لكي تكون النقطة حدًّا أدنى محليًا حقيقيًا يجب أن ينحني كل اتجاه من ملايين الاتجاهات إلى أعلى في آن واحد — وهو احتمال أقل بكثير إحصائيًا من انحناء اتجاه واحد على الأقل إلى أسفل.
5. 5
   الزخم يعبُر السرعة المتراكمة تتيح للمُحسِّن مواصلة العبور عبر منطقة تدرّجها قريب من الصفر بدل التوقف فيها.

البنية المرجعية

أربعة عوامل مستقلة تحدد ما إذا كان التدريب سيُفلت من منطقة مستوية. وتغييرها مجتمعةً يجعل النتيجة غير قابلة للتفسير.

خيارات النشر: ينطبق ذلك على أي عتاد تدريب، لكن كلفة الخطأ تتناسب معه. فعلى عقدة متعددة وحدات المعالجة تُقاس إعادة التشغيل غير الضرورية بساعات من المعالجة، ولهذا يسدّد التشخيصُ قبل التدخّل كلفتَه سريعًا.

القدرات الرئيسية

التكاملات

تشخيصات التحسين تنتمي إلى منصة التدريب لا إلى دفتر ملاحظات، لأن قيمتها تأتي من المقارنة بين التشغيلات.

حالات الاستخدام والقطاعات

منهجية التنفيذ

1. 1
   التجهيز بالقياس أولًا سجّل معيار التدرّج ومعدل التعلّم ونسبة الوحدات الميتة قبل تغيير أي شيء.
2. 2
   استبعاد الجدولة إذا تدهور معدل التعلّم إلى ما يقارب الصفر، فذلك وحده يفسّر التوقف.
3. 3
   فحص الوحدات الميتة وجود نسبة كبيرة من مخرجات ReLU الصفرية يعني أن تغيير المُحسِّن لن يفيد.
4. 4
   إضافة الزخم أو إعادات التشغيل للمنطقة المستوية الحقيقية يكون الزخم وإعادات التشغيل الدافئة أرخص التدخلات الفعّالة.
5. 5
   تغيير عنصر واحد في كل مرة تعديل المُحسِّن والجدولة والتهيئة معًا يجعل نسبة النتيجة إلى سبب أمرًا مستحيلًا.

الأمن وخيارات النشر

سجلات التدريب تُدوّن إحصاءات التدرّج وقيم الخسارة لا السجلات الخام، وهي عمومًا آمنة للاحتفاظ بها خارج نطاق البيانات. أما نقاط الحفظ فأمر مختلف: فأوزان نموذج مُلاءم على بيانات حساسة قد تُسرّب معلومات عن تلك البيانات، وينبغي تخزينها تحت الضوابط نفسها المطبّقة على مجموعة التدريب ذاتها.

مثال عملي

لنأخذ الدالة أحادية البعد L(x) = x⁴ − 3x³ + 2، وفيها انخفاض ضحل وآخر أعمق، لنرى كيف تحدد نقطةُ البداية النتيجةَ.

1. المشتقة. L′(x) = 4x³ − 9x² = x² × (4x − 9)، فتقع النقطتان الثابتتان عند x = 0 وx = 2.25.
2. تصنيفهما. L″(x) = 12x² − 18x. عند x = 2.25 تكون L″ = 20.25 > 0، أي حد أدنى حقيقي. وعند x = 0 تكون L″ = 0 — نقطة انعطاف شبيهة بالسرج، وليست حدًّا أدنى إطلاقًا.
3. البدء عند x = 0.05. التدرّج = 4(0.000125) − 9(0.0025) = −0.0220، وهو ضئيل. وبمعدل تعلّم 0.01 تكون الخطوة 0.00022. فالتقدّم بالغ البطء والمنحنى يبدو مستويًا.
4. إضافة الزخم. بزخم 0.9 تتراكم السرعة عبر الخطوات فتحمل المعامل عبر المنطقة المستوية باتجاه x = 2.25.

الدالة نفسها والمُحسِّن نفسه ونتيجة مختلفة — تحدّدها كليًا قدرةُ قاعدة التحديث على تراكم السرعة عبر منطقة مستوية. ومنحنى الخسارة في الحالة الأولى يبدو تمامًا كنموذج «تقارب».

مثال برمجي

بدل التخمين، جهّز التشغيلة بأدوات قياس. الشيفرة التالية تسجّل الكميات الثلاث التي تفصل بين الأسباب.

import torch
import torch.nn as nn

model = nn.Sequential(
    nn.Linear(32, 128), nn.ReLU(),
    nn.Linear(128, 64), nn.ReLU(),
    nn.Linear(64, 1),
)
optimizer = torch.optim.SGD(model.parameters(), lr=0.05, momentum=0.9)
scheduler = torch.optim.lr_scheduler.CosineAnnealingWarmRestarts(
    optimizer, T_0=10, T_mult=2,
)

dead_relu_fraction = {}

def record_dead(name):
    def hook(_module, _inp, out):
        dead_relu_fraction[name] = (out == 0).float().mean().item()
    return hook

for i, layer in enumerate(model):
    if isinstance(layer, nn.ReLU):
        layer.register_forward_hook(record_dead(f"relu_{i}"))

def diagnose(step):
    total = 0.0
    for p in model.parameters():
        if p.grad is not None:
            total += p.grad.detach().norm().item() ** 2
    grad_norm = total ** 0.5
    lr = optimizer.param_groups[0]["lr"]
    print(f"step={step} grad_norm={grad_norm:.6f} lr={lr:.6f} dead={dead_relu_fraction}")
    # grad_norm ~ 0 and lr healthy  -> plateau or saddle: try warm restarts
    # grad_norm healthy and lr ~ 0  -> schedule decayed too far
    # dead fraction > 0.5           -> dead ReLUs: re-init or use LeakyReLU

معيار التدرّج لكل خطوة، ومعدل التعلّم الحالي، ونسبة مخرجات ReLU الصفرية لكل طبقة. والتركيبة بينها تحدد أي الأسباب الثلاثة أمامك؛ والتعليقات تربط كل نمط بتدخّله المناسب.

فحوصات تشخيصية

• ارسم معيار التدرّج إلى جانب الخسارة. فالخسارة المستوية مع تدرّجات سليمة ليست حدًّا أدنى — انظر إلى معدل التعلّم.
• اطبع معدل التعلّم الحالي كل دورة. فجدولات التدهور الحادّة كثيرًا ما تبلغ قيمًا أصغر من أن تحرّك شيئًا.
• قِس نسبة تفعيلات ReLU التي تساوي صفرًا تمامًا. فتجاوزها النصف تقريبًا يعني أن الوحدات الميتة هي القيد.
• أعد التدريب من بذرة عشوائية مختلفة. فإذا استقر الاستواء عند خسارة مختلفة بوضوح، فللسطح أحواض متعددة.
• تعمّد فرط التخصيص على دفعة واحدة. فإن عجز النموذج عن دفع الخسارة إلى ما يقارب الصفر على عشر عينات، فالمشكلة في السعة أو في خلل برمجي لا في التحسين.

القيود والمتطلبات المسبقة

• في الشبكات عالية الأبعاد تكون الحدود الدنيا المحلية الحقيقية أقل شيوعًا بكثير مما توحي به شهرة المصطلح؛ ومعظم حالات التوقف شيء آخر.
• لا توجد وسيلة عملية لإثبات أن نقطة ما حد أدنى عام لشبكة كبيرة، لذا تبقى عبارة «أفلتنا من الحد الأدنى المحلي» مؤقتة دائمًا.
• إعادات التشغيل الدافئة تزيد زمن التدريب الإجمالي وقد تُلغي تقاربًا مفيدًا إذا طُبّقت بإفراط.
• الزخم قد يحمل المُحسِّن متجاوزًا حلًّا جيدًا بالسهولة نفسها التي يتجاوز بها حلًّا سيئًا.

التمييز بين الأسباب الأربعة

تُنتج الأسباب الأربعة جميعها منحنى خسارة مستويًا. وأدوات القياس وحدها هي التي تفرّق بينها.

التجهيز بالقياس يكلّف تشغيلة واحدة. أما التنقل بين المُحسِّنات عشوائيًا فيكلّف عدة تشغيلات ويتركك دون سبب.

الخلاصة

• منحنى الخسارة المستوي عَرَض له أربعة أسباب شائعة تبدو متطابقة على المخطط.
• معيار التدرّج ومعدل التعلّم ونسبة الوحدات الميتة تميّز بينها في تشغيلة واحدة مجهّزة بالقياس.
• الحدود الدنيا المحلية الحقيقية أندر في الشبكات العميقة مما يوحي به المصطلح — اشتبه بالسروج والجدولة أولًا.
• الزخم وإعادات التشغيل الدافئة أرخص التدخلات للمنطقة المستوية الحقيقية.
• غيّر متغيرًا واحدًا في كل مرة، وإلا تعذّرت نسبة النتيجة إلى أي شيء.

الأسئلة الشائعة

مواضيع وحلول ذات صلة

• AI Products Portfolio