حين لا ينظر النموذج إلى الصورة أصلًا

ما المشكلة التي يعالجها هذا الحل؟

ينشر مقاول نظام كشف معدات الوقاية الشخصية على كاميرات الموقع. دقة التحقق 94%. وفي الأسبوعين الأولين لا يرصد النظام شيئًا تقريبًا، ثم يبدأ بوسم عمال ملتزمين خلال الوردية المسائية.

جُمعت بيانات التدريب نهارًا من ثلاث كاميرات. وجاء كل أمثلة عدم الالتزام تقريبًا من كاميرا واحدة تغطي منطقة تحميل. فتعلّم النموذج منطقة التحميل لا الخوذة. وبتغيّر الإضاءة أو زاوية الكاميرا يختفي الارتباط الذي اعتمد عليه.

وفي الأنظمة التي تجمع الصورة والنص يختبئ الإخفاق نفسه بشكل أفضل. فإذا صاحب كل صورة تعليقٌ أو اسم ملف أو حقل بيانات وصفية يرتبط بالتصنيف، استطاع مرمّز النص حمل المهمة كاملةً بينما لا يسهم مرمّز الصورة بشيء قابل للقياس.

كيف يعمل الحل؟

نفّذ اختبار حذف. استبدل كل صورة بضوضاء غاوسية أو بمساحة رمادية موحّدة، وأبقِ كل شيء آخر كما هو، ثم أعد التقييم. فالنموذج الذي يستخدم الرؤية فعلًا ينهار نحو مستوى الصدفة، والذي لا يكاد يتغيّر لم يكن يستخدم الصورة أصلًا.

نفّذ الاختبار المقابل على الوسيط الآخر. احجب النص أو البيانات الوصفية بدلًا من الصورة. فإذا انهارت النتيجة هناك دون أن تنهار عند حذف الصورة، تكون قد قِست بالضبط مصدر الإشارة.

ثم انظر إلى الإسناد. تُظهر Grad-CAM أو ما يماثلها البكسلات التي أثّرت في القرار — وإضاءة مناطق الخلفية بدل الجسم هي التأكيد البصري لما قاسه الحذف بالفعل.

1. 1
   دالة الخسارة لا تفضّل وسيطًا الانتشار العكسي يقلّل الخطأ بأي طريق أرخص، وخاصية نصية أو وصفية شديدة الارتباط تكون دائمًا تقريبًا أرخص تعلّمًا من البكسلات.
2. 2
   يظهر اختصار الخلفية أو الإضاءة أو هوية الكاميرا أو تعليق أو اسم ملف يرتبط بالتصنيف داخل بيانات التدريب.
3. 3
   يتوقف وصول التدرّج إلى مسار الصورة بمجرد أن يفسّر الاختصار معظم الخسارة، تصغر التدرّجات الواصلة إلى مرمّز الصورة وتتوقف أوزانه عن التحديث الفعلي.
4. 4
   التقييم يؤكد الوهم جُمعت مجموعة الاختبار بالطريقة نفسها، فتحوي الاختصار ذاته وتبدو النتيجة صحيحة.
5. 5
   التشغيل يكسر الارتباط كاميرا جديدة أو وردية مختلفة أو إضاءة متغيرة — يختفي الاختصار ولا يبقى لدى النموذج ما يستند إليه.

البنية المرجعية

أربعة مواضع يمكن أن يُسكَت فيها المسار البصري. ولكل منها معالجة مختلفة، لذا حدّد أيّها ينطبق قبل تغيير البنية.

خيارات النشر: النشر على الحافة عند كاميرات المواقع يزيد الأمر سوءًا لا تحسنًا: إذ تُدرَّب النماذج غالبًا على مجموعة مقاطع منتقاة ثم تُنشر على بث حي بتعريض وزاوية وطقس مختلفة.

القدرات الرئيسية

التكاملات

اختبار الحذف ينتمي إلى بوابة الإصدار، لا إلى تحقيق يجري بعد ورود شكوى.

حالات الاستخدام والقطاعات

منهجية التنفيذ

1. 1
   الحذف قبل أي شيء حدّد إسهام كل وسيط. فبدونه يصبح كل تغيير لاحق تخمينًا.
2. 2
   تدقيق عملية الجمع قارن توزيعات الكاميرا والوردية والطقس والموقع بين الفئات لتحديد موضع الاختصار.
3. 3
   كسر الارتباط اجمع أو وسّع البيانات حتى لا يعود الاختصار يتنبأ بالتصنيف — كاميرات وأوقات وظروف مختلفة لكل فئة.
4. 4
   إعادة موازنة المسارات أزل تجميد مرمّز الصورة، أو ارفع معدل تعلّمه، أو قلّل هيمنة التمثيل النصي.
5. 5
   تقييد الإصدار اجعل حدًّا أدنى لإسهام الصورة معيار إصدار، لا تحقيقًا تطلقه الشكاوى.

الأمن وخيارات النشر

صور المواقع وكاميرات المراقبة بيانات شخصية في معظم أطر الخليج. ومجموعات الحذف وطبقات Grad-CAM ومعارض حالات الإخفاق كلها تُعيد إنتاج إطارات قابلة للتعريف، ويجب أن تبقى داخل النطاق المعتمد بقواعد الاحتفاظ نفسها المطبّقة على التسجيلات المصدر. وينبغي طمس الوجوه واللوحات أو قصّها قبل استخدام أي إطار في تقرير أو عرض مراجعة.

مثال عملي

نموذج كشف خوذة يحقق 94% على التحقق. أربعة اختبارات حذف على مجموعة الاختبار نفسها.

1. المدخل الكامل. صورة مع بيانات وصفية: دقة 94%. وهو خط الأساس الذي يُبلّغ عنه الجميع.
2. استبدال الصورة بضوضاء. دقة 93%. إزالة المدخل البصري بالكامل كلّفت نقطة مئوية واحدة.
3. إزالة البيانات الوصفية مع إبقاء الصورة. دقة 61% — بالكاد فوق المعدل الأساسي للفئة.
4. إزالة الاثنين. 58%، وهو معدل الفئة الأكبر.

تسهم الصورة بنقطة واحدة تقريبًا، وتسهم البيانات الوصفية بخمس وثلاثين. كان حقل هوية الكاميرا هو من يؤدي العمل، وكانت 94% قياسًا لعملية جمع البيانات لا لكشف الخوذة.

مثال برمجي

اختبار الحذف قصير بما لا يترك عذرًا لتخطّيه. الشيفرة التالية تقيس إسهام كل وسيط مباشرةً.

import torch

@torch.no_grad()
def accuracy(model, loader, blank_image=False, blank_meta=False, device="cuda"):
    model.eval()
    correct = total = 0
    for images, meta, labels in loader:
        images, meta, labels = images.to(device), meta.to(device), labels.to(device)
        if blank_image:
            # Gaussian noise, not zeros: zeros are themselves a learnable constant.
            images = torch.randn_like(images)
        if blank_meta:
            meta = torch.zeros_like(meta)
        preds = model(images, meta).argmax(dim=1)
        correct += (preds == labels).sum().item()
        total += labels.numel()
    return correct / total

base      = accuracy(model, val_loader)
no_image  = accuracy(model, val_loader, blank_image=True)
no_meta   = accuracy(model, val_loader, blank_meta=True)
neither   = accuracy(model, val_loader, blank_image=True, blank_meta=True)

print(f"full={base:.3f} no_image={no_image:.3f} no_meta={no_meta:.3f} neither={neither:.3f}")
print(f"image contribution: {base - no_image:.3f}")
print(f"meta  contribution: {base - no_meta:.3f}")
# image contribution near zero => the visual pathway is not being used.

أربع قيم للدقة وفارقان يمثّلان الإسهام. وإسهام الصورة القريب من الصفر دليل قاطع: النموذج لا يستخدم الصورة مهما قالت الدقة المعلنة.

فحوصات تشخيصية

• استبدل الصور بضوضاء غاوسية وأعد التقييم. فالانخفاض الضئيل دليل قاطع على أن الصورة غير مستخدمة.
• احجب النص أو البيانات الوصفية على حدة لقياس المصدر الحقيقي للإشارة.
• افحص طبقات Grad-CAM. فتركّز الانتباه على الخلفية أو على منطقة ثابتة من الإطار يدل على اختصار.
• قِس الأداء لكل كاميرا ولكل وردية ولكل حالة طقس. فالتباعد الكبير يشير إلى أثر من عملية الجمع.
• اخلط اقتران الصور بالتصنيفات داخل الدفعة. فإن لم تنخفض الدقة تقريبًا، فالصور لم تكن تحمل شيئًا.
• تحقّق مما إذا كانت أوزان مرمّز الصورة قد تغيّرت أثناء التدريب أصلًا — فالمرمّز المجمّد سبب شائع.

القيود والمتطلبات المسبقة

• يُظهر الحذف أن وسيطًا غير مستخدم، لكنه لا يقول لماذا، والأسباب الأربعة تحتاج معالجات مختلفة.
• Grad-CAM أسلوب تقريبي وقد يُضلّل، خصوصًا على الطبقات الأخيرة من المرمّزات القائمة على المحوّلات.
• قد تكون ضوضاء الحذف نفسها خارج التوزيع، فالانخفاض الضئيل ليس تلقائيًا دليلًا على الاستخدام.
• كسر الاختصار يتطلب عادةً جمع بيانات جديدة، وهو أبطأ وأغلى من أي تغيير برمجي.

التمييز بين الأسباب

تظهر الأسباب الأربعة جميعها كإسهام صورة قريب من الصفر. والاختبار التالي هو ما يختلف.

نفّذ اختبار الحذف أولًا في كل الحالات؛ فهو يكلّف تمريرة تقييم واحدة ويختصر أربع فرضيات إلى واحدة.

الخلاصة

• يستخدم النموذج أرخص مدخل تعلّمًا، والبكسلات نادرًا ما تكون الأرخص.
• اختبار الحذف — استبدال الصور بضوضاء — هو الفصل، ويكلّف تمريرة تقييم واحدة.
• الدقة المرتفعة على مجموعة اختبار من المصدر نفسه تقيس عملية الجمع لا القدرة.
• أربعة أسباب متمايزة تُنتج العَرَض نفسه وتحتاج معالجات مختلفة.
• اجعل إسهام كل وسيط بوابة إصدار، لا تحقيقًا بعد وقوع حادثة.

الأسئلة الشائعة

مواضيع وحلول ذات صلة

• RAQEEB – AI Surveillance