القيم الشاذة: التمييز بين حساس معطّل ووحدة تبريد معطّلة

ما المشكلة التي يعالجها هذا الحل؟

ينقل موزّع شحنات دوائية وأغذية طازجة مضبوطة الحرارة عبر الخليج. وتحمل كل حاوية مبرّدة مجسّات تسجّل كل خمس دقائق: هواء التوريد، وهواء العودة، والحرارة المحيطة، وحالة الباب. ويغطي تاريخ اثني عشر شهرًا نحو 4,300 رحلة.

وتحوي البيانات قيمًا متطرفة من أنواع متمايزة. فبعض المجسّات تُبلّغ عن عيّنة واحدة عند سالب أربعين أو زائد تسعين، وهي قيم مستحيلة فيزيائيًا تظهر لقراءة واحدة ثم تختفي. وبعضها يُظهر انجرافًا بطيئًا صاعدًا عبر عدة ساعات بعد توقف الضاغط. وبعضها يقفز خمس درجات لعشرين دقيقة كلما فُتح الباب عند نقطة تسليم، وهو أمر متوقع. وحفنة من الرحلات تُظهر حرارة محيطة تتجاوز خمسين درجة بينما يبقى هواء التوريد ضمن المدى، وهي الوحدة تعمل بالضبط كما صُمّمت في أصيل أغسطس.

وطبّق فريق التحليلات مرشّح ثلاثة انحرافات معيارية وحذف كل قراءة تتجاوزه. فتحسّن أداء النموذج على مجموعة التحقق. كما حذف 61% من أحداث التجاوز المؤكدة، لأن إخفاق التبريد الحقيقي هو بحكم التعريف قراءة حرارة متطرفة. فأزالت خطوة التنظيف الهدفَ نفسه.

كيف يعمل الحل؟

افصل المستحيل عن غير المعتاد. فالقيمة خارج مدى القياس الفيزيائي للحساس عطل جهاز ويمكن حذفها بقاعدة مجالية دون أي إحصاء. أما القيمة داخل المدى لكنها بعيدة عن المعتاد فهي حادثة مرشّحة ولا يجوز حذفها لأسباب إحصائية وحدها.

فضّل الإحصاءات المتينة على المتوسط والانحراف المعياري. فكلاهما ينجذب إلى النقاط ذاتها التي تحاول تحديدها، فيضخّم التجاوز الحقيقي الانحرافَ المعياري ثم يختبئ داخل العتبة الموسّعة.

ميّز الأحادي عن المتعدد المتغيرات. فحرارة محيطة عند اثنتين وخمسين درجة أمر عادي في يوليو، وهواء توريد عند تسع درجات أمر عادي للمنتجات المبرّدة، لكن اجتماعهما مع باب مغلق يعني وحدة مخفقة. ولا يرصد ذلك أي عمود بمفرده.

استخدم كواشف قائمة على العزل أو الكثافة للحالة متعددة المتغيرات، ثم وجّه ما تُظهره إلى إنسان أو قاعدة مجالية لا إلى أمر حذف.

1. 1
   تطبيق الحدود الفيزيائية أولًا ارفض القراءات خارج مدى القياس المقنّن للمجس. وهذا فحص مواصفات لا فحص إحصائي، ويزيل الأعطال الحقيقية بأمان.
2. 2
   التوصيف بمقاييس متينة استخدم الوسيط والمدى الربيعي بدل المتوسط والانحراف المعياري، لأن الأخيرين يشوّههما ما تحقق فيه من نقاط.
3. 3
   النظر عبر الأعمدة قيّم هواء التوريد والعودة والحرارة المحيطة وحالة الباب معًا. فمعظم التجاوزات الحقيقية لا تُرى إلا كتركيبة.
4. 4
   التقييم لا التصنيف تُنتج غابة العزل وعامل الشذوذ المحلي درجة شذوذ متصلة. احتفظ بالدرجة؛ ولا تختزلها إلى ثنائي ثم تحذف الصف.
5. 5
   القرار بحسب السبب عطل جهاز: احذف. حدث متوقع كفتح باب: أبقِه ورمّزه. تجاوز حقيقي: أبقِه وسِمه وعامله كالفئة الموجبة.

البنية المرجعية

أربع طبقات، وثالثتها وحدها تتضمن خوارزمية.

خيارات النشر: تصل بيانات المسجّلات عادةً على دفعات حين تستعيد الحاوية الاتصال، فيعمل الكشف عند الاستيعاب لا في الزمن الحقيقي، ويجب أن يعمل المنطق نفسه على التاريخ المُستكمَل لاحقًا.

القدرات الرئيسية

التكاملات

تقع معالجة القيم الشاذة لسلسلة التبريد بين منصة القياس عن بُعد ونظام الجودة، لأن المخرج سجل تجاوز موسوم لا جدول منظّف.

حالات الاستخدام والقطاعات

منهجية التنفيذ

1. 1
   جمع المواصفات احصل على مدى القياس المقنّن ودقة كل نوع مجس قبل كتابة أي قاعدة.
2. 2
   الحدّ ثم التوصيف احذف أعطال خارج المدى أولًا، ثم وصّف ما تبقّى بالوسيط والمدى الربيعي.
3. 3
   ضمّ سياق العملية أرفق حالة الباب وحالة الضاغط وأحداث التوقف حتى يمكن التعرّف على القيم المتطرفة المتوقعة.
4. 4
   التقييم متعدد المتغيرات شغّل غابة العزل أو عامل الشذوذ المحلي على القنوات المجمّعة واحتفظ بالدرجة كخاصية.
5. 5
   البتّ لا الحذف وجّه الدرجات المرتفعة إلى المراجعة، وسجّل النتيجة كتصنيف بدل إسقاط الصف.

الأمن وخيارات النشر

سجلات التجاوز للشحنات الدوائية أدلة خاضعة للتنظيم وكثيرًا ما تكون قابلة للطلب القضائي، لذا ينبغي أن يكون حذف القراءات المتطرفة مسجَّلًا وقابلًا للعكس لا منفَّذًا في موضعه. أبقِ الاستيعاب الخام غير قابل للتعديل وطبّق التنظيف كعرض مشتق. ومعرّفات الرحلات والحاويات قد تكشف أنماط شحن العملاء، فينبغي تحديد نطاق الوصول إلى القياس الخام كما يُحدَّد للشحنات نفسها.

مثال عملي

رحلة واحدة من جبل علي إلى الرياض، بأربع قراءات متطرفة يعاملها مرشّح واحد معاملةً متطابقة.

1. القراءة أ — سالب 41.2 درجة لعيّنة واحدة. المجس مقنّن حتى سالب 30. فالقيمة خارج المدى الفيزيائي للجهاز، وهي إذًا عطل ويمكن حذفها بقاعدة حدود.
2. القراءة ب — 8.4 درجة ترتفع إلى 14.1 عبر خمس ساعات. داخل المدى، ومستمرة، ومرتبطة بعلم توقف الضاغط. وهذا تجاوز حقيقي وهو الحدث الذي وُجد البرنامج لرصده.
3. القراءة ج — 11.9 درجة لثماني عشرة دقيقة عند نقطة تسليم. داخل المدى، وتتزامن مع حالة باب مفتوح، وتعود إلى نقطة الضبط بعدها. سلوك متوقع؛ أبقِه ورمّز حالة الباب كخاصية.
4. القراءة د — محيطة 53.6 درجة، وهواء توريد 4.9 درجة. الحرارة المحيطة متطرفة بالنسبة للعمود لكن الوحدة تحافظ على نقطة الضبط. فالكشف الأحادي يعلّمها، والسياق متعدد المتغيرات يُظهر أن لا خلل.
5. تطبيق مرشّح ثلاثة انحرافات على هواء التوريد. المتوسط 5.1، والانحراف 1.9، والعتبة 10.8. فيحذف أ وب، ويُبقي ج، ولا يفحص د إطلاقًا.

أزال المرشّح عطلًا واحدًا وإخفاقًا حقيقيًا واحدًا، وأبقى حدث باب متوقعًا، وأغفل تمامًا الحالة التي كانت تحتاج سياقًا متعدد المتغيرات. فكانت دقته في المهمة الموكلة إليه واحدة من أربع.

مثال برمجي

الترتيب مهم: الحدود الفيزيائية أولًا، ثم التوصيف الأحادي المتين، ثم التقييم متعدد المتغيرات، وبلا حذف تلقائي في أي مرحلة.

import numpy as np
import pandas as pd
from sklearn.ensemble import IsolationForest
from sklearn.neighbors import LocalOutlierFactor
from sklearn.preprocessing import RobustScaler

PROBE_MIN, PROBE_MAX = -30.0, 60.0   # from the datasheet, not from the data

# 1. Physical bounds - a specification check, safe to act on automatically.
artefact = (df["supply_air"] < PROBE_MIN) | (df["supply_air"] > PROBE_MAX)
print("instrument artefacts:", int(artefact.sum()))
clean = df.loc[~artefact].copy()

# 2. Robust univariate profiling. Mean and sd are moved by the very points
# under investigation; median and IQR are not.
q1, q3 = clean["supply_air"].quantile([0.25, 0.75])
iqr = q3 - q1
lo, hi = q1 - 1.5 * iqr, q3 + 1.5 * iqr
clean["iqr_flag"] = (clean["supply_air"] < lo) | (clean["supply_air"] > hi)

z = (clean["supply_air"] - clean["supply_air"].mean()) / clean["supply_air"].std()
print("iqr flags:", int(clean['iqr_flag'].sum()), "| 3-sigma flags:", int((z.abs() > 3).sum()))

# 3. Multivariate: the combination is what identifies a failing unit.
cols = ["supply_air", "return_air", "ambient", "door_open", "compressor_on"]
X = RobustScaler().fit_transform(clean[cols])

iso = IsolationForest(n_estimators=300, contamination="auto", random_state=4)
clean["iso_score"] = -iso.fit(X).score_samples(X)      # higher = more anomalous

lof = LocalOutlierFactor(n_neighbors=35, novelty=False)
lof.fit_predict(X)
clean["lof_score"] = -lof.negative_outlier_factor_

# 4. Domain rules turn a score into a decision. Nothing is deleted here.
clean["expected_door_event"] = clean["door_open"] & (clean["supply_air"] < 15)
clean["candidate_excursion"] = (
    (clean["iso_score"] > clean["iso_score"].quantile(0.99))
    & ~clean["expected_door_event"]
    & ~clean["compressor_on"]
)
print(clean.groupby("candidate_excursion")[["supply_air", "ambient"]].median())

# Review queue for a human, ordered by how anomalous the combination is.
review = clean.nlargest(50, "iso_score")[cols + ["iso_score", "journey_id"]]

عدد أعطال الأجهزة، ومقارنة تُظهر اختلاف المدى الربيعي عن ثلاثة الانحرافات في عدد النقاط المتطرفة، وملامح وسيطة للتجاوزات المرشّحة مقابل التشغيل الطبيعي، وقائمة مراجعة مرتّبة. وعادةً يكون عدد ثلاثة الانحرافات الأقل بين الاثنين مع بيانات الحرارة الملتوية، لأن القيم المتطرفة تكون قد وسّعت الانحراف المعياري أصلًا.

فحوصات تشخيصية

• احسب كم تجاوزًا مؤكدًا تحذفه خطوة التنظيف لديك. فإن لم يكن الجواب صفرًا، فالتنظيف يحذف الهدف.
• قارن علامات المدى الربيعي بعلامات ثلاثة الانحرافات. فالاختلاف الكبير يدل على توزيع ملتوٍ تكون فيه درجة Z غير موثوقة.
• تحقّق مما إذا كانت النقاط المعلَّمة تتجمّع عند أحداث فتح الأبواب أو إزالة الجليد؛ فتلك سلوك متوقع لا شذوذ.
• ارسم الحرارة المحيطة مقابل هواء التوريد. فالنقاط المتطرفة في محور واحد والعادية في التركيبة إيجابيات كاذبة أحادية.
• تأكّد من أن كل قيمة محذوفة تقع خارج المدى المقنّن للمجس. فأي شيء داخل المدى حُذف بالإحصاء لا بالدليل.
• أعد ملاءمة العتبات لكل موسم وقارن. فالانزياح الكبير يعني أن عتبة سنوية واحدة خاطئة في معظم السنة.

القيود والمتطلبات المسبقة

• تُظهر غابة العزل وعامل الشذوذ المحلي تركيبات غير معتادة لا أسبابًا؛ فالنقطة المعلَّمة تظل تحتاج تفسيرًا مجاليًا.
• معاملا نسبة التلوّث وحجم الجوار يغيّران ما يُعلَّم تغييرًا ملموسًا وليس لهما قيمة صحيحة عالميًا.
• الأساليب القائمة على الكثافة تتدهور حين يتغيّر نظام التشغيل الطبيعي نفسه موسميًا.
• لا يميّز أي كاشف بين قراءة نادرة لكنها صحيحة وبين عطل؛ فالمواصفة وسياق العملية وحدهما يفعلان.

أساليب الكشف مقابل مشكلة سلسلة التبريد

تجيب الأساليب عن أسئلة مختلفة، والأول وحده آمن للأتمتة.

الحدود تزيل الأعطال، والإحصاءات المتينة توصّف النظام الطبيعي، والكواشف متعددة المتغيرات ترشّح الحالات، والقواعد المجالية تتخذ القرار.

الخلاصة

• اسأل لماذا القيمة متطرفة قبل أن تقرر ما تفعله بها.
• الحدود الفيزيائية آمنة للأتمتة؛ والعتبات الإحصائية ليست كذلك.
• المتوسط والانحراف المعياري تشوّههما النقاط ذاتها التي تطاردها — استخدم الوسيط والمدى الربيعي.
• معظم إخفاقات سلسلة التبريد الحقيقية متعددة المتغيرات وغير مرئية في أي عمود منفرد.
• قيّم وابتّ بدل الحذف؛ فالتجاوز المحذوف تصنيف محذوف.

الأسئلة الشائعة

مواضيع وحلول ذات صلة

• Missing Values: Why the Gap Itself Carries Information
• Label Noise: The Accuracy Ceiling Nobody Put There Deliberately
• Data Leakage: The Model That Only Works Before Deployment
• Duplicate Data: When One Patient Becomes Four Records
• Class Imbalance: When 95% Accuracy Means the Model Found Nothing
• Octopus WMS
• ضوضاء التصنيفات: سقف الدقة الذي لم يضعه أحد عمدًا
• تقنية SMOTE: توليد أمثلة للفئة الأقل دون نسخها