القيم المفقودة: لماذا تحمل الفجوة نفسها معلومة

ما المشكلة التي يعالجها هذا الحل؟

يشغّل فريق مرافق تحليلات على برج متعدد الاستخدامات: حرارة المناطق، والرطوبة النسبية، وثاني أكسيد الكربون، وأعداد الإشغال، والطاقة المقيسة فرعيًا، بفواصل خمس عشرة دقيقة عبر 340 نقطة. ويغيب نحو 9% من القراءات المتوقعة خلال نافذة اثني عشر شهرًا.

وللفجوات أسباب متمايزة عدة. فبعض الحساسات اللاسلكية في الطوابق العليا تُغفل قراءات أثناء الرياح القوية بسبب حركة الهوائي. وعدة حساسات لثاني أكسيد الكربون تنقطع أثناء معايرتها التلقائية المجدولة. ويفقد عدّادا طاقة للمبرّدات كتلًا طويلة أثناء صيانة مبدّلات الشبكة. وتتوقف حفنة من حساسات حرارة المناطق عن الإرسال تحديدًا حين تكون غرفة المعدات في أشد سخونتها، لأن جهاز الإرسال يتجاوز مدى تشغيله.

وملأ الفريق في محاولته الأولى كل فجوة بمتوسط العمود. فتحسّنت دقة التنبؤ باستهلاك الطاقة قليلًا على الورق. وفي التشغيل أخفق النموذج في استباق أصائل الحمل الأقصى بالذات التي بُني لأجلها — لأن القراءات الأهم كانت هي الغائبة، وقد استُبدلت جميعًا بأصيل صيفي متوسط.

كيف يعمل الحل؟

صنّف الآلية قبل اختيار الأسلوب. فـ MCAR تعني أن احتمال الغياب لا يرتبط بشيء — كفقدان حزمة عشوائي. وMAR تعني أن الغياب تفسّره متغيرات أخرى مرصودة — كارتباط الانقطاع بسرعة رياح مسجّلة. وMNAR تعني أن الغياب يعتمد على القيمة غير المرصودة نفسها — كإخفاق الحساس لأن الحرارة مرتفعة.

مع MCAR تكون معظم التعويضات المعقولة قابلة للدفاع عنها. ومع MAR استخدم أساليب تشترط على الأعمدة الأخرى، مثل التعويض التكراري أو تعويض الجيران الأقرب. ومع MNAR لا يكون أي تعويض صحيحًا بمفرده؛ بل يجب حمل واقعة الغياب نفسها كخاصية.

ومع السلاسل الزمنية، احترم المحور. فحرارة الساعة 14:00 تُقدَّر من 13:45 و14:15 أفضل بكثير من تقديرها من المتوسط السنوي، لذا تُعالَج الفجوات القصيرة بالاستيفاء وتُترك الطويلة غائبة خيرٌ من اختلاقها.

وأضف مؤشرات فقدان. فعمود ثنائي يشير إلى أن القيمة كانت غائبة يتيح للنموذج تعلّم النمط مباشرةً، وهو السبيل الأمين الوحيد لمعالجة MNAR دون ادّعاء معرفة الرقم المفقود.

1. 1
   القياس لكل نقطة احسب معدلات الفقدان لكل حساس ولكل ساعة من اليوم ولكل شهر بدل نسبة واحدة على مستوى البيانات.
2. 2
   اختبار MCAR قارن توزيع المتغيرات الأخرى بين الصفوف التي يوجد فيها العمود المستهدف والصفوف التي يغيب فيها. فالفارق الملموس يستبعد MCAR.
3. 3
   البحث عن بنية MAR انمذج مؤشر الفقدان نفسه كهدف تصنيف. فإن تنبأت الأعمدة الأخرى بالغياب جيدًا، كانت الآلية MAR وكان التعويض المشروط مناسبًا.
4. 4
   الاشتباه بـ MNAR عند حدود المدى تحقّق مما إذا كانت آخر القيم المسجّلة قبل الفجوة تتجمّع قرب حدّ تشغيل الحساس. فتلك بصمة جهاز يُخفق تحت الظرف الذي يقيسه.
5. 5
   التعويض داخل الطيّة لائم المُعوِّض على بيانات التدريب وحدها. فملاءمته على البيانات كاملةً تُتيح لإحصاءات مجموعة الاختبار التدفق عكسيًا إلى التدريب.

البنية المرجعية

تمسّ البيانات المفقودة أربع طبقات، وواحدة منها فقط هي استدعاء التعويض.

خيارات النشر: قد تصبح أعداد الإشغال وبيانات المناطق بيانات شخصية حين تعرّف أنماط عمل أفراد، خصوصًا في الوحدات المستأجرة الصغيرة، لذا ينبغي الاتفاق على مستويات التجميع والاحتفاظ قبل بناء منصة التحليلات.

القدرات الرئيسية

التكاملات

في منظومة مبانٍ، البيانات المفقودة واقعة صيانة قبل أن تكون مشكلة نمذجة، فيشمل سطح التكامل نظام إدارة المبنى ونظام الصيانة إلى جانب منصة التحليلات.

حالات الاستخدام والقطاعات

منهجية التنفيذ

1. 1
   التوصيف قبل الملء أنتج معدلات فقدان لكل نقطة ولكل ساعة ولكل شهر. فالنسبة الإجمالية الواحدة تُخفي كل نمط مهم.
2. 2
   تصنيف الآلية اختبر ما إذا كانت الأعمدة الأخرى تتنبأ بالغياب، وافحص القيم السابقة مباشرةً للفجوات بحثًا عن تجمّع عند حدّ المدى.
3. 3
   مطابقة الأسلوب استيفاء زمني للفجوات القصيرة، وتعويض مشروط لـ MAR، ومؤشرات حيثما اشتُبه بـ MNAR.
4. 4
   تحديد سقف لطول الفجوة اضبط حدًّا أقصى لمدى الاستيفاء. وبعده اترك القيمة غائبة بدل تصنيع خطّ منطقي المظهر.
5. 5
   مراقبة المعدل تتبّع الانقطاع لكل حساس بعد النشر ووجّه الارتفاعات المستمرة إلى الصيانة.

الأمن وخيارات النشر

قد تعرّف أعداد الإشغال وبيانات البيئة على مستوى المنطقة أنماط عمل أفراد في الوحدات المستأجرة الصغيرة، وقد يزيد التعويض الأمر سوءًا بإنتاج سجل مستنتَج متصل حيث كانت البيانات الحقيقية متفرقة. اتفق على مستويات التجميع والاحتفاظ مع مالك المبنى قبل النمذجة، وأبقِ القيم المعوَّضة معلَّمة حتى لا يُخلط رقم إشغال مستنتَج بقياس فعلي في تقرير موجّه للمستأجر.

مثال عملي

حساس حرارة منطقة واحد خلال أسبوع من يوليو بدقة خمس عشرة دقيقة، مع فجوة مدتها تسعون دقيقة في أشد الأصائل حرارة.

1. القراءات المحيطة. آخر قيمة قبل الفجوة 38.4 درجة عند 14:15؛ وأول قيمة بعدها 37.9 درجة عند 15:45. أما متوسط العمود السنوي فهو 24.1 درجة.
2. التعويض بالمتوسط العام. تُملأ ست فترات متتالية بـ 24.1 درجة، فيُدرَج انخفاض مقداره أربع عشرة درجة في أشد أصائل السنة حرارة.
3. ما يتعلّمه النموذج. يبدو أن ذروة حمل التبريد تتزامن مع هبوط حادّ في الحرارة، وهو عكس العلاقة الفيزيائية.
4. الاستيفاء الخطي. تُملأ الفجوة بسلاسة من 38.4 إلى 37.9، فتُحفَظ صورة المنحنى مع افتراض ألا شيء غير معتاد حدث بينهما.
5. الاستيفاء مع المؤشر. القيم المستوفاة نفسها، مع علم يشير إلى أن الفترة معوَّضة وأن السبب تجاوز جهاز الإرسال لمداه.

الصف الأخير هو المعالجة الأمينة. فالاستيفاء يبقي صورة المنحنى الزمني منطقية، والمؤشر يتيح للنموذج تعلّم أن هذا الحساس يتوقف عن الإرسال تحت الحرارة الشديدة — وهو مؤشر حقيقي على ذروة الحمل، وبالضبط النمط الذي أتلفه التعويض بالمتوسط العام.

مثال برمجي

ثلاثة أمور تستحق التنفيذ بالترتيب: اختبار عشوائية الفقدان، ومقارنة الأساليب بأمانة داخل الطيّات، والاحتفاظ بالمؤشر.

import numpy as np
import pandas as pd
from sklearn.experimental import enable_iterative_imputer  # noqa: F401
from sklearn.impute import SimpleImputer, KNNImputer, IterativeImputer, MissingIndicator
from sklearn.ensemble import HistGradientBoostingRegressor, RandomForestClassifier
from sklearn.pipeline import Pipeline, FeatureUnion
from sklearn.model_selection import TimeSeriesSplit, cross_val_score

# 1. Is the missingness random? Predict the gap itself.
# High AUC here means other columns explain absence -> MAR, not MCAR.
is_missing = df["zone_temp"].isna().astype(int)
predictors = df.drop(columns=["zone_temp"]).fillna(-999)
auc = cross_val_score(
    RandomForestClassifier(n_estimators=200, random_state=0),
    predictors, is_missing, cv=TimeSeriesSplit(n_splits=4), scoring="roc_auc",
).mean()
print("missingness predictability (AUC):", round(auc, 3))

# 2. Where do gaps start? Values near the sensor limit suggest MNAR.
gap_start = df["zone_temp"].notna() & df["zone_temp"].shift(-1).isna()
print("last value before gap - describe:")
print(df.loc[gap_start, "zone_temp"].describe())

# 3. Compare strategies inside time-ordered folds.
# The indicator is kept alongside the imputed values, never instead of them.
with_flag = FeatureUnion([
    ("imputed", IterativeImputer(max_iter=10, random_state=0)),
    ("was_missing", MissingIndicator(features="all")),
])

strategies = {
    "mean": SimpleImputer(strategy="mean"),
    "knn": KNNImputer(n_neighbors=5),
    "iterative": IterativeImputer(max_iter=10, random_state=0),
    "iterative+indicator": with_flag,
}
cv = TimeSeriesSplit(n_splits=5)
for name, imputer in strategies.items():
    pipe = Pipeline([("impute", imputer),
                     ("model", HistGradientBoostingRegressor(random_state=0))])
    s = cross_val_score(pipe, X, y_energy, cv=cv, scoring="neg_mean_absolute_error")
    print(f"{name:20s} MAE {-s.mean():.3f} +/- {s.std():.3f}")

# Short gaps only: interpolation is a time-series operation, not a column statistic.
df["zone_temp_interp"] = df["zone_temp"].interpolate(method="time", limit=4)

قيمة AUC للتنبؤ بالغياب، وملخّص للقيم السابقة مباشرةً للفجوات، ومتوسط الخطأ المطلق لكل استراتيجية. فقيمة AUC مرتفعة تستبعد MCAR. وتجمّع القيم قرب أعلى مدى الحساس قبل الفجوات يشير إلى MNAR، وفي تلك الحالة يحسّن عمود المؤشر النموذج عادةً أكثر من أي تغيير في المُعوِّض.

فحوصات تشخيصية

• احسب الفقدان لكل حساس ولكل ساعة من اليوم ولكل شهر؛ فالنسبة على مستوى البيانات تُخفي البنية الموسمية واليومية.
• درّب مصنّفًا للتنبؤ بمؤشر الفقدان. فقيمة AUC مرتفعة تعني أن الآلية ليست MCAR.
• افحص آخر قيمة مسجّلة قبل كل فجوة. فالتجمّع قرب حدّ تشغيل الجهاز هو بصمة MNAR.
• قارن التعويض بالمتوسط بالاستيفاء على الطيّات المرتّبة زمنيًا نفسها؛ فالفارق الكبير يعني أن المحور الزمني يحمل إشارة حقيقية.
• تحقّق مما إذا كانت الفجوات تتوافق مع جداول المعايرة أو نوافذ صيانة الشبكة، فتلك مفسَّرة وينبغي استبعادها لا ملؤها.
• تأكّد من ملاءمة المُعوِّض داخل الطيّة؛ فالملاءمة العامة تسرّب إحصاءات الاختبار إلى التدريب.

القيود والمتطلبات المسبقة

• لا يضيف أي تعويض معلومات؛ فهو يُنتج قيمة منطقية لا قيمة صحيحة.
• لا يمكن تصحيح MNAR من البيانات المرصودة وحدها، ولهذا يكون المؤشر أهم من الأسلوب.
• التعويض التكراري مكلف على منظومات حساسات عريضة ولا تنعكس درجة عدم يقينه في قيمة واحدة مملوءة.
• الاستيفاء يفترض سلوكًا سلسًا بين الطرفين، وهو بالضبط ما ينتهكه حدث العطل.

الأساليب مقابل نوع الفجوة

يتبع الاختيارُ الآليةَ وطولَ الفجوة لا سهولةَ التنفيذ.

لبيانات حساسات المباني يكون الخيار العملي الافتراضي هو الاستيفاء الزمني بمدى مسقوف، مقترنًا دائمًا بعمود مؤشر.

الخلاصة

• سبب غياب القيمة أهم من عدد القيم الغائبة.
• تتطلب MCAR وMAR وMNAR معالجات مختلفة، والأولى وحدها متسامحة.
• التعويض بالمتوسط العام يُتلف البنية الزمنية والموسمية في بيانات الحساسات.
• مؤشر الفقدان يحفظ معلومات MNAR التي لا يستطيع أي مُعوِّض استعادتها.
• لائم المُعوِّضات داخل طيّات مرتّبة زمنيًا، وراقب معدلات الانقطاع كإشارة صيانة.

الأسئلة الشائعة

مواضيع وحلول ذات صلة

• Outliers: Telling a Broken Sensor From a Broken Chiller
• Data Leakage: The Model That Only Works Before Deployment
• Duplicate Data: When One Patient Becomes Four Records
• Facility Management
• تقنية ADASYN: التوليد حيث يتعثّر النموذج فعلًا
• التقليل العشوائي للعينات: التخلّص من البيانات عن قصد
• عدم توازن الفئات: حين تعني دقة 95% أن النموذج لم يكتشف شيئًا
• تحيز الاختيار: حين لا تحتوي بياناتك إلا على من أكمل الخدمة