البيانات وجودتها
أدلة هندسية وبنى مرجعية وملاحظات تكامل وأسئلة شائعة صادقة حول الذكاء الاصطناعي وGIS وRFID وRTLS وإنترنت الأشياء وERP والتوائم الرقمية للجهات الحكومية والقطاعات الصناعية.
موضوعات محور Data and Data Quality
تقنية SMOTE: توليد أمثلة للفئة الأقل دون نسخها
تُنشئ SMOTE أمثلة جديدة للفئة الأقل عبر الاستيفاء بين نقطة موجودة وأحد أقرب جيرانها من الفئة نفسها، فتضع نقطة صناعية في موضع ما على الخط الواصل بينهما. وهي…
تحيز الاختيار: حين لا تحتوي بياناتك إلا على من أكمل الخدمة
تحيز الاختيار هو الفجوة بين المجتمع الذي تريد وصفه والمجتمع الذي تحتويه بياناتك فعلًا. وهو ليس ضجيجًا ولا يتقلّص بزيادة الصفوف: فجمع عشرة أضعاف السجلات من القناة المتحيزة…
عدم توازن الفئات: حين تعني دقة 95% أن النموذج لم يكتشف شيئًا
عدم توازن الفئات هو أن تحتوي إحدى الفئات على عدد من أمثلة التدريب يفوق غيرها بكثير — مثل 950 معاملة سليمة مقابل 50 معاملة احتيال. النموذج المدرَّب على…
تقنية ADASYN: التوليد حيث يتعثّر النموذج فعلًا
تولّد ADASYN أمثلة صناعية للفئة الأقل كما تفعل SMOTE، لكنها توزّعها بشكل غير متساوٍ: فتُنشئ نقاطًا أكثر حول عينات الفئة الأقل المحاطة بجيران من الفئة الأكبر، وأقل حول…
تسرّب البيانات: النموذج الذي ينجح قبل النشر فقط
تسرّب البيانات هو وجود معلومات أثناء التدريب لن تكون متاحة وقت التنبؤ. فيتعلّم النموذج منها، وتحتوي مجموعة التحقق على التلوّث نفسه، فتأتي النتيجة المُبلَّغ عنها ممتازة. والتشغيل هو…
التكرار العشوائي للعينات: التكرار بوصفه قرارًا مقصودًا
التكرار العشوائي ينسخ صفوفًا موجودة من الفئة الأقل بشكل عشوائي حتى تبلغ نسبة الفئات هدفًا محددًا. وهو لا يُنشئ أي معلومة جديدة — فكل صف مكرر مطابق تمامًا…
التقليل العشوائي للعينات: التخلّص من البيانات عن قصد
التقليل العشوائي يحذف صفوفًا من الفئة الأكبر عشوائيًا حتى تبلغ نسبة الفئات هدفًا محددًا. وخلافًا للزيادة فهو يصغّر مجموعة التدريب ويسرّعها، ولا يُدخل أي تكرار. أما الكلفة فلا…
ضوضاء التصنيفات: سقف الدقة الذي لم يضعه أحد عمدًا
ضوضاء التصنيفات هي وجود مرجع حقيقي خاطئ أو غير متسق في بيانات التدريب. وأهميتها أن النموذج المُشرَف لا يمكن أن يكون أكثر اتساقًا من التصنيفات التي لوئم عليها:…
القيم المفقودة: لماذا تحمل الفجوة نفسها معلومة
القيم المفقودة مُدخلات غائبة في مجموعة بيانات منظّمة. والمهم ليس عددها بل سبب غيابها. فإذا أسقط حساس حرارة قراءات بشكل عشوائي منتظم، كان ملء الفجوة تقريبًا معقولًا. أما…
القيم الشاذة: التمييز بين حساس معطّل ووحدة تبريد معطّلة
القيمة الشاذة ملاحظة بعيدة عن بقية التوزيع. وفي تعلّم الآلة لا يكون السؤال المفيد أبدًا هل النقطة غير معتادة، بل لماذا. فبيانات سلسلة التبريد تحوي نوعين من القراءات…
تكرار البيانات: عندما يصبح المريض الواحد أربعة سجلات
تكرار البيانات هو تمثيل الكيان الواقعي الواحد أكثر من مرة. وفي المستشفى نادرًا ما يكون التكرار نسخة حرفية؛ بل هو مريض واحد سُجِّل أربع مرات: مرة عبر الطوارئ،…