هلوسة نماذج اللغة: إجابات واثقة بلا سند

ما المشكلة التي يعالجها هذا الحل؟

تنشر جهة حكومية مساعدًا باللغة العربية فوق دليل خدماتها المنشور. يسأل مواطن عن المستندات المطلوبة لتجديد رخصة. يسرد المساعد خمسة مستندات بطلاقة وبتنسيق سليم. أربعة منها صحيحة، والخامس لم يكن مطلوبًا قط.

ولا ينتبه أحد لأسابيع، لأن الإجابة تبدو تمامًا كالأربع الصحيحة. لا تحفّظ، ولا علامة عدم يقين، ولا استشهاد. والإخفاق غير مرئي تحديدًا لأن المخرج حسن الصياغة.

والآلية نفسها تُنتج أرقام لوائح مخترعة، ومراجع قضايا معقولة لكنها غير موجودة، وإجابات واثقة عن سياسات تغيّرت في الربع الماضي. وفي خدمة موجّهة للجمهور يكون كل من ذلك حادثة حوكمة لا مسألة جودة.

كيف يعمل الحل؟

أسنِد الإجابة. استرجع مقاطع من مجموعة مستندات ذات حجية وألزِم النموذج بالإجابة منها وحدها. فهذا يحوّل مسألة توليد مفتوح إلى مسألة فهم مقروء، وهي مما تُجيده النماذج بدرجة أفضل بكثير.

ألزِم بالاستشهاد. اشترط أن تحمل كل عبارة واقعية إشارةً إلى مقطع مسترجَع، وارفض أو علّم الإجابات التي لا تفعل. فالادعاء غير المستشهَد له في نظام مُسنَد هلوسةٌ بالتعريف.

أتِح الامتناع. النموذج الذي لا يستطيع قول «هذا غير مشمول في المستندات المتاحة لي» سيخترع شيئًا بدلًا من ذلك. ويجب أن يكون الامتناع سلوكًا مكافَأً صراحةً لا نتيجة عرضية.

صعّد. في الفئات عالية الأثر، وجّه إلى إنسان بدل الإجابة. وقرار تحديد تلك الفئات يعود إلى مالك الخدمة لا إلى فريق الهندسة.

1. 1
   دالة الهدف تكافئ المعقولية التنبؤ بالرمز التالي يُحسِّن الامتدادات المرجّحة. ورقم لائحة مختلق مرجّح جدًا في السياق، ولا شيء في التدريب يعاقبه على كونه غير صحيح.
2. 2
   الذاكرة البارامترية فاقدة الحقائق المكتسبة أثناء التدريب المسبق مخزَّنة كأوزان موزّعة لا كسجلات. فيتدهور الاسترجاع وتمتزج الحقائق المتقاربة.
3. 3
   الاسترجاع يوفّر الدليل يضع RAG مقاطع ذات حجية في السياق وقت الإجابة، فينقل المهمة من التذكّر إلى الفهم.
4. 4
   الاسترجاع نفسه قد يُخفق إذا كانت المقاطع المسترجَعة غير ذات صلة أو ناقصة أو متعارضة، فإن النموذج المُلزَم بالإجابة كثيرًا ما يجيب على أي حال.
5. 5
   التحقق يُغلق الحلقة فحص منفصل — تقييم الاستلزام أو التحقق من الاستشهاد — يختبر ما إذا كانت الإجابة مسنودة فعلًا بالمقاطع المسترجَعة.

البنية المرجعية

تُخفَّض الهلوسة عند أربع نقاط مستقلة. والنظام الذي يملك واحدة منها فقط سيظل يُنتج اختلاقات واثقة.

خيارات النشر: في البيانات الحكومية والخاضعة للتنظيم، يجب غالبًا أن تبقى المجموعة المستندية والنموذج نفسه داخل نطاق الجهة، وهو ما يقيّد اختيار النموذج بما يمكن استضافته ذاتيًا وينقل عبء التقييم إلى الفريق الناشر.

القدرات الرئيسية

التكاملات

تمتد الضوابط عبر منصة المستندات وخدمة الاسترجاع ونظام إدارة الحالات الذي يستقبل التصعيدات.

حالات الاستخدام والقطاعات

منهجية التنفيذ

1. 1
   تأسيس المجموعة المستندية أكّد الحجية والحداثة والملكية والتغطية قبل بناء أي شيء. فمعظم إخفاقات الإجابة المُسنَدة تبدأ هنا.
2. 2
   قياس الاسترجاع على حدة قيّم recall@k على أسئلة حقيقية قبل الحكم على المولّد. فمشكلة التوليد كثيرًا ما تكون مشكلة استرجاع.
3. 3
   التقييد وإلزام الاستشهاد ألزِم بالإجابة من المقاطع وحدها، واجعل كل جملة واقعية تحمل إشارة مرجعية.
4. 4
   تعريف الامتناع اتفق مع مالك الخدمة على الفئات التي يجب أن يرفضها المساعد، وعلى ما يراه المواطن بدلًا من ذلك.
5. 5
   التحقق قبل العرض تحقّق من الاستشهادات، ووجّه حالات الإخفاق إلى إنسان بدل عرض إجابة غير مُتحقَّق منها.

الأمن وخيارات النشر

يجب أن يحترم الاسترجاع صلاحيات السائل: فالمساعد المُسنَد الذي يسترجع من مستندات لا يحق للمستخدم الاطلاع عليها يصبح تجاوزًا لضوابط الوصول بواجهة ودّية. افرض التخويل على مستوى المستند وقت الاسترجاع لا بالترشيح بعده. وسجّل المقاطع المستخدمة في كل إجابة حتى يمكن إعادة بناء أي استجابة محل نزاع. وتعامل مع حقن التعليمات المضمّن داخل المستندات المسترجَعة كتهديد قائم، لأن أي مجموعة تقبل محتوى يرسله المستخدمون قد تحمل تعليمات موجّهة إلى النموذج.

مثال عملي

السؤال نفسه عبر ثلاث تهيئات، لإظهار الموضع الذي يعمل فيه كل ضابط فعليًا.

1. بلا استرجاع. يجيب النموذج من ذاكرته البارامترية. فيُنتج خمسة متطلبات أحدها مخترع، دون وسيلة للقارئ للتحقق من أي منها.
2. استرجاع دون إلزام بالاستشهاد. تُسترجَع ثلاثة مقاطع ذات صلة. يستخدمها النموذج لكنه يضيف متطلبًا سادسًا من الذاكرة، مندمجًا في القائمة بسلاسة.
3. استرجاع مع إلزام بالاستشهاد. يجب أن يحمل كل بند إشارة إلى مقطع. والمتطلب المخترع لا مصدر له يستشهد به، فيُحذف أو يُعلَّم قبل العرض.
4. استرجاع واستشهاد وامتناع. لا تغطي المجموعة تجديد فئة رخصة معيّنة. فيصرّح المساعد بذلك ويعرض التصعيد بدل سدّ الفجوة.

أزال الاسترجاع وحده جزءًا من المشكلة. وأزال إلزام الاستشهاد الإخفاق المحدد. وعالج الامتناع الحالة التي كانت فيها الإجابة الأمينة أن المجموعة لا تغطي الموضوع — وهو ما لن يُنتجه الاسترجاع وحده أبدًا.

مثال برمجي

الإسناد عقدُ تعليمات وتحقّق، لا إعداد واحد. الشيفرة التالية تُظهر البنية: استرجاع، ثم تقييد، ثم التحقق من أن كل ادعاء مسنود.

import re

SYSTEM = (
    "Answer ONLY from the numbered passages provided. "
    "Every factual sentence must end with a citation like [2]. "
    "If the passages do not contain the answer, reply exactly: "
    "INSUFFICIENT_CONTEXT. Do not use outside knowledge."
)

def build_prompt(question, passages):
    body = "\n".join(f"[{i}] {p}" for i, p in enumerate(passages, start=1))
    return f"{SYSTEM}\n\nPASSAGES:\n{body}\n\nQUESTION: {question}"

def uncited_sentences(answer, n_passages):
    """Return factual sentences carrying no valid citation."""
    problems = []
    for sentence in re.split(r"(?<=[.!?\u061F])\s+", answer.strip()):
        if not sentence:
            continue
        cites = [int(c) for c in re.findall(r"\[(\d+)\]", sentence)]
        if not cites:
            problems.append(("uncited", sentence))
        elif any(c < 1 or c > n_passages for c in cites):
            problems.append(("bad_citation", sentence))
    return problems

# Gate the response before it reaches the user.
answer = call_model(build_prompt(question, passages))
if answer.strip() == "INSUFFICIENT_CONTEXT":
    route_to_human(question)
else:
    issues = uncited_sentences(answer, len(passages))
    if issues:
        route_to_human(question, reason=issues)  # never display unverified claims
    else:
        display(answer)

إمّا إجابة مستشهَد لها بالكامل، وإمّا حدث توجيه إلى إنسان. ويشمل مُقسِّم الجمل علامة الاستفهام العربية (U+061F) حتى تُقسَّم الإجابات العربية بشكل صحيح — فالمُقسِّم اللاتيني وحده يعامل الإجابة العربية كلها كجملة واحدة بصمت فيصبح الفحص بلا معنى.

فحوصات تشخيصية

• اطرح أسئلة يثبت أن المجموعة لا تغطيها. فالنظام الخالي من الامتناع سيخترع إجابة وستراها فورًا.
• تحقّق من أن كل استشهاد يشير إلى مقطع يحتوي الادعاء فعلًا لا إلى مقطع ذي صلة فحسب.
• قِس recall@k للاسترجاع بمعزل عن جودة الإجابة للفصل بين نمطَي الإخفاق.
• اطرح السؤال نفسه بالعربية والإنجليزية على مجموعة ثنائية اللغة وقارن — فالفجوة الكبيرة تدل على مشكلة استرجاع لا توليد.
• اسأل عن سياسة تغيّرت مؤخرًا. فالمجموعة القديمة تُنتج إجابة مُسنَدة خاطئة بثقة، وهي أصعب اكتشافًا من غير المُسنَدة.
• خذ عيّنات أسبوعية من إجابات التشغيل وقيّم سندها مقابل المقاطع المستشهَد بها؛ فالأمانة للمصدر تتدهور بهدوء مع انحراف المجموعة.

القيود والمتطلبات المسبقة

• يقلّل الإسناد الهلوسة بدرجة كبيرة لكنه لا يلغيها؛ فالنماذج ما زالت تتوسّع في المقاطع المُعطاة وتُسيء قراءتها.
• إلزام الاستشهاد يتحقّق من أن مصدرًا قد ذُكر، لا من أن المصدر يسند الادعاء، ما لم يُضَف فحص الاستلزام.
• الامتناع يقايض التغطية بالموثوقية، والمساعد الذي يمتنع كثيرًا يهجره المستخدمون.
• وجود مجموعة حديثة وواضحة الملكية شرط مسبق تستهين به معظم المؤسسات ولا يعوّضه أي اختيار للنموذج.

ما يزيله كل ضابط فعليًا

هذه الضوابط تراكمية لا بديلة. فكلٌّ منها يُغلق إخفاقًا يتركه سابقه مفتوحًا.

نشر الصف الأول وحده ثم تسمية النتيجة «مُسنَدة» هو أكثر الطرق شيوعًا لوصول هذه الأنظمة إلى التشغيل بشكل غير آمن.

الخلاصة

• الهلوسة نتيجة لدالة الهدف في التدريب؛ وليست خللًا يُزال بهندسة التعليمات.
• الاسترجاع يحوّل التذكّر إلى فهم ويزيل حصة كبيرة من المشكلة.
• إلزام الاستشهاد هو ما يجعل الادعاء المُسنَد قابلًا للفحص بدل أن يبدو ذا مصدر فحسب.
• يجب أن يكون الامتناع إجابة مسموحًا بها صراحةً وإلا ملأ النموذج الفجوة.
• في التطبيقات العربية يكون الجزء الصعب هو جودة الاسترجاع، ويجب قياسها على استعلامات عربية حقيقية.

الأسئلة الشائعة

مواضيع وحلول ذات صلة

• AI Products Portfolio