ستقوم بإعداد إصدار أولي آمن من نظام PhishTriage-v1 لصالح اتحاد “BrightShield” الائتماني. يربط دليل إجراءات تنسيق وأتمتة والاستجابة للحوادث الأمنية (SOAR) بين بيانات التنبيه، وعمليات الإثراء، والتوجيه، والإجراءات المعتمدة في سير عمل قابل للتكرار. وتقوم خطوة النموذج اللغوي الكبير (LLM) بقراءة نص محدد وإرجاع مخرجات استشارية منظمة، مثل ملخص أو وسوم مقترحة. يمكن لهذه الخطوة مساعدة المهندس في تسهيل تشغيل دليل الإجراءات دون منح النموذج صلاحية احتواء الحادثة الأمنية.
في مؤسسة “BrightShield”، يتضح الحد الفاصل المفيد؛ إذ يمكن للنموذج اللغوي الكبير إثراء تنبيهات التصيد الاحتيالي، وصياغة شرح موجز، ودعم عمليات الإشعار. ومع ذلك، يظل المحلل الأمني مسؤولاً عن القرار النهائي، ويجب عليه الموافقة على إجراءات العزل، أو الحظر، أو تعديلات الحسابات.
يبدأ دليل الإجراءات بتنبيه حول رسالة بريد إلكتروني واردة وينتهي بإجراءات مسجلة وقابلة للمراجعة. لا يمكن لمحتوى البريد الإلكتروني غير الموثوق الوصول إلى خطوة الإثراء عبر النموذج اللغوي الكبير إلا بعد أن يقوم سير العمل بإزالة البيانات التي تقع خارج النطاق المعتمد. يُرجع النموذج اللغوي الكبير مخرجات بتنسيق JSON ثابت يتحقق منه دليل الإجراءات قبل تدوين المعلومات في تذكرة الحادثة. ولا يمتلك النموذج أي وصول مباشر إلى ضوابط العزل، أو قوائم الحظر، أو بيانات الاعتماد، أو الصلاحيات اللاحقة في النظام.
يتعامل هذا التصميم مع النموذج اللغوي الكبير كعنصر للإثراء والتصنيف وليس كصانع للقرار؛ حيث تعمل مرحلة المراجعة من قبل المحلل كحاجز يفصل بين النص الاستشاري وأي إجراء قد يؤدي إلى تعطيل مصالح الأعضاء أو الموظفين أو سير العمليات التجارية. دعونا نتتبع كيف تتغير مستويات الثقة عبر نظام PhishTriage-v1:
تُعد نصوص رسائل البريد الإلكتروني، ونصوص تذاكر الدعم الفني، وترويسات البيانات المستخرجة مدخلات خاضعة لسيطرة المهاجم. ويُقصد بـ الحقن غير المباشر للمطالبات (Indirect Prompt Injection) وجود تعليمات مخفية داخل المحتوى الذي يقرأه النموذج اللغوي الكبير (LLM)، بهدف توجيه سلوكه أو كشف البيانات. أما المؤشر المُختلَق (Hallucinated Indicator)، فهو عبارة عن نطاق أو عنوان أو تفصيل أمني آخر مُخترع لا يستند إلى أي دليل في السجل الأصلي. وتكتسب كلتا الحالتين أهمية بالغة؛ لأن الملخص المُصاغ بإتقان قد يبدو صالحاً لاتخاذ إجراءات بشأنه، بينما يكون في الواقع غير آمن أو غير مدعوم ببيانات حقيقية.
تعمل أداة BrightShield على قصر نطاق عمل BeaconLLM على نصوص الأحداث الأمنية الداخلية، وتشترط توفر معرفات (IDs) لسجلات المصدر يمكن تتبعها. ويجب أن تقتصر عملية تدفق البيانات على تمرير الحد الأدنى من النصوص اللازمة لعملية الإثراء المعلوماتي؛ كما يجب ألا يمتلك النموذج الذي يقرأ محتوى غير موثوق أي أدوات أو أسرار أو صلاحيات لاتخاذ إجراءات احتواء. لنستعرض الآن قواعد التشغيل التي تحدد هذا النطاق: