تبدأ عملية تأمين تطبيقات الذكاء الاصطناعي التوليدي (GenAI) بتحديد “حد الثقة”. يُعرَّف حد الثقة (Trust Boundary) بأنه الخط الفاصل الذي يمكن عنده لجهة تشغيل مختلفة أو مجموعة سياسات مختلفة مراقبة الطلب أو تعديله أو حظره.
في هذه الدورة، نعمل على تأمين تطبيق للذكاء الاصطناعي التوليدي يقوم بإرسال المطالبات (prompts)، واسترجاع بيانات خاصة، واستدعاء أدوات، وإرجاع مخرجات. تختلف مهام التأمين هنا عن التطبيقات التقليدية لأن مدخلات ومخرجات النموذج لا يمكن فصلها بشكل موثوق عن التعليمات البرمجية أو الأوامر.
كما نتعامل مع مخرجات النموذج باعتبارها مدخلات غير موثوقة لأي نظام لاحق يقوم بتحليلها أو اتخاذ إجراء بناءً عليها. ويساهم هذا الافتراض وحده في منع العديد من حالات تسريب البيانات وإساءة استخدام الأدوات التي كان يمكن تجنبها.
تتشارك تطبيقات الذكاء الاصطناعي التوليدي في نفس أسطح الهجوم الأساسية الموجودة في أي عبء عمل (workload) ويب؛ فهي لا تزال بحاجة إلى إدارة الهوية، وتقسيم الشبكة، والتشفير، وتسجيل الأحداث، والاستجابة للحوادث.
ومع ذلك، تضيف تطبيقات الذكاء الاصطناعي التوليدي نقاط انكشاف جديدة عبر المطالبات، وسياق الاسترجاع، ووسائط الأدوات (arguments)، ومخرجات النموذج. يمكن أن تحمل هذه المسارات بيانات حساسة حتى لو التزم المزود بعدم استخدام المدخلات في تدريب النموذج.
تتمثل المهمة الأولى في نمذجة التهديدات في تحديد الأصل (asset) والحدود التي تحميه. وفي مجال الذكاء الاصطناعي التوليدي، تشمل الأصول الأكثر شيوعاً وعالية القيمة: النصوص المملوكة للجهة (proprietary text)، وبيانات الاعتماد، وقدرات الأدوات.
تتغير طبيعة المسؤولية في السحابة بناءً على كيفية استهلاك النموذج. يُقصد بنمط الاستهلاك (consumption mode) الخيار التشغيلي الذي يحدد الجهة التي تشغّل النموذج والجهة التي يمكنها الوصول إلى بيئة تشغيله (runtime).
يمكن تصنيف الأنماط الشائعة إلى: استدعاء واجهة برمجة تطبيقات (API) لنموذج مستضاف، وتخصيص نموذج مُدار، والبناء فوق منصة ذكاء اصطناعي مُدارة، والاستضافة الذاتية لأوزان النموذج (model weights). وكل خطوة نحو الاستضافة الذاتية تزيد من نطاق العناصر التي يجب علينا تأمينها بشكل مباشر.
يمكن لمزود الخدمة تشغيل خدمة النموذج مع البقاء خارج نطاق “حد الثقة” الخاص بالتطبيق؛ حيث يظل فريق التطبيق مسؤولاً عن معالجة المطالبات، وتصفية نتائج الاسترجاع، وتفويض استخدام الأدوات، ومعالجة المخرجات.
يمكننا الآن فحص كيفية انتقال المسؤولية والملكية عبر هذه الأنماط المختلفة.
نستند في بقية الدورة التدريبية إلى مجموعة محدودة من الحدود؛ حيث يمثل كل حدٍ منها نقطة لتطبيق إجراءات التحكم والتحقق لاحقاً من الأدلة.
حد الهوية (Identity boundary): يحدد الكيان (principal) المخول باستدعاء واجهة برمجة التطبيقات (API) ومستوى الصلاحيات الممنوحة له. يشمل هذا الحد بيانات اعتماد أحمال العمل (workload credentials)، ونطاق الجلسة، وعمليات التحقق من الصلاحيات عند كل استدعاء لأداة ما.
حد الشبكة (Network boundary): يحدد مسارات تدفق حركة البيانات على مستوى الحزم (packets). يشمل هذا الحد خيارات الاتصال الخاص، وقيود حركة البيانات الصادرة (egress)، وإمكانية الوصول إلى الخدمة عبر شبكة الإنترنت العامة.
حد البيانات (Data boundary): يحدد أنظمة التخزين وسجلات البيانات التي يمكنها حفظ المطالبات (prompts)، والسياق المسترجع، والمخرجات. يشمل هذا الحد سياسات الاحتفاظ بالبيانات، والتحكم في الوصول، وما إذا كانت الحقول الحساسة تخضع للحجب أو التنقيح قبل تسجيلها.
حد مخرجات النموذج (Model artifact boundary): يحدد كيفية دخول ملفات النموذج، والمحولات (adapters)، والحاويات (containers) إلى بيئات البناء والتشغيل. يشمل هذا الحد التحقق من المصدر (provenance)، وسلامة البيانات، ومخاطر الاعتماديات (dependencies) أثناء التحميل والنشر.
حد الأدوات (Tool boundary): يحدد الإجراءات التي يمكن للنموذج تفعيلها عبر الموصلات (connectors) أو الدوال البرمجية أو الوكلاء (agents). يشمل هذا الحد منح صلاحيات لكل إجراء على حدة، ووضع قيود على المعاملات (arguments) التي يمكن تمريرها للأداة.
حد الخروج الخارجي (External egress boundary): يحدد البيانات التي يمكن نقلها إلى أطراف خارجية، أو إضافات برمجية (plugins)، أو شبكة الإنترنت المفتوحة. يُعد هذا الحد بالغ الأهمية لأن تسريب البيانات يتطلب وجود مسار للخروج.
يمكننا الآن تصور كيفية عبور المطالبات، وعمليات الاسترجاع، والأدوات، والسجلات، وحركة البيانات الصادرة لهذه الحدود.