في شركة Northbridge Health، يحتاج الفريق المسؤول عن تشغيل واجهة برمجة التطبيقات (API) لنموذج CareClaims Triage إلى اتخاذ قرارات قابلة للتبرير قبل وصول تحديث النموذج إلى عمليات معالجة المطالبات. وتتمثل المهمة في تعزيز دورة حياة النموذج بالكامل ضد مخاطر التسميم (poisoning)، والاستخراج (extraction)، والاستنتاج (inference)، مع توفير أدلة تصمد أمام المراجعة الهندسية ومراجعة الخصوصية وعمليات التدقيق. يُعرَّف سطح الهجوم بأنه أي نقطة يمكن لجهة فاعلة من خلالها التأثير على نظام النموذج أو الاستعلام عنه أو مراقبته. أما هدف الضبط فيحدد نتيجة الحماية التي يجب أن تحققها البنية الهندسية والأدلة التي تثبت ذلك.
[المصادر][/المصادر]
تُعد واجهة برمجة تطبيقات النموذج (Model API) نقطة انكشاف واحدة فقط؛ إذ تنطوي بيانات التدريب، ومهام الضبط الدقيق (fine-tuning)، ومدخلات سجل النماذج، وإعدادات النشر، واستجابات الواجهة، وسجلات التشغيل، جميعها على تبعات تتعلق بالأمن والحوكمة. ولا يتمثل الهدف في جمع كل الأصول أو البيانات الممكنة، بل في إرساء إمكانية التتبع (traceability) التي تربط أي قرار جوهري بالبيانات المعتمدة، وسلوك النموذج المُقيَّم، والنشر المصرَّح به، واستخدام الواجهة المرصود. [المصادر][/المصادر]
يمكن أن تبدأ سلسلة الهجوم على النموذج عند نقطة دخول البيانات إلى المنصة وتستمر خلال مراحل إصدار النموذج واستخدامه. وتؤثر عمليات تسميم بيانات التدريب، وتسميم الضبط الدقيق، وإدراج الأبواب الخلفية (backdoors) على سلوك النموذج قبل نشره. في المقابل، تنشأ مخاطر استخراج النموذج، وعكس النموذج (model inversion)، واستنتاج العضوية (membership inference) عندما يكشف سلوك الواجهة أو مخرجاتها معلومات تفوق ما ينبغي للخدمة الإفصاح عنه. ونظراً لأن كل فئة من هذه المخاطر تتجاوز حدود ملكية مختلفة، فلا يمكن لآلية ضبط محيطية واحدة أن تغطي دورة الحياة بأكملها. [المصادر][/المصادر]
بالنسبة لنموذج CareClaims Triage، ينبغي أن توضح البنية الهندسية النقاط التي يتم فيها التحقق من المصدر (provenance)، والنقاط التي تمنع فيها عملية التقييم إصدار النموذج، والنقاط التي تُقيَّد فيها طلبات الواجهة، والنقاط التي تُحفظ فيها مؤشرات الاستخدام للمراجعة. وتخلق آليات الضبط هذه نقاطاً لاتخاذ القرار دون افتراض أن مؤشراً واحداً يثبت وجود نشاط ضار. ويمكننا تتبع سطح الهجوم وحدود الضبط المقصودة على النحو التالي:
تتولى هندسة الأمن مسؤولية سلامة مسارات النشر، وحماية واجهات برمجة التطبيقات (APIs)، وتغطية آليات الكشف. وتتولى هندسة تعلم الآلة مسؤولية قرارات التدريب والتقييم القابلة للتكرار. بينما تتولى حوكمة البيانات مسؤولية تحديد استخدامات البيانات المسموح بها، وتوقعات تتبع أصل البيانات (lineage)، وقواعد الاحتفاظ بها. وتُعد الموافقة المشتركة أمراً ضرورياً عندما يؤثر تعديل النموذج على نتائج المطالبات أو على التعامل مع البيانات الحساسة. كما أن مبدأ الفصل بين المهام مهم للغاية؛ إذ قد يكون إصدار النموذج سليماً من الناحية الفنية، ولكنه يفتقر إلى مصدر موثوق أو تفويض معتمد. [المصادر][/المصادر]
يحدد هدف الرقابة القابل للإثبات والتدقيق كلاً من: النتيجة المتوقعة، والمالك المسؤول، ونطاق الموافقة، والسجل أو العنصر المحتفظ به كدليل. ويجب أن تدعم الأدلة عملية إعادة بناء الأحداث بعد وقوع حادثة ما، لا أن تكتفي بمجرد إثبات وجود العملية. ويمكننا فحص السجلات التي تربط قرار النموذج بالجهات المسؤولة عنه: