يمكن لروبوتات الدردشة المدعومة بالذكاء الاصطناعي الإجابة عن الأسئلة واستخدام الأدوات، إلا أنها قد تكشف معلومات تفوق الحدود المسموح بها في حال ضعف التدابير الأمنية. تستعرض هذه الدورة آلية عمل روبوتات الدردشة وحدود الثقة المرتبطة بها، وتوضح كيف يمكن للهجمات الشائعة تحويل المحادثات العادية إلى وسيلة لسرقة البيانات، أو توليد مخرجات ضارة، أو إساءة استخدام الأدوات، أو التسبب في ارتفاع هائل في التكاليف. وهي موجهة للمبتدئين الراغبين في فهم المخاطر المرتبطة بهذه الروبوتات بشكل كافٍ لتقييم آليات الدفاع، ومراجعة التصاميم، واكتشاف الثغرات الأمنية قبل طرحها للاستخدام.
تتناول الدورة كيفية استخدام روبوتات الدردشة القائمة على النماذج اللغوية الكبيرة (LLM) لكل من توجيهات النظام (system prompt)، وسجل المحادثة، ومدخلات المستخدم، والأدوات ضمن حلقة معالجة الطلبات، بالإضافة إلى نموذج الأمن الأساسي المتمثل في السرية والسلامة والتوافر. كما تغطي الدورة موضوعات: حقن الأوامر (prompt injection)، وكسر القيود (jailbreaking)، وتسريب توجيهات النظام، ومخاطر الخصوصية، وإساءة استخدام الأدوات، وهجمات حجب الخدمة، وآليات الحماية (guardrails)، وحماية البيانات، والصلاحيات، وحدود معدل الطلبات، والمراقبة، واختبارات الاختراق الاستباقية (red teaming).