LLM (بڑے لسانی ماڈلز) کے نقصان دہ نتائج اس وقت سیکیورٹی کا مسئلہ بن جاتے ہیں جب وہ محض اکا دکا غلطیوں کے بجائے ایسی متوقع ناکامیوں کی صورت اختیار کر لیتے ہیں جنہیں ٹیمیں ماڈل (model) اور کنٹرول کر سکتی ہیں۔ یہ کورس سیکیورٹی ٹیموں اور AI/ML انجینئرز کو اس قابل بناتا ہے کہ وہ نقصان دہ مواد کی تعریف کر سکیں، فلٹرنگ اور جائزے (review) کے کنٹرولز نافذ کر سکیں، مواد کی جانچ پڑتال (moderation) کے فیصلوں کو بہتر بنا سکیں، اور اس بات کا ثبوت فراہم کر سکیں کہ یہ کنٹرولز مؤثر طریقے سے کام کر رہے ہیں۔ کورس کے اختتام تک، سیکھنے والے مواد کی حفاظت (content safety) کو محض مواد کی جانچ پڑتال کے ایک فیچر کے بجائے ’آپریشنل سیکیورٹی‘ کے ایک شعبے کے طور پر سمجھنے اور اس پر غور کرنے کے قابل ہو جائیں گے۔
اس کورس میں نقصان دہ LLM آؤٹ پٹس (نتائج) کے لیے تھریٹ ماڈلنگ (threat modeling)، کسی تنظیم کے لیے مخصوص نقصانات کی درجہ بندی (taxonomies)، اور ان پٹ، بازیافت (retrieval) اور آؤٹ پٹ کے مراحل پر 'ڈیفنس اِن ڈیپتھ' (کثیر سطحی) فلٹرنگ کا احاطہ کیا گیا ہے۔ اس کے علاوہ، اس میں ماڈریشن کلاسیفائرز، حد بندی (threshold setting)، انسانی جائزے کی قطاریں (queues)، ایڈورسریل ٹیسٹنگ (adversarial testing)، تعمیلی دستاویزات کی تیاری اور کنٹرولز میں مسلسل بہتری لانے (tuning) جیسے امور بھی شامل ہیں۔