OWASP کے سرفہرست 10 خطرات سے منسلک، مجاز LLM 'ریڈ ٹیم' ٹیسٹس کی منصوبہ بندی کریں، انہیں چلائیں اور ان کی رپورٹ تیار کریں۔
۴ حصے · ۸ اسباق
اس واقعے (incident)، کارروائی کے اصولوں (rules of engagement) اور ٹیسٹ پلان کی وضاحت کریں جو LLM ریڈ ٹیم کی کوشش کو مجاز، قابلِ آڈٹ اور OWASP کوریج سے منسلک بناتے ہیں۔
۳ اسباقشواہد اور تحفظ کو برقرار رکھتے ہوئے براہِ راست اور بالواسطہ 'پرامپٹ انجیکشن' (prompt injection) ٹیسٹ چلانے کے لیے garak، PyRIT اور promptfoo کا استعمال کریں۔
۱ سبقبازیافت (retrieval)، میموری، سیاق و سباق (context)، ایجنٹ، ٹولز کے استعمال اور وسائل کے ختم ہونے (resource-exhaustion) سے وابستہ خطرات کا جائزہ لیں، اور OWASP سے منسلک ناکامی کی اقسام (failure classes) کے لیے ثبوت بھی محفوظ کریں۔
۲ اسباقآؤٹ پٹ ہینڈلنگ (output handling) اور ڈیپینڈنسی (dependency) کے متاثر ہونے کا جائزہ لیں، اور پھر اپنے نتائج کو ایک مکمل رپورٹ کی شکل دیں جس میں شدت (severity)، تدارک (mitigation)، دوبارہ ٹیسٹ کرنے کے مراحل اور ریلیز سے متعلق ہدایات شامل ہوں۔
۲ اسباقاس جدید 'ریڈ ٹیمنگ' (red teaming) کورس کا آغاز OWASP کے معیار کے مطابق LLM کے کسی فعال واقعے (incident) کی درجہ بندی سے ہوتا ہے۔ یہ کورس سیکیورٹی ٹیموں اور ریڈ ٹیمرز کے لیے مجاز 'ایڈورسریل ٹیسٹنگ' (adversarial testing) پر مرکوز ہے، جنہیں اپنی ایپلی کیشنز کے لیے واضح دائرہ کار، شواہد اور ریلیز سے متعلق فیصلوں کی ضرورت ہوتی ہے۔ کورس کے اختتام تک، شرکاء ٹیسٹ پروگرام تشکیل دینے، عام ٹولز کی مدد سے کنٹرولڈ حملے کرنے، اور اپنے نتائج کو ایک ایسی ایگزیکٹو رپورٹ میں ڈھالنے کے قابل ہو جاتے ہیں جس میں اصلاحی اقدامات اور 'گو یا نو-گو' (go or no-go) سے متعلق رہنمائی شامل ہو۔
یہ کورس کسی مخصوص LLM ایپلی کیشن کے لیے OWASP سے ہم آہنگ ٹیسٹ کی منصوبہ بندی، قواعدِ کار (rules of engagement) اور قابلِ عمل ٹیسٹ کیسز کا احاطہ کرتا ہے۔ اس میں garak، PyRIT اور promptfoo کے ذریعے 'پرامپٹ انجیکشن' (prompt injection) کی جانچ کے ساتھ ساتھ ریٹریول (retrieval)، میموری، ایجنٹ، آؤٹ پٹ ہینڈلنگ اور سپلائی چین کی ناکامیوں سے متعلق اقسام بھی شامل ہیں۔
پروجیکٹ مینیجرز اور آپریشنز ٹیموں سے لے کر بانیان، تجزیہ کاروں اور AI اپنانے والی ٹیموں تک، Fenzo ان سب کے لیے ہے جو اپنے روزمرہ کام میں مزید بہتر ہونا چاہتے ہیں۔
پروجیکٹس کی منصوبہ بندی اور ڈیٹا کے تجزیے کے لیے AI کے استعمال سے لے کر عمل، فیصلہ سازی، بات چیت اور تکمیل کو بہتر بنانے تک، سب کچھ۔ اگر آپ مہارت یا کام بیان کر سکتے ہیں تو Fenzo اس پر کورس بنا سکتا ہے۔
جی ہاں۔ Fenzo کو بتائیں کہ آپ کیا کرتے ہیں، کیا حاصل کرنا چاہتے ہیں اور کہاں پھنسے ہیں، اور وہ کورس کو آپ کے کردار، آپ کے اہداف اور اس کام کے مطابق ڈھال دے گا جو آپ کو واقعی کرنا ہے۔
نہیں۔ Fenzo آپ کے نقطۂ آغاز کے مطابق ڈھل جاتا ہے: آپ بنیادی باتوں سے شروع کر سکتے ہیں یا سیدھے اعلیٰ موضوعات پر جا سکتے ہیں۔
جی ہاں۔ Fenzo for Business آپ کی پوری ٹیم کو ایک ہی سبسکرپشن میں اکٹھا کرتا ہے: مشترکہ لائسنس، تفویض کیے جا سکنے والے کورسز اور اس بارے میں رپورٹس کہ کس نے کیا مکمل کیا۔
Fenzo for Business کے بارے میں جانیںآپ اپنا ہدف بتا کر یا ایک مختصر مہارتی جائزہ دے کر آغاز کرتے ہیں۔ Fenzo اس سیاق سے آپ کی کمزوریاں پہچانتا ہے اور سیکھنے کا تجربہ انہی کے گرد ترتیب دیتا ہے۔
جی ہاں، Fenzo آپ کے فون کے براؤزر میں چلتا ہے۔
ہر حصے میں کچھ ایسا جس کے ساتھ آپ تعامل کر سکیں۔
سیکھنے پر دہائیوں کی تحقیق کے تین نتائج نے طے کیا کہ ہر Fenzo سبق کیسے بنایا جائے۔
اوسط کامیابی کی شرح · Freeman et al., PNAS 2014
سائنس کیا کہتی ہے
صرف لیکچر والی کلاسوں کے طلبہ کے فیل ہونے کا امکان ۱.۵× زیادہ ہوتا ہے۔
Fenzo یہ کیسے کرتا ہے
ہر Fenzo سبق انٹرایکٹو ہے۔ کبھی غیر فعال پڑھنا یا دیکھنا نہیں۔
آپ خود کرتے ہیںAI آپ کے لیے کرتا ہے
وقت کے ساتھ مہارت کی یادداشت · مشق کے ساتھ بمقابلہ بغیر
سائنس کیا کہتی ہے
سوچنے کا کام AI کے سپرد کر دینے سے وہی مہارتیں کمزور ہوتی ہیں جو آپ بنانا چاہتے ہیں۔
Fenzo یہ کیسے کرتا ہے
Fenzo آپ سے سوچواتا ہے — رہنمائی کے ساتھ، مگر آپ کی جگہ کبھی نہیں۔
یاد کرنے کی مشقدوبارہ پڑھنا
طویل مدتی یادداشت · یاد کرنا بمقابلہ دوبارہ پڑھنا
سائنس کیا کہتی ہے
پائیدار سمجھ بنانے کے لیے کسی معلومات کو یاد کرنا اسے دوبارہ پڑھنے سے بہتر ہے۔
Fenzo یہ کیسے کرتا ہے
اسباق میں کوئز اور یاد کرنے کے سوالات شامل ہیں تاکہ سیکھا ہوا یاد رہے۔