Saídas prejudiciais de LLMs tornam-se um problema de segurança quando deixam de ser erros isolados e passam a ser modos de falha previsíveis, que as equipes podem modelar e controlar. Este curso oferece a equipes de segurança e engenheiros de IA/ML meios para definir conteúdo prejudicial, implementar controles de filtragem e revisão, ajustar decisões de moderação e gerar evidências de que esses controles funcionam. Ao final, os participantes serão capazes de abordar a segurança de conteúdo como uma disciplina de segurança operacional, e não apenas como um recurso de moderação.
O curso aborda a modelagem de ameaças para saídas prejudiciais de LLMs, taxonomias de danos específicas da organização e filtragem em defesa em profundidade nos fluxos de entrada, recuperação e saída. Também abrange classificadores de moderação, definição de limites (thresholds), filas de revisão humana, testes adversariais, documentação de conformidade e o ajuste contínuo dos controles.