A avaliação de segurança de LLMs determina se um sistema é seguro para o uso pretendido, indo além da simples produção de resultados de alta qualidade. Este curso desenvolve um fluxo de trabalho de avaliação prática que abrange análise de riscos, projeto de testes, conjuntos de dados, métricas, classificação, testes adversariais e execução automatizada. Ao final, você terá as habilidades necessárias para interpretar falhas, avaliar riscos residuais e embasar decisões de implementação com evidências documentadas.
O curso aborda a definição do escopo de riscos, critérios de teste, conjuntos de dados de segurança, métricas sensíveis à confiabilidade, avaliação automatizada, benchmarking com HELM Safety e HarmBench, testes adversariais e pipelines de avaliação reproduzíveis. Também trata da triagem de falhas, avaliação de RAG e agentes, testes de regressão, avaliação contínua, geração de relatórios e critérios de liberação para implantação.