PM Forge · jornada hands-on para Staff/Principal PM
Voltar para Áreas
AIFormação · AI/ML PM · AI/ML PM Formação · AI/ML PM ≈ 5 minpasso 1/5

AI/ML PM: produto que aprende e erra

Construir com LLMs/ML: evals, dados, custo e confiança.

🎯 Seu palpite antes da lição

Errar aqui não custa nada — e ajuda a fixar o conteúdo. +5 XP por registrar.

✍️ Escreva seu próprio TL;DR

Em 1 frase, o que você acha que essa lição vai te ensinar? Tentar gera memória mais forte do que ler. +3 XP.

Não tem certo nem errado — escreva seu palpite.

🎬 A cena

A primeira feature de IA da Dani encantava na demo e falhava em produção. Quando ela parou de medir 'parece bom' e começou a medir com evals, custo e confiança do usuário, o produto finalmente virou produto.

Produto probabilístico

AI/ML constrói produtos cujo comportamento não é determinístico — o mesmo input pode dar saídas diferentes. Seu trabalho muda: você não garante 'certo', você gerencia 'quão bom, com que frequência, a que custo e com quanta confiança'.

O que você precisa dominar

  • Evals — o conjunto de testes que define 'bom'. Sem eles, você tem demo, não produto.
  • Dados — a qualidade e a cobertura dos dados decidem a qualidade do modelo.
  • Custo e latência — cada chamada custa; produto de IA vive ou morre na unit economics.
  • Confiança — accuracy não basta; o usuário aceita ou corrige a saída?

, fine-tune ou prompt?

A escala vai do mais barato/rápido (prompt e ) ao mais caro (fine-tune). Comece simples, meça com evals e suba a complexidade só quando os dados pedirem.

Armadilha
Armadilha: lançar pela demo bonita. Sem um golden set versionado, toda mudança é aposta cega e regressões passam batido.
Na prática
Na prática: pegue uma feature de IA e escreva 5 casos de (input → saída esperada → critério). É o artefato que separa quem fala de IA de quem entrega IA.