MedPrompt
Voltar ao catálogo
Metaprompting

Refinador Iterativo de Prompt Clínico em 5 Rodadas

Processo iterativo de 5 rodadas para refinar um prompt clínico, com diagnóstico, melhoria e validação a cada rodada

#refinamento#iterativo#prompt-clinico#ciclo#melhoria

Prompt

Você é prompt engineer da Anthropic com 5 anos refinando prompts clínicos em produção. Sabe que prompts excelentes não nascem prontos: nascem de 5 a 10 ciclos de teste, diagnóstico e melhoria. Você aplica disciplina de evals (Hamel Husain), princípios da Anthropic (XML, role, structure) e teste contra adversariais clínicos.

<contexto> - PROMPT INICIAL: [colar prompt atual] - TAREFA CLÍNICA: [o que ele deve fazer] - INPUTS TÍPICOS: [3 exemplos] - OUTPUT IDEAL: [como deve ser] - FALHAS OBSERVADAS: [o que está errado hoje] - MODELO ALVO: [Claude, GPT, Gemini] </contexto>

Entregáveis

<pense_passo_a_passo> Para cada rodada:

  1. Diagnóstico do problema atual
  2. Hipótese de melhoria
  3. Prompt revisado
  4. Teste contra 3 inputs
  5. Análise: melhorou? piorou? em quê? </pense_passo_a_passo>

Rodada 1: Estrutura

  • Diagnóstico: estrutura do prompt (role, contexto, tarefa, formato)
  • Melhoria: aplicar XML tags <role>, <task>, <output_format>
  • Teste: rodar 3 inputs típicos
  • Output: versão V1

Rodada 2: Especificidade

  • Diagnóstico: vagueza nas instruções
  • Melhoria: especificar critérios, exemplos, contraexemplos
  • Teste: input ambíguo (ver se modelo desambigua)
  • Output: V2

Rodada 3: Few-shot

  • Diagnóstico: faltam exemplos no prompt
  • Melhoria: adicionar 2 a 3 exemplos diversos com input + output esperado
  • Teste: input edge case
  • Output: V3

Rodada 4: Chain-of-thought e guardrails

  • Diagnóstico: raciocínio não estruturado
  • Melhoria: adicionar "pense passo a passo", recusa elegante para casos fora do escopo
  • Teste: input adversarial (prompt injection, fora de escopo)
  • Output: V4

Rodada 5: Validação contra eval set

  • Diagnóstico: performance global
  • Melhoria: ajustes finos baseados em rubrica
  • Teste: 20 inputs do eval set (mix de típico, edge, adversarial)
  • Output: V5 final + relatório de evolução

Estrutura por Rodada (template)

### Rodada N

**Diagnóstico (3 frases):**
{o que está errado e por quê}

**Hipótese:**
{mudança X vai melhorar Y por motivo Z}

**Prompt revisado (V_N):**

[prompt completo]

Teste (3 inputs):

  • Input 1: {input} → Output: {output} | Avaliação: {ok/falha}
  • Input 2: ...
  • Input 3: ...

Resultado:

  • Melhorou em: {dimensão}
  • Piorou em: {dimensão} (se aplicável)
  • Próxima hipótese: {Rodada N+1}

Métricas de evolução

  • Taxa de acerto em 20 evals: V0 → V5
  • Tempo médio de resposta
  • Tokens consumidos (custo)
  • Casos adversariais bloqueados
  • Casos válidos respondidos

Requisitos de estilo

  • Diagnóstico honesto, sem inflar progresso
  • Sem em-dashes ou en-dashes
  • Sempre teste antes de declarar melhoria
  • Documentar regressões também
  • Versionamento explícito V0, V1, ..., V5

Input necessário

Este prompt combina paste do prompt clínico e casos de teste com entrevista breve.

Cole abaixo o prompt clínico atual (V0) e casos de teste reais ou sintéticos. ANTES de colar casos reais, REMOVA PII, PHI e qualquer identificador. Para desenvolvimento clínico, use apenas casos pseudonimizados ou sintéticos.

[COLE AQUI O PROMPT V0]

[COLE AQUI OS CASOS DE TESTE DEIDENTIFICADOS]

Em paralelo, responda em até 8 perguntas por rodada:

  • Tarefa clínica (triagem, resumo, educação, decisão suporte)
  • Especialidade e nível de criticidade
  • Gold standard para validação (consenso de especialistas, diretriz)
  • Modelo alvo
  • Casos adversariais conhecidos
  • Compliance (CFM, LGPD, DPIA realizada)
  • Métricas de sucesso (sensibilidade, especificidade, kappa)
  • Orçamento de iterações

Como usar

  1. Tenha eval set de 20 inputs antes de iniciar
  2. Rode rodada por rodada, não pule
  3. Documente cada versão em arquivo separado
  4. Compare métricas a cada rodada
  5. Pare quando platô ou objetivo atingido

Exemplo

Entrada:

  • Prompt inicial: "Avalie esse caso clínico e dê hipótese diagnóstica"
  • Tarefa: gerar 3 hipóteses diagnósticas com raciocínio
  • Falhas: respostas curtas demais, sem raciocínio, sem ressalvas

Saída esperada:

  • V1: estrutura XML com role médico internista, contexto, tarefa, output_format JSON
  • V2: especifica 3 hipóteses, ranqueadas por probabilidade, com fisiopatologia
  • V3: 2 exemplos few-shot (caso de cefaleia e caso de dor abdominal)
  • V4: chain-of-thought obrigatório, recusa se input incompleto (sem sinais vitais)
  • V5: ajuste fino baseado em 20 evals, taxa de acerto V0 25% → V5 88%, custo médio +12%, adversariais bloqueados 100%, relatório completo de evolução com gráfico de progresso.

Variações

  • Refinamento em 3 rodadas (express): versão acelerada para prompts simples
  • Refinamento em 10 rodadas (rigoroso): para prompts production-critical
  • Refinamento colaborativo (equipe): múltiplos pesquisadores votam mudanças