IA na Triagem de Pacientes e a LGPD: Quem responde?

Como proteger o CPF do gestor e o CRM do médico

Quando o algoritmo erra o diagnóstico? O cenário é o seguinte: O novo hospital do projeto ITMI/BRICS está rodando. O algoritmo de IA de triagem (Protocolo de Manchester automatizado) classifica um paciente com dor no peito como “Verde” (Pouco Urgente). O paciente espera 4 horas, sofre um infarto massivo e vem a óbito na recepção.

A família processa o Estado. O Ministério Público abre inquérito. A pergunta de 1 milhão de reais (literalmente) é: De quem é a culpa?

1. Do médico que não reavaliou?
2. Da empresa que forneceu o software de IA?
3. Do Gestor de TI que homologou o sistema?

Se você acha que a resposta é “o médico, claro”, você está tecnicamente certo, mas juridicamente em perigo. Vamos desmontar essa bomba-relógio com a frieza da LGPD e do Código de Defesa do Consumidor.

Armadilha do Artigo 20 da LGPD (Decisão Automatizada)

A Lei Geral de Proteção de Dados (Lei 13.709/18) tem um artigo que é o pesadelo de qualquer implementação de IA: o Artigo 20.

Ele garante ao titular dos dados (o paciente) o direito a solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado. Embora a obrigatoriedade da revisão ser humana tenha sido vetada no texto final da lei, a jurisprudência brasileira e as diretrizes éticas (incluindo as do CFM) caminham para exigir o “Human in the Loop” (Humano no Circuito).

Onde a TI apanha: Se o seu sistema de IA dá o veredito “Verde” e não existe um botão claro, fácil e auditável para o enfermeiro da triagem discordar e mudar para “Vermelho”, você criou uma Decisão Exclusivamente Automatizada. Se o sistema força o humano a aceitar a sugestão da máquina (por UX ruim ou burocracia para alterar), o gestor de TI pode ser co-responsabilizado por desenhar um processo que viola o direito do paciente.

A “Caixa Preta” e a Responsabilidade Civil (CDC)

No Brasil, a responsabilidade do hospital (e do Estado) é Objetiva (independe de culpa) quando há falha na prestação do serviço (Art. 14 do CDC).

Se o algoritmo errou porque foi treinado com dados enviesados (ex: base de dados chinesa do BRICS que não reconhece sintomas em corpos latinos), isso é considerado Vício de Qualidade do Produto/Serviço.

• O Médico: Pode alegar que foi induzido ao erro pela ferramenta institucional.
• O Fornecedor de IA: Vai alegar que o software é “meio”, não “fim”, e que o humano deveria ter supervisionado.
• O Gestor de TI (Você): Será questionado: “Você validou a acurácia desse modelo para a população local antes de colocar em produção? Onde está o relatório de homologação técnica?”

Se você não tiver esse relatório, parabéns: o erro sistêmico é seu.

A Solução: O “Log de Divergência” (Sua Apólice de Seguro)

Para blindar a TI e o hospital, você não precisa de menos tecnologia, precisa de mais rastreabilidade.

Ao implementar qualquer IA de apoio à decisão clínica no SUS, exija do fornecedor a funcionalidade de Log de Divergência Ativa:

1. A IA sugere: “Risco Baixo”.
2. O Médico decide: “Risco Alto – Internação”.
3. O Sistema obriga: Abrir um pop-up perguntando “Por que você discordou da IA?”.
4. O Registro: O médico seleciona “Sintoma clínico não captado pelo algoritmo”.

Por que isso salva vidas (e carreiras):

• Ensina a IA a melhorar (Reinforcement Learning).
• Prova juridicamente que a decisão final foi Humana (afastando a violação do Art. 20 da LGPD).
• Tira a responsabilidade da TI (“O sistema funcionou, o médico teve autonomia”).

O Dever de Explicabilidade (XAI)

Não aceite “Caixa Preta” (Black Box) no SUS. Se o software diz “Diagnóstico: Sepse (98%)”, ele precisa mostrar o “porquê”.

• Bom: “Sepse (98%) baseada em: Lactato alto + Hipotensão”.
• Ruim: “Sepse (98%)”.

O Ministério da Saúde e órgãos de controle (TCU) estão começando a exigir XAI (Explainable AI) em auditorias. Se o seu algoritmo não explica como chegou à conclusão, ele é auditavelmente indefensável em um tribunal.

⚠️ Reality Check: O Custo da Defesa

Ninguém te conta isso na reunião de venda: Uma IA de “Caixa Preta” é mais barata e mais rápida de implementar. Uma IA “Explicável” (White Box) e auditável custa cerca de 40% a mais em desenvolvimento e capacidade de processamento.

A conta do gestor: Economizar esses 40% no CAPEX agora pode custar milhões em indenizações por danos morais e materiais nos próximos 5 anos. No setor público, isso se chama Improbidade Administrativa (Dano ao Erário por negligência na escolha técnica).