Comece por um sistema de IA que você usa há anos sem pensar nele: a pasta de spam.
Há um classificador decidindo, constantemente, o que é spam e o que não é. Tecnicamente, você tem supervisão: pode entrar na pasta, revisar, resgatar o que foi pego por engano.
Só que a maioria das pessoas não faz isso — ou faz raramente. E se ninguém revisa, o sistema deleta os e-mails do mesmo jeito. A supervisão existe no papel; na prática, é opcional.
Esse é o primeiro problema de qualquer supervisão passiva: é fácil demais ignorá-la. O sistema não exige o seu olhar; ele apenas o permite. E tudo que é permitido-mas-não-exigido perde para a rotina.
Para o spam, tudo bem — o risco é baixo e o erro é recuperável dentro da própria pasta. O problema é que muitos sistemas críticos são desenhados com a mesma suposição: "alguém pode revisar".
- "Podemos auditar as decisões" — mas ninguém audita.
- "O relatório fica disponível" — mas ninguém abre.
- "Há um botão de contestar" — que ninguém clica.
Supervisão que depende de alguém lembrar de supervisionar não é supervisão. É decoração.