Um modelo de linguagem pode escrever um parecer que parece de jurista. Não sabe o que é um tribunal. Esta frase já foi um cliché. Continua a ser o facto mais útil para quem usa estes sistemas a sério.
Há limites reais: não têm um modelo estável do mundo físico, não actualizam crenças como uma pessoa, não sentem o custo de errar. Alucinam com confiança. Inventam citações. Misturam duas notícias numa terceira que nunca existiu. Nada disto se resolve com um aviso no rodapé.
Ferramenta, não testemunha
O salto de 2024 a 2026 foi o uso de ferramentas: o modelo pesquisa, corre código, lê um PDF. Isso reduz alguns erros e cria outros — agora o erro vem disfarçado de fonte. A disciplina continua a ser a mesma: tratar o output como hipótese. Verificar o que importa. Não citar o que não se abriu.
Fluência não é conhecimento. É o fato com que o desconhecimento se apresenta.
Os limites que são só pânico também existem. Estes sistemas não vão acordar. Não vão cobiçar o teu emprego por vontade própria. O risco está nas pessoas e nas empresas que os tratam como oráculo para poupar uma revisão. Aí, sim, o dano é concreto: um diagnóstico mal encaminhado, um artigo com um facto inventado, um concurso público com uma cláusula absurda.