Especialistas aconselham as organizações de saúde a questionar: “Quem será responsabilizado pelas decisões influenciadas pela inteligência artificial – o médico, o departamento, o fornecedor ou o hospital? E o que será necessário para defender as decisões influenciadas pela IA?”.
Duas das principais empresas na corrida da IA generativa, a Anthropic e a OpenAI, ganharam destaque este mês com anúncios impactantes das respetivas ofertas dirigidas ao setor da saúde, relata o portal HealthcareITNews
A adoção de novas ferramentas de inteligência artificial dedicadas à saúde pelos sistemas de saúde e integradas com registos de saúde eletrónicos e outras ferramentas de TI na saúde, os prestadores – e os doentes – tem riscos crescentes associados.
A IA pode resolver alguns dos maiores desafios da saúde, mas especialistas afirmam que também há muitos motivos para preocupação.
Por exemplo, o potencial da IA para fornecer informações médicas imprecisas – as famosas “alucinações” – aliado à falsa sensação de certeza diagnóstica de alguns modelos, continua a ser um grande desafio.
Além disso, existe frequentemente uma falta de responsabilização clínica para estas ferramentas. Isso cria lacunas legais e éticas consideráveis relacionadas com quem é responsabilizado quando uma recomendação influenciada por um algoritmo resulta em danos para o doente.
OpenAI e a Anthropic anunciaram uma IA dedicada com o objetivo de melhorar a utilização dos registos médicos por parte das organizações de saúde, incluindo médicos e hospitais.
Segundo a OpenAI, o lançamento do pacote de produtos para a Saúde permite que vários sistemas de saúde utilizem o ChatGPT for Health para apoiar os cuidados aos doentes e reduzir a carga administrativa.
A OpenIA deu diversos exemplos de organizações cujas equipes clínicas podem utilizar o ChatGPT for Health para integrar a evidência médica no seu trabalho de cuidados ao paciente, entre elas estão sistemas de saúde como AdventHealth, Boston Children’s, Cedars-Sinai, HCA, Memorial Sloan Kettering, Stanford Medicine.
A Elation Health, que oferece uma plataforma de registos de saúde eletrónicos, anunciou esta semana a integração da IA Claude, da Anthropic, no seu programa de insights clínicos. Os médicos utilizam a ferramenta para criar resumos instantâneos de registos médicos completos de pacientes.
Segundo a Elation Health, os profissionais de saúde que utilizam o software integrado na IA Claude têm obtido respostas 61% mais rápidas às suas questões.
Michael Abrams, da Numerof & Associates, consultora especializada no setor de Life Science, afirma que as soluções de IA estão alinhadas com os planos de ação da Administração Trump para aproveitar a tecnologia e capacitar os doentes para tomarem decisões mais assertivas sobre a sua saúde.
Nesse sentido, os doentes podem fazer o upload dos seus registos médicos diretamente para um produto separado chamado ChatGPT Health ou sincronizar os dados das suas aplicações de bem-estar e solicitar insights à IA. Podem também ligar-se à Claude como subscritores da aplicação HealthEx e fazer perguntas sobre o seu histórico médico em diversos prestadores.
“Em primeiro lugar, precisamos de reconhecer a matemática: simplesmente não há médicos e profissionais de saúde suficientes para satisfazer a procura global”, disse Adam de la Zerda, CEO e fundador da Visby Medical, uma empresa de diagnóstico médico.
“O acesso à saúde é uma crise, e a IA é a única ferramenta capaz de ampliar essa expertise, pelo que este é um passo fantástico na direção certa”, acrescentou la Zerda.
Por outro lado, também existem planos para utilizar os modelos de linguagem de grande escala “para automatizar o registo e o preenchimento de formulários, desenvolver planos de melhoria de processos, melhorar a eficiência operacional e muito mais”, disse Abrams.
Michael Abrams salienta, no entanto, que “os conselhos e executivos responsáveis devem reconhecer os riscos associados a estas novas ferramentas e tomar medidas para proteger a instituição e a equipa que serão envolvidas”.
A utilização de modelos de linguagem LLMs na área da saúde exige que os líderes da indústria sejam realistas e disciplinados em relação à governação e à prestação de contas.
“Embora a privacidade dos dados seja fundamental, o verdadeiro desafio da governação é a dissociação entre certeza e responsabilidade”, disse de la Zerda.
Chase Feiger, CEO e cofundador da empresa de IA Ostro, avisa que “O sucesso não virá apenas da qualidade do modelo”, esclarecendo que “Vem da capacidade das organizações adotarem uma disciplina real em relação à governança, à responsabilidade e ao funcionamento prático da medicina.”
“Todos os envolvidos compreendem que o maior interesse nestas ferramentas será para o diagnóstico, por parte dos consumidores, doentes e médicos”, disse Abrams. “Precisam também de perceber que, para efeitos de diagnóstico, estas ferramentas, apesar dos testes realizados, representam riscos para os utilizadores e para as instituições a que pertencem.”
Uma preocupação mais crítica pode ser a de que um modelo de aprendizagem automática ofereça respostas com um tom de certeza diagnóstica, “mas sem qualquer responsabilidade clínica”, observou de la Zerda. “Isto cria uma lacuna perigosa, na qual um paciente pode basear-se num resumo de IA com um tom de autoridade, mas que carece de nuances profissionais”, disse.
De acordo com la Zerda, “A governança deve garantir que não substituímos o julgamento humano por um algoritmo confiante, mas, em última análise, irresponsável”.
Ali Diab, CEO e cofundador da plataforma de benefícios de saúde Collective Health, afirma que “As capacidades de processamento de linguagem natural permitem que a IA vá além da simples partilha de informação”. Para Diab, “Isto levanta novas e interessantes questões sobre quem é o responsável se esta análise ou recomendação estiver errada.”
O que fazer primeiro
Há um conjunto de questões que devem ser consideradas para começar. É preciso reconhecer os desafios significativos do sistema atual antes de exigirmos mais da IA, é necessário criar procedimentos para lidar com situações que provavelmente ocorrerão, como quando a ferramenta de IA emite um diagnóstico comprovadamente errado. Além disso, é essencial definir quem será responsabilizado pelas decisões influenciadas pela ferramenta – o médico, o departamento, o fornecedor ou o hospital. Da mesma forma, é fundamental definir o que será necessário para defender decisões influenciadas pela IA em processos de negligência médica ou de revisão por pares, e como garantir o cumprimento destes requisitos, mas também definir se existem áreas em que o uso das ferramentas deve ser restringido até que se compreenda melhor as suas capacidades e precisão.
As ferramentas de aprendizagem automática (LLMs), como o GPT e o Claude, devem ser utilizadas antes e depois do atendimento, “não de forma autónoma”, defende o CEO da OSTRO. “O importante é que a OpenAI está finalmente a tratar a saúde como uma categoria com regras diferentes, menor tolerância ao erro e consequências reais quando algo corre mal”, adiciona.
Quando uma solução de IA influencia uma ação clínica não é o mesmo que quando é incorporada nos fluxos de trabalho.
Feiger manifesta preocupação não no modelo em si, “mas a facilidade com que ferramentas como esta podem gerar confiança excessiva”, concluindo que “parecem confiantes, mesmo quando estão erradas, e, em medicina, isso é perigoso se os limites não forem explícitos.” e alerta para que “a responsabilidade não pode ser vaga” e que “o uso pelo consumidor e o uso empresarial também não podem ser confundidos”.
Diab remete para a China como exemplo instrutivo. para os riscos inerentes à utilização de modelos de aprendizagem a longo prazo (LLMs) na área da saúde pelo consumidor. Esses riscos podem ser geridos “com o nível apropriado de divulgação e, potencialmente, de regulamentação”. É nesse ponto que a estrutura regulamentar de IA chinesa classifica algumas aplicações de IA como dispositivos médicos de Classe III, que necessitam de um processo de aprovação equivalente ao da FDA (Food and Drug Administration) dos EUA.
“Se os consumidores começarem a depender muito destas ferramentas baseadas em IA para o autodiagnóstico, e se isso levar os consumidores a potencialmente fazerem deduções ou a tomarem decisões sobre a sua saúde que acabem por ser as corretas, causando danos a si próprios ou a um ente querido, penso que enfrentaremos um ajuste de contas com estas ferramentas que o entusiasmo em torno delas pode agora estar a obscurecer”, concluiu Diab.
