Um modelo de IA da Cursor inventou uma nova regra. O bot de IA justificou um comportamento inesperado sob uma nova política. A política mencionada não existia, foi o chatbot que a inventou. As plataformas Hacker News e Reddit foram inundadas de queixas e ameaças de cancelamento. A Ars Technica relatou esta história.
Um desenvolvedor utilizava o editor de código Cursor, com tecnologia de IA, quando algo estranho aconteceu. Ao alternar entre máquinas desconectava-as instantaneamente, quebrando um fluxo de trabalho comum para programadores que utilizam vários dispositivos. O utilizador contactou o suporte da Cursor e foi aí que algo estranho ocorreu. “Sam” disse que este era o comportamento esperado de acordo com uma nova política. O Sam era um bot. Essa política não existe.
Este é apenas mais um exemplo de confabulações de IA (também chamadas de “alucinações”), um tipo de resposta de “preenchimento criativo de lacunas” em que os modelos de IA inventam informações falsas, mas que parecem plausíveis. Os potenciais danos causados por este processo surgem de uma “área cinzenta”, onde os modelos de IA não conseguem lidar com a incerteza, optando por criar respostas plausíveis e fiáveis. Este comportamento leva a informação criada do zero.
A ausência de supervisão humana tem consequências imediatas, que podem ser dispendiosas. Clientes frustrados, confiança prejudicada e, neste caso, subscrições do Cursor canceladas.
BrokenToasterOven, um utilizador do Reddit, informou que “Fazer login no Cursor numa máquina invalida imediatamente a sessão em qualquer outra máquina”. Escreveu um e-mail para o suporte do Cursor e a resposta foi bastante rápida. Sam era o remetente e a mensagem era “O Cursor foi concebido para funcionar com um dispositivo por subscrição como uma característica de segurança essencial”.
Outros utilizadores publicaram mensagens descrevendo o mesmo problema. Depois disso, vários anunciaram o cancelamento das suas subscrições no Reddit, citando a política inexistente como motivo. “Eu literalmente acabei de cancelar a minha subscrição”, antes de os moderadores bloquearem o tópico do Reddit e removerem a publicação original.
Três horas depois, um representante do Cursor deixou uma resposta no Reddit: “Ei! Não temos essa política”, “Tem liberdade para utilizar o Cursor em várias máquinas. Infelizmente, esta é uma resposta incorreta de um bot de suporte de IA da linha da frente.”
A Air Canada já fez isso
Em fevereiro de 2024, a Air Canada foi obrigada a honrar uma política de reembolso inventada pelo seu próprio chatbot, depois de Jake Moffatt ter contactado o suporte da Air Canada após a morte da sua avó. O chatbot de IA instruiu Jake a reservar um voo com preço normal e a solicitar taxas de luto retroativamente.
A Air Canada negou o seu pedido de reembolso, argumentando que “o chatbot é uma entidade legal separada que é responsável pelas suas próprias ações”. Tal defesa foi rejeitada pelo tribunal, que decidiu que as empresas são responsáveis pelas informações fornecidas pelas suas ferramentas de IA.
Lição aprendida
A direção do Cursor reconheceu o erro e tomou medidas para o corrigir. O cofundador da empresa, Michael Truell, pediu desculpas públicas no Hacker News e afirmou que o utilizador tinha recebido o reembolso. Explicou ainda que o problema resultou de uma alteração no backend destinada a melhorar a segurança da sessão, que criou involuntariamente problemas de invalidação de sessões para alguns utilizadores. “Todas as respostas de IA utilizadas para apoio por e-mail são agora claramente identificadas como tal.” Truell disse ainda que “usamos as respostas assistidas por IA como o primeiro filtro para o suporte por e-mail”.
Estes episódios mostram os riscos de implementar modelos de IA em funções de atendimento ao cliente sem as devidas salvaguardas e transparência. As empresas que vendem ferramentas de produtividade de IA para programadores, tendo o seu próprio sistema de suporte de IA, inventam uma política que afasta os seus principais utilizadores. É irónico, para dizer o mínimo.
