Os chatbots de IA já são amplamente utilizados pelas empresas para cumprimentar clientes e responder às suas perguntas – seja por telefone ou em websites. Algumas empresas descobriram que podem, até certo ponto, substituir humanos por máquinas em funções de call center.
No entanto, os dados disponíveis sugerem que há sectores – como os cuidados de saúde e os recursos humanos – onde é necessário ter extremo cuidado relativamente à utilização destas ferramentas de primeira linha, podendo ser necessária supervisão ética.
Um exemplo recente e altamente divulgado é o de um chatbot chamado Tessa, que foi utilizado pelo Associação Nacional de Transtornos Alimentares (NEDA) nos E.U.A. A organização manteve inicialmente uma linha de apoio operada por uma combinação de funcionários assalariados e voluntários. O objetivo expresso era atender pessoas vulneráveis que sofrem de transtornos alimentares.
No entanto, este ano, a organização dissolveu sua equipe de linha de apoio, anunciando que os substituiria pelo chatbot Tessa. As razões para isso são contestadas. Ex-trabalhadores afirmam que a mudança ocorreu após uma decisão do pessoal da linha de apoio de se sindicalizar. O vice-presidente da NEDA citado um maior número de chamadas e tempos de espera, bem como responsabilidades legais relacionadas com a utilização de pessoal voluntário.
Seja qual for o caso, após um breve período de operação, Tessa foi desligada devido a relatos de que o chatbot havia emitido conselhos problemáticos que poderiam ter exacerbado os sintomas de pessoas que procuravam ajuda para transtornos alimentares.
Também foi relatado que Dra. Ellen Fitzsimmons-Craft e Dr. C Barr Taylor, dois pesquisadores altamente qualificados que ajudaram na criação do Tessa, estipularam que o chatbot nunca se destinava a substituir uma linha de apoio existente ou a fornecer assistência imediata àqueles que apresentavam sintomas intensos de transtorno alimentar.
Atualização significativa
Então, para que Tessa foi projetada? Os pesquisadores, juntamente com colegas, geraram um estudo observacional destacando os desafios que enfrentaram ao projetar um chatbot baseado em regras para interagir com usuários preocupados com transtornos alimentares. É uma leitura fascinante, ilustrando opções de design, operações, armadilhas e alterações.
A versão original de Tessa era tradicional, chatbot baseado em regras, ainda que altamente refinado, que segue uma estrutura pré-definida baseada na lógica. Não poderia desviar-se das respostas padronizadas pré-programadas calibradas pelos seus criadores.
A sua conclusão incluiu o seguinte ponto: “Os chatbots baseados em regras têm o potencial de atingir grandes populações com baixo custo no fornecimento de informações e interações simples, mas são limitados na compreensão e resposta adequada a respostas imprevistas dos utilizadores”.
Isto pode parecer limitar os usos para os quais Tessa era adequada. Então, como acabou substituindo a linha de apoio anteriormente usada pela NEDA? A cadeia exata de eventos está em discussão entre contas diferentes, mas, de acordo com a NPR, a empresa de hospedagem do chatbot mudou o Tessa de um chatbot baseado em regras com respostas pré-programadas para um com um “recurso aprimorado de perguntas e respostas”.
A versão posterior do Tessa empregava IA generativa, bem como ChatGPT e produtos semelhantes. Esses chatbots avançados de IA são projetados para simular padrões de conversação humana com a intenção de fornecer respostas mais realistas e úteis. A geração dessas respostas personalizadas depende de grandes bancos de dados de informações, que os modelos de IA são treinados para “compreender” por meio de uma variedade de processos tecnológicos: aprendizado de máquina, deep learning e processamento de linguagem natural.
Aulas de aprendizagem
No final das contas, o chatbot gerou o que foi descrito como respostas potencialmente prejudiciais às perguntas de alguns usuários. As discussões que se seguiram transferiram a culpa de uma instituição para outra. No entanto, permanece a questão de que as circunstâncias que se seguiram poderiam ter sido potencialmente evitadas se tivesse havido um órgão que fornecesse supervisão ética, um “humano informado” e uma adesão ao propósito claro do design original de Tessa.
É importante aprender lições com casos como este num contexto de pressa para a integração da IA numa variedade de sistemas. E embora estes eventos tenham ocorrido nos EUA, contêm lições para aqueles que procuram fazer o mesmo noutros países.
O Reino Unido parece ter uma abordagem algo fragmentada a esta questão. O conselho consultivo do Centro de Ética e Inovação de Dados (CDEI) foi recentemente dissolvido e seu lugar na mesa foi ocupado pela recém-formada Frontier AI Taskforce. Há também relatos de que os sistemas de IA já estão a ser testados em Londres como ferramentas para ajudar os trabalhadores – embora não como substitutos de uma linha de apoio.
Ambos os exemplos destacam uma tensão potencial entre considerações éticas e interesses comerciais. Devemos esperar que os dois acabem por se alinhar, equilibrando o bem-estar dos indivíduos com a eficiência e os benefícios que a IA pode proporcionar.
No entanto, em algumas áreas onde as organizações interagem com o público, as respostas geradas pela IA e a empatia simulada podem nunca ser suficientes para substituir a verdadeira humanidade e compaixão – particularmente nas áreas da medicina e da saúde mental.
Mark Tsagas, Professor, Direito Penal, University of East London
Este artigo foi republicado a partir de A Conversação sob uma licença Creative Commons. Leia o artigo original.
