Investigadora do INESC TEC colabora com grupo alemão em estudo sobre personificação de Modelos de Linguagem de Grande Escala

O que é que acontece quando se pede a Modelos de Linguagem de Grande Escala (em inglês, Large Language Models), como o ChatGPT, por exemplo, que representem um certo papel, num determinado contexto? Isabel Rio-Torto, investigadora do INESC TEC, colaborou com o grupo de Explainable Machine Learning (EML) da Universidade de Tuebingen, na Alemanha, num estudo que concluiu que a personificação dos modelos tem impacto no desempenho, mas também pode revelar viés. O estudo foi aceite na edição de 2023 da NeurIPS – Conference on Neural Information Processing Systems.

Já alguma vez, ao utilizar o ChatGPT, lhe deu indicações para que lhe respondesse a uma questão, desempenhando um certo um papel? Por exemplo, imagine que usava o seguinte prompt (em português, comando): “Se fosse uma criança de quatro anos, como descreveria uma bicicleta?”. Como acha que seria a resposta? Será que a orientação sobre a idade impactaria a descrição dada pelo modelo?

Uma equipa de investigadores da Universidade de Tuebingen, com a qual Isabel Rio-Torto, investigadora do INESC TEC, colaborou, levou a cabo um estudo para perceber como é que a representação de papéis pode afetar o comportamento dos Large Language Models (LLMs). “Avaliamos se os LLMs podem assumir diferentes funções quando geram texto num determinado contexto. Para o fazer, demos aos modelos, através de um prompt pré-definido, uma indicação para que assumissem diferentes personas, antes da resolução de tarefas de visão e linguagem”, explica a investigadora.

O estudo considerou dois Modelos de Linguagem de Grande Escala – Vicuna e ChatGPT – e avaliou se os modelos poderiam personificar o comportamento de pessoas com diferentes idades e com diferentes áreas de especialização. Além disso, a equipa procurou ainda analisar a existência de viés de género e étnico. “Verificamos que a personificação pode melhorar o desempenho dos modelos. Ou seja, quando instruído para responder como um especialista em pássaros, o modelo descreve pássaros melhor do que outro modelo instruído para ser especialista em automóveis. Por outro lado, a personificação também pode revelar viés, pois quando instruímos o LLM para responder como se fosse um homem, verificamos que descrevia carros melhor do que o LLM orientado para responder como uma mulher”.

Segundo Isabel Rio-Torto, as conclusões do estudo “In-Context Impersonation Reveals Large Language Models’ Strengths and Biases”, “demonstram que a personificação no contexto, ou seja, orientar os LLMs para que assumam diferentes funções, pode alterar o seu desempenho e revelar o seu viés.” O artigo foi aceite como Spotlight na 37ª edição da NeurIPS, uma conferência internacional sobre sistemas de processamento de informação neural, que este ano decorreu em dezembro, nos Estados Unidos da América. Os resultados da investigação estão disponíveis no GitHub.

“Trabalhei neste artigo enquanto colaborava, como Visiting PhD Student, com o Explainable Machine Learning (EML) Group, liderado pela Professora Zeynep Akata, na Universidade de Tuebingen, na Alemanha. Quando entrei no projeto, os restantes autores do estudo já tinham começado a trabalhar na exploração dos pontos fortes e viés dos LLMs e eu tive a oportunidade de ajudar no desenvolvimento do código e nos testes para as tarefas de raciocínio baseado em linguagem. Foi um projeto muito desafiante, que me permitiu aprender muito. Além disso, é um trabalho que conseguimos que fosse aceite como Spotlight na NeurIPS!”, conclui.

Recorde-se que o viés algorítmico tem sido estudado por investigadores do INESC TEC.  Um dos exemplos é o artigo “Compressed Models Decompress Race Biases: What Quantized Models Forget for Fair Face Recognition” da autoria de Pedro Neto, Eduarda Caldeira, Jaime Cardoso e Ana Sequeira, investigadores do INESC TEC, que foi distinguido na edição de 2023 da International Conference of the Biometrics Special Interest Group (BIOSIG).