Enquanto técnica de machine learning (ML) para o treino de modelos de Inteligência Artifical (IA), a aprendizagem federada agrega, nos servidores, a contribuição de vários modelos treinados localmente – em cada cliente que participa no processo. Assim, é possível o treino de modelos de ML de forma distribuída, com o envio de contribuições, em vez da metodologia anterior, que tinha como pressuposto a partilha de dados e, por isso, com mais riscos de privacidade associados. Foi precisamente o interesse pelo tópico que levou Catarina Gomes, investigadora do INESC TEC, a escolhê-lo como tema principal da sua tese de mestrado orientada por João Vilela (FCUP e INESCTEC) e por Ricardo Mendes (Huawei) – a qual recebeu recentemente o Outstanding Master Thesis Award atribuído pelo IEEE Portugal.
Suscetíveis a diferentes ataques, os modelos de aprendizagem federada podem ser vítimas de ataques passivos, amplamente explorados pela literatura existente sobre o tema. Neste âmbito, o atacante (servidor) observa o comportamento do modelo e explora o facto de o modelo ser mais confiante na previsão de dados que foram usados para treino. Regra geral, estes ataques são aplicados a modelos sem boa capacidade de generalização, isto é, que aprendem a prever muito bem os dados de treino, no entanto, falham na generalização para dados de teste – que não foram usados para treino.
Catarina Gomes apresenta, no seu trabalho, uma nova abordagem de ataques ativos, através dos quais é possível ao atacante inferir atributos sensíveis mesmo em modelos com boa capacidade de generalização, muitas vezes com uma falsa sensação de segurança associada, já que são resistentes aos ataques mais abordados na literatura. A novidade apresentada consiste no ataque proposto, através do qual é possível ter como alvo os modelos de aprendizagem federada com boa capacidade de generalização, evidenciando, assim, que as técnicas de mitigação mais comuns “não são suficientes para proteger a privacidade dos participantes em sistemas de aprendizagem federada”.
De acordo com a investigadora, “os resultados, em particular o facto de modelos com boa capacidade de generalização serem vulneráveis, motiva uma investigação mais aprofundada sobre as vulnerabilidades exploradas por cada tipo de ataque, de modo a identificar o motivo pelo qual funcionam apesar da aplicação de técnicas de mitigação do mesmo tipo de riscos”. Este trabalho mais aprofundado está já a ganhar forma pelas mãos de Catarina Gomes, no âmbito do seu doutoramento, no qual explora também os riscos de privacidade decorrentes da “substituição de dados reais por dados sintéticos” como técnicas de mitigação para o mesmo tipo de riscos.
No trabalho premiado, entre as estratégias de mitigação consideradas incluem-se “estratégias de deteção de alterações suspeitas, como, por exemplo, quando o desempenho do modelo cai abruptamente ou quando os parâmetros do modelo sofrem uma distorção significativa”, algo que consiste numa proposta de mitigação inovadora. “Pelo facto de atuarem apenas quando detetam comportamentos suspeitos, estas estratégias de mitigação preservam a utilidade do modelo em situações normais”, declara a investigadora.
Concretamente, os ataques sobre modelos de aprendizagem federada podem ser usados para descodificar atributos sensíveis presentes nos dados de treino de qualquer participante do sistema. Por exemplo, “no contexto, da previsão da resposta do utilizador a pedidos de acesso a informação feitos por qualquer aplicação de smartphone – precisamente, o caso de uso no trabalho –, os ataques propostos poderiam permitir obter informação acerca da localização semântica do utilizador, ou seja, se este se encontra em casa, por exemplo, a partir do estado do smartphone e da resposta do utilizador”.
De acordo com Catarina Gomes, estes ataques são “problemáticos” em cenários muito comuns em aprendizagem federada, já que o servidor “é o responsável pela atualização do modelo global com as contribuições agregadas (de forma segura) de cada participante, não sendo necessário violar o protocolo para violar a privacidade dos participantes”. No entanto, ressalva, “o modelo do atacante é exigente do ponto de vista do conhecimento prévio necessário para efetuar um ataque com o desempenho demonstrado”.
As conclusões alcançadas podem agora ser consideradas em contexto de investigação, nomeadamente “para demonstrar que as técnicas de promoção da boa capacidade de generalização não são suficientes para garantir a preservação da privacidade dos dados de treino em sistemas de aprendizagem federada”, sendo, por isso, necessário monitorizar a interferência de todas as entidades participantes de modo a mitigar os riscos decorrentes da orquestração de entidades externas.
Apesar de reconhecer que a “população tem noção de que existem riscos associados aos serviços de IA, já que sabe que os seus dados também são usados para treinar estes modelos”, Catarina Gomes também destaca a “falta de noção do impacto concreto” que tal pode ter na privacidade dos dados e no que pode ser descoberto sobre os cidadãos apenas pela sua participação e interação com as ferramentas.
A investigadora mencionada na notícia tem vínculo ao INESC TEC e à Faculdade de Ciências da Universidade do Porto.
Notícias, atualidade, curiosidades e muito mais sobre o INESC TEC e a sua comunidade!
