Investigadores do INESC TEC desenvolveram um estudo que visa mostrar a viabilidade e utilidade dos circuitos variacionais quânticos no domínio da aprendizagem por reforço, através da utilização de circuitos quânticos na unidade de processamento central responsável pela tomada de decisão automática. Trata-se de um dos primeiros trabalhos de investigação a provar o impacto dos circuitos variacionais quânticos no contexto “policy-based” e foi recentemente publicado na revista Quantum Machine Intelligence.
A utilização dos circuitos variacionais quânticos no âmbito da aprendizagem automática é recorrente, a começar por máquinas capazes de fazer reconhecimento automático de padrões em dados, mas também em tomadas de decisões informadas. No entanto, a maioria dos resultados obtidos em investigação acerca da utilização destes circuitos incide essencialmente na aprendizagem supervisionada ou generativa, havendo pouca literatura sobre o impacto dos circuitos variacionais – ou mesmo da computação quântica – no contexto da aprendizagem por reforço.
Desta forma, um grupo de investigadores do INESC TEC procurou, por um lado, mostrar a utilidade destes circuitos no domínio da aprendizagem por reforço, em particular no contexto “policy-based”, e, por outro, estabelecer uma comparação com o uso de modelos clássicos, como são as redes neuronais.
“Foi mostrado empiricamente que os circuitos variacionais podem de facto ser utilizados como unidades de processamento no contexto da aprendizagem por reforço tanto em aplicações com dados clássicos como puramente quânticos”, explica André Sequeira, investigador do INESC TEC e aluno da Escola de Engenharia da Universidade do Minho.
A aplicabilidade dos circuitos variacionais quânticos a máquinas e problemas reais ainda está a ser estudada, sobretudo no âmbito do controlo e preparação de estados, mas também no domínio clássico. Aqui, ressalva André Sequeira, estes algoritmos poderão ter um “impacto transformativo em diversas áreas, como será o caso do setor financeiro ou dos sistemas de recomendação”.
Outro resultado alcançado neste trabalho diz respeito à confirmação de que os modelos têm associado um número significativamente menor de parâmetros treináveis do que as redes neurais tradicionalmente utilizadas nos problemas que serviram de referência à investigação. O mesmo investigador acrescenta ainda que, com recurso à teoria, também “foi provado que estes algoritmos necessitam de um número de amostras que escala de forma logarítmica com o número total de parâmetros treináveis”.
Por outras palavras, à medida que os problemas adquirem maiores dimensões, passam a ser precisos circuitos quânticos equivalentes, com mais parâmetros para serem otimizados. A teoria mostrou que é possível treinar estes modelos de forma eficiente no que diz respeito ao número de amostras — que aumentam de acordo com o tamanho do circuito, de forma logarítmica (e não proporcional ou até exponencial).
Com a presente investigação, o artigo científico que dela resultou é um dos primeiros na comunidade científica desta área do conhecimento a mostrar o impacto dos circuitos variacionais quânticos no contexto “policy-based” da aprendizagem por reforço. O mesmo se aplica à computação quântica, sendo este mais um caso de estudo que confirma a viabilidade do paradigma dos algoritmos quânticos variacionais como alternativa a uma solução puramente quântica — associada a circuitos longos e dificilmente executáveis.
A investigação, com o título Policy Gradientes Using Variational Quantum Circuits, foi publicada na revista Quantum Machine Intelligence, do grupo Springer, distinguida como uma revista de nível Q1. Este trabalho foi desenvolvido por André Sequeira, investigador do Laboratório de Software Confiável (HASLab) do INESC TEC, Luís Paulo Santos e Luís Soares Barbosa, também investigadores do HASLab e docentes na Escola de Engenharia da Universidade do Minho.
Os investigadores do INESC TEC mencionados na notícia têm vínculo ao INESC TEC e UMinho.
Notícias, atualidade, curiosidades e muito mais sobre o INESC TEC e a sua comunidade!
