Daniel Sheanan Colmenero Lin
8 de mai. de 2023
Novo decodificador traduz pensamentos em texto a partir de representações semânticas corticais gravadas usando ressonância magnética funcional
Cientistas da Universidade de Austin desenvolveram um decodificador não invasivo que pode reconstruir a linguagem contínua a partir de representações semânticas corticais gravadas usando ressonância magnética funcional (fMRI). O decodificador gera sequências de palavras inteligíveis que recuperam o significado da fala percebida, da fala imaginada e até mesmo de vídeos silenciosos. O decodificador foi testado em todo o córtex e descobriu que a linguagem contínua pode ser decodificada separadamente de várias regiões.
"Ele está captando as ideias por trás das palavras, a semântica, o significado", diz Alexander Huth, um dos autores do estudo e professor assistente de neurociência e ciência da computação na Universidade do Texas em Austin.
Enquanto os decodificadores de linguagem não invasivos atuais só podem identificar estímulos de um pequeno conjunto de palavras ou frases, os autores introduzem um novo decodificador que pode reconstruir a linguagem contínua a partir de representações semânticas corticais gravadas usando ressonância magnética funcional (fMRI).
O estudo também testou se a decodificação bem-sucedida requer cooperação do sujeito e descobriu que a cooperação do sujeito é necessária tanto para treinar quanto para aplicar o decodificador. Os achados demonstram a viabilidade de interfaces cérebro-computador de linguagem não invasiva. Essa tecnologia não consegue ler mentes diretamente, no entanto. Ela só funciona quando um participante está cooperando ativamente com os cientistas.
Mas a abordagem da equipe do Texas é uma tentativa de "decodificar pensamentos mais livres", diz Marcel Just, professor de psicologia da Universidade Carnegie Mellon, que não esteve envolvido na nova pesquisa. Isso poderia significar que tem aplicações além da comunicação, segundo ele.
"Um dos maiores desafios científicos médicos é entender doenças mentais, que são, em última análise, disfunções cerebrais", diz Just. "Acredito que esse tipo geral de abordagem vai resolver esse quebra-cabeça um dia".
PODCASTS NA RESSONÂNCIA MAGNÉTICA
O novo estudo surgiu como parte de um esforço para entender como o cérebro processa a linguagem. Os métodos envolvem o registro de representações semânticas corticais usando ressonância magnética funcional (RMf) enquanto os participantes ouvem a fala, imaginam a fala ou assistem a vídeos silenciosos. Os dados gravados são então usados para treinar um decodificador que pode reconstruir a linguagem contínua a partir dos sinais cerebrais. O decodificador é testado em diferentes regiões do córtex e em diferentes tarefas para demonstrar sua versatilidade.
Os pesquisadores fizeram com que três pessoas passassem até 16 horas cada num aparelho de ressonância magnética funcional, que detecta sinais de atividade em todo o cérebro. Os participantes usavam fones de ouvido que transmitiam áudio de podcasts. "Na maior parte do tempo, eles apenas ficavam deitados ouvindo histórias do programa The Moth Radio Hour", diz Huth. Essas sequências de palavras geraram atividade em todo o cérebro, não apenas em áreas associadas à fala e à linguagem.
"Acontece que uma enorme quantidade do cérebro está fazendo alguma coisa", diz Huth. "Então áreas que usamos para navegação, áreas que usamos para fazer cálculos mentais, áreas que usamos para processar como as coisas parecem ao toque".
Depois que os participantes ouviram horas de histórias no scanner, os dados de ressonância magnética foram enviados para um computador. Ele aprendeu a relacionar padrões específicos de atividade cerebral com determinadas sequências de palavras.
Em seguida, a equipe fez com que os participantes ouvissem novas histórias no scanner. Em seguida, o computador tentou reconstruir essas histórias a partir da atividade cerebral de cada participante. O sistema recebeu muita ajuda na construção de frases compreensíveis da inteligência artificial: uma versão inicial do famoso programa de processamento de linguagem natural, o Chat GPT. O que surgiu do sistema foi uma versão parafraseada do que o participante ouviu.
Se um participante ouviu a frase "Eu nem tinha minha carteira de motorista ainda", a versão decodificada poderia ser "ela ainda não tinha aprendido a dirigir", diz Huth.
Em muitos casos, ele diz que a versão decodificada continha erros. Noutro experimento, o sistema foi capaz de parafrasear palavras que uma pessoa apenas imaginava dizer. Num terceiro experimento, os participantes assistiram a vídeos que contavam uma história sem usar palavras.
"Não dissemos aos participantes para tentarem descrever o que está acontecendo", diz Huth. "E mesmo assim, o que obtivemos foi uma espécie de descrição em linguagem do que está acontecendo no vídeo".
UMA JANELA NÃO INVASIVA PARA A LINGUAGEM
A abordagem da ressonância magnética atualmente é mais lenta e menos precisa do que um sistema experimental de comunicação sendo desenvolvido para pessoas paralisadas por uma equipe liderada pelo Dr. Edward Chang, da Universidade da Califórnia, São Francisco.
"As pessoas recebem uma folha de sensores elétricos implantados diretamente na superfície do cérebro", diz David Moses, um pesquisador do laboratório de Chang. "Isso registra a atividade cerebral bem próxima à fonte".
Os sensores detectam a atividade em áreas do cérebro que geralmente emitem comandos de fala. Pelo menos uma pessoa conseguiu usar o sistema para gerar com precisão 15 palavras por minuto usando apenas seus pensamentos. Mas com um sistema baseado em ressonância magnética, "ninguém precisa passar por uma cirurgia", diz Moses.
QUESTÕES ÉTICAS
Sistemas que decodificam a linguagem poderiam ajudar pessoas que são incapazes de falar devido a uma lesão cerebral ou doença. Eles também estão ajudando os cientistas a entender como o cérebro processa palavras e pensamentos. Embora a abordagem da ressonância magnética não possa ser usada para ler os pensamentos de uma pessoa sem sua cooperação – no estudo do Texas, as pessoas conseguiram derrotar o sistema apenas contando a si mesmas uma história diferente – versões futuras poderiam levantar questões éticas.
"Isso é muito empolgante, mas também um pouco assustador", diz Huth. "E se você puder ler a palavra que alguém está apenas pensando em sua cabeça? Isso é potencialmente prejudicial".
Moses concorda.
“Tudo isso se trata do usuário ter uma nova forma de se comunicar, uma nova ferramenta que está totalmente sob o controle deles”, diz Moses. “Esse é o objetivo. E temos que garantir que isso continue sendo o objetivo”!
Numa época em que o grafeno em que se tem noticiado a introdução clandestina de sensores de grafeno, a evolução dos estudos sobre decodificação de linguagem a partir de sinais cerebrais é uma preocupação latente.
REFERÊNCIAS
Tang, J., LeBel, A., Jain, S. et al. Semantic reconstruction of continuous language from non-invasive brain recordings. Nat Neurosci 26, 858–866 (2023). https://doi.org/10.1038/s41593-023-01304-9
