Google DeepMind transforma o cursor do mouse em agente de IA com Magic Pointer

O laboratório Google DeepMind revelou os detalhes técnicos em volta da tecnologia Magic Pointer, desenvolvida para uso nos futuros laptops Googlebook. A proposta é simples e ambiciosa ao mesmo tempo: em vez de o usuário precisar abrir uma janela de chat para interagir com inteligência artifcial, o Gemini passa a estar disponível diretamente no ponteiro do mouse de maneira funcional em qualquer aplicativo.

O objetivo da equipe de pesquisa é que o cursor não apenas reconheça o que está sendo apontado, mas também compreenda como aquilo é relevante para o usuário naquele momento. A lógica inverte o modelo atual: em vez de o usuário levar seu contexto até a IA, a IA acompanha o usuário onde ele já está. "Durante décadas, os computadores apenas rastrearam para onde estávamos apontando. A IA agora também pode entender para o que o usuário está apontando", comentou a empresa em artigo oficial. 

O cursor que lê a tela

O sistema foi construído sobre quatro princípios: manter o fluxo de trabalho sem interrupções, combinar gesto e fala, aproveitar a naturalidade dos pronomes demonstrativos ("isto" e "aquilo") e transformar pixels em entidades acionáveis. Isso significa que a tecnologia consegue converter o que aparece na tela em objetos identificáveis pelo modelo, como datas, lugares e imagens que auxiliam a compreensão da maneira de agir.

Na prática, isso significa que apontar o cursor para uma tabela e pedir um gráfico, ou selecionar uma foto de um cômodo e perguntar como ficaria com um sofá novo, passa a ser suficiente sem a necessidade de descrever o contexto em texto. Conforme a empresa, a tecnologia destaca os "princípios fundamentais que norteiam nosso pensamento sobre as futuras interfaces de usuário" e permite o compartilhamento de demonstrações experimentais de um ponteiro com IA".

A tecnologia já está disponível hoje no navegador Google Chrome: ao apontar para qualquer trecho de uma página, o usuário pode acionar o Gemini para comparar produtos, visualizar objetos em ambientes ou obter resumos, sem precisar alternar entre abas ou janelas. Adicionalmente, 2 protótipos interativos voltados para edição de imagens e buscas em mapas estão disponíveis para testes no Google AI Studio.

Os laptops da linha Googlebook, que serão os primeiros da Big Tech a serem lançados com a tecnologia, chegarão no segundo semestre de 2025. Os produtos também terão funcionalidades inéditas, como Cast My Apps e Create My Widget, mas não devem substituir a linha Chromebook.