O robô humanoide Walker S da Ubtech, por meio da integração com a plataforma de desenvolvimento de aplicativos de IA da Baidu, chamada Qianfan AppBuilder, conectou-se ao grande modelo de linguagem da Baidu, o Ernie Bot, para desenvolver aplicativos de agendamento de tarefas, construindo rapidamente capacidades de planejamento e execução de tarefas.

Ao realizar tarefas como dobrar roupas e classificar objetos suaves, o Walker S, após obter informações de localização espacial e semântica por meio de modelos de percepção multimodal na borda, envia as informações para o grande modelo de linguagem Ernie Bot para compreensão e planejamento de tarefas, coordenando a operação precisa do braço mecânico e da mão ágil, completando com sucesso todo o processo de tarefas.

A profunda integração das tecnologias representa uma aplicação inovadora e um nível de dificuldade de implementação que está entre os melhores do mundo. Com base nas capacidades existentes de percepção multimodal e controle de movimento do Walker S, ao integrar o grande modelo de linguagem Ernie Bot, ele obteve capacidades avançadas de compreensão de intenções e planejamento de granularidade fina. O Walker S completou com sucesso a operação de materiais flexíveis complexos, como dobrar roupas, demonstrando um nível líder de operações precisas habilitadas por grandes modelos em robôs humanoides.

Durante o processo de classificação, por meio da plataforma de grandes modelos de inteligência de nuvem Qianfan da Baidu, o Ernie Bot foi chamado para desmembrar e raciocinar sobre subtarefas, combinando modelos de percepção multimodal na borda para realizar reconhecimento e localização precisos, captura generalizada e tratamento de exceções, garantindo que o Walker S possa realizar a tarefa de classificação mesmo sob interferências.

A combinação de grandes modelos de IA e robôs humanoides não só impulsionará significativamente o nível de inteligência dos robôs humanoides, mas também promoverá a capacidade dos robôs humanoides de executar uma variedade de tarefas em diferentes ambientes. Com o apoio da tecnologia de grandes modelos, o processo de industrialização dos robôs humanoides será acelerado, e no futuro, os robôs humanoides “custo-benefício” serão aplicados em várias áreas, como fabricação industrial, serviços comerciais e companhia doméstica, resolvendo a escassez de mão de obra, aumentando a eficiência de produção e tornando a vida humana mais agradável.

Além disso, a colaboração entre a Baidu e a Ubtech expandirá os cenários de aplicação da tecnologia de inteligência encarnada, marcando um novo marco para a tecnologia e aplicação de robôs humanoides na China. No futuro, as duas partes continuarão a explorar uma maior cooperação em compartilhamento de dados e otimização de treinamento de modelos, gêmeos digitais e realidade virtual, e expansão de aplicativos interdisciplinares.

Fonte: stcn.com