Dando aos robôs uma visão super-humana usando sinais de rádio

Na corrida para desenvolver sistemas de percepção robustos para robôs, um desafio constante tem sido operar em condições climáticas adversas e ambientes extremos. Por exemplo, sensores de visão tradicionais baseados em luz, como câmeras ou LiDAR (Light Detection And Ranging), falham em situações de fumaça e neblina densas.

No entanto, a natureza mostra que a visão não precisa ser limitada pela luz – muitos organismos evoluíram formas de perceber o ambiente sem depender dela. Os morcegos, por exemplo, navegam usando o eco das ondas sonoras, enquanto os tubarões caçam ao sentir campos elétricos causados pelos movimentos de suas presas.

As ondas de rádio, cujos comprimentos de onda são muito maiores que os das ondas de luz, conseguem penetrar melhor em fumaça e neblina e até ver através de certos materiais – capacidades além da visão humana. Mesmo assim, os robôs tradicionalmente dependem de um conjunto limitado de ferramentas: ou usam câmeras e LiDAR, que fornecem imagens detalhadas, mas falham em condições desafiadoras, ou radares tradicionais, que podem ver através de paredes e outras obstruções, mas produzem imagens de baixa resolução.

Agora, pesquisadores da Escola de Engenharia e Ciências Aplicadas da Universidade da Pensilvânia (Penn Engineering) desenvolveram o PanoRadar, uma nova ferramenta para dar aos robôs uma visão super-humana, transformando simples ondas de rádio em vistas detalhadas e tridimensionais do ambiente.

“Nossa pergunta inicial era se poderíamos combinar o melhor dos dois tipos de sensores”, diz Mingmin Zhao, professor assistente em Ciência da Computação e Informação. “A robustez dos sinais de rádio, que é resistente a neblina e outras condições desafiadoras, e a alta resolução dos sensores visuais.”

Em um artigo a ser apresentado na Conferência Internacional de Computação e Redes Móveis de 2024 (MobiCom), Zhao e sua equipe, do Laboratório de Sensoriamento com Rádio, Áudio, Visão e Eletrônica (WAVES) e do Centro de Pesquisa em Computação Embutida e Sistemas Integrados (PRECISE) da Penn, incluindo o doutorando Haowen Lai, o recente mestre Gaoxiang Luo e o assistente de pesquisa Yifei (Freddy) Liu, descrevem como o PanoRadar utiliza ondas de rádio e inteligência artificial (IA) para permitir que robôs naveguem em ambientes desafiadores, como edifícios cheios de fumaça ou estradas com neblina.

O PanoRadar é um sensor que opera como um farol, girando seu feixe em um círculo para escanear todo o horizonte. O sistema consiste em uma matriz vertical de antenas rotativas que escaneiam o ambiente ao seu redor. Enquanto giram, essas antenas enviam ondas de rádio e escutam suas reflexões do ambiente, assim como o feixe de um farol revela a presença de navios e elementos costeiros.

Graças ao poder da IA, o PanoRadar vai além dessa estratégia de varredura simples. Diferente de um farol que apenas ilumina áreas conforme gira, o PanoRadar combina as medições de todos os ângulos de rotação para melhorar a resolução de imagem. Enquanto o sensor em si custa uma fração do valor dos sistemas LiDAR, essa estratégia de rotação cria uma densa matriz de pontos de medição virtual, permitindo que o PanoRadar alcance uma resolução de imagem comparável ao LiDAR.

“A principal inovação está em como processamos essas medições de ondas de rádio”, explica Zhao. “Nossos algoritmos de processamento de sinal e aprendizado de máquina são capazes de extrair informações tridimensionais ricas do ambiente.”

Um dos maiores desafios enfrentados pela equipe de Zhao foi desenvolver algoritmos para manter uma imagem de alta resolução enquanto o robô se movimenta. “Para alcançar uma resolução comparável ao LiDAR com sinais de rádio, precisamos combinar medições de diferentes posições com precisão submilimétrica”, explica Lai, o autor principal do artigo. “Isso se torna particularmente desafiador quando o robô está em movimento, pois até pequenos erros de movimento podem impactar significativamente a qualidade da imagem.”

Outro desafio foi ensinar o sistema a entender o que ele vê. “Ambientes internos possuem padrões e geometria consistentes”, diz Luo. “Aproveitamos esses padrões para ajudar nosso sistema de IA a interpretar os sinais de radar, semelhante a como os humanos aprendem a entender o que veem.” Durante o processo de treinamento, o modelo de aprendizado de máquina utilizou dados de LiDAR para validar sua compreensão da realidade e conseguiu continuar se aprimorando.

“Nossos testes de campo em diferentes prédios mostraram como o sensoriamento por rádio pode se destacar onde os sensores tradicionais têm dificuldades”, diz Liu. “O sistema mantém um rastreamento preciso através da fumaça e pode até mapear espaços com paredes de vidro.” Isso ocorre porque as ondas de rádio não são facilmente bloqueadas por partículas suspensas, e o sistema pode “capturar” elementos que o LiDAR não consegue, como superfícies de vidro. A alta resolução do PanoRadar também permite detectar pessoas com precisão, uma característica essencial para aplicações como veículos autônomos e missões de resgate em ambientes perigosos.

Olhando para o futuro, a equipe planeja explorar como o PanoRadar pode trabalhar junto com outras tecnologias de sensoriamento, como câmeras e LiDAR, criando sistemas de percepção multimodal mais robustos para robôs. A equipe também está expandindo seus testes para incluir várias plataformas robóticas e veículos autônomos. “Para tarefas de alto risco, é crucial ter múltiplas formas de percepção do ambiente”, diz Zhao. “Cada sensor tem seus pontos fortes e fracos, e ao combiná-los de forma inteligente, podemos criar robôs mais bem preparados para lidar com os desafios do mundo real.”

Este estudo foi conduzido na Escola de Engenharia e Ciências Aplicadas da Universidade da Pensilvânia e financiado por um fundo de startup de docentes.