Para se adaptar ao ambiente urbano aberto, os corpos inteligentes precisam capturar os movimentos do corpo das pessoas vizinhas e a estrutura da cena em tempo real. Os meios tradicionais de percepção baseados em sensores e câmeras inerciais, que têm problemas de desvio de dados de longa data e sensibilidade às mudanças dinâmicas da luz e do meio ambiente, respectivamente, são difíceis de atender à demanda por movimento do corpo humano e captura de cenas em ambientes complexos na aplicação Campos de direção inteligente, robótica de serviço e treinamento esportivo.
Desde 2022, a equipe do Prof. Cheng Wang e do Prof. Chenglu Wen tem sido a primeira a propor a tecnologia de captura de movimento humano Lidar na arena internacional (Lidarcap, CVPR 2022; HSC4D, CVPR 2022; Sloper4D, CVPR 2023). Nesta publicação, Hisc4D, a equipe rompe um método para capturar diversos movimentos de interação em duas pessoas e cenas 3D na visão em primeira pessoa em cenas abertas internas e externas em larga escala. O método constrói uma estrutura de otimização de articulações de vários estágios, fundindo a orientação inercial e os dados do LIDAR, que resolve efetivamente o problema de deriva causado pela orientação inercial e melhora significativamente a precisão da reconstrução da cena e estende o alcance da captura espacial, humana e interação. Ao mesmo tempo, o primeiro conjunto de dados de interação multimodal de duas pessoas é lançado, cobrindo diferentes tipos de cenas e movimentos humanos diversificados, fornecendo recursos de dados de treinamento para campos de pesquisa relacionados. Ao mesmo tempo, que abre uma nova maneira de pensar em inteligência incorporada para ir ao vasto ar livre e se integrar à multidão.
