Akoestische synthese voor AR/VR-ervaringen Acoustic synthesis for AR/VR experiences

Bestaande AI-modellen begrijpen beelden goed, maar hebben meer werk nodig om de akoestiek te begrijpen van de omgeving in dat beeld. Daarom maken onderzoekers van Meta AI en de University of Texas drie nieuwe modellen open source voor audiovisueel begrip van menselijke spraak en geluiden in video. Zo komen meeslepende AR- en VR-ervaringen veel sneller binnen bereik. Met multimodale AI-modellen die audio-, video- en tekstsignalen tegelijk verwerken, kan AI geluid leveren dat realistisch past bij de omgeving waarin mensen zich onderdompelen. Lees hier meer over dit baanbrekende werk (link invoegen).

Existing AI models do a good job of understanding images but require more work to understand the acoustics of environments in the related image. This is why researchers from Meta AI and the University of Texas are open-sourcing three new models for audio-visual understanding of human speech and sounds in video, helping us achieve immersive AR and VR experiences much more quickly. Using multimodal AI models that can take audio, video, and text signals at one time, AI will be able to deliver sound quality that realistically matches the settings people are immersed in. Learn more about this state-of-the-art work here (insert link).