Realtime dieptekaarten maken voor occlusie in AR Creating real-time depth maps for occlusions in AR

Om augmented reality (AR) realistischer te maken, moeten we AR-effecten zowel voor als achter objecten in een scène kunnen plaatsen. De meeste AR-systemen zijn echter gebaseerd op SLAM, dat maar een paar verspreide puntkenmerken volgt. Daarmee kun je overlays voor objecten plaatsen, maar niet erachter. We hebben een methode ontwikkeld die de diepte-informatie van die verspreide gevolgde punten uitbreidt naar alle andere pixels, zodat er voor elk frame een dichte dieptekaart ontstaat. Zo kunnen AR-effecten volledig interacteren met de geometrie van een scène en bijvoorbeeld herkennen wanneer ze door echte objecten in de scène worden afgedekt. Lees de volledige paper: Fast Depth Densification for Occlusion-aware Augmented Reality https://research.fb.com/publications/fast-depth-densification-for-occlusion-aware-augmented-reality/

In order to make augmented reality (AR) more realistic, we need to be able to apply AR effects both in front and behind objects in a scene. Most AR systems, however, are based on SLAM, which only tracks a few sparse point features. This allows for overlays in front of objects, but not behind them. We developed a method that increases the density of the depth from the sparse point track locations to all other pixels, creating dense depth maps for every frame. This method enables AR effects to fully interact with a scene geometry, for example, to recognize occlusions by real objects in the scene. Read the full paper: Fast Depth Densification for Occlusion-aware Augmented Reality https://research.fb.com/publications/fast-depth-densification-for-occlusion-aware-augmented-reality/