Realistische simulatie automatiseren op basis van real-world data

Uitdaging

In sectoren zoals de automobiel-, spoorweg-, maritieme, logistieke en landbouwsector speelt simulatie een cruciale rol bij de ontwikkeling, het testen en de validatie van autonome systemen, operatortraining en procesbewaking. Ondanks grote vooruitgang op het vlak van visuele realiteit en fysische nauwkeurigheid blijft één belangrijke bottleneck bestaan: het creëren van realistische en diverse simulatiescenario’s.

Dit proces steunt nog steeds sterk op handmatig werk voor het modelleren van 3D-omgevingen en het scripten van zowel normale als uitzonderlijke situaties, wat de diversiteit aan testomstandigheden beperkt. Daardoor blijven zeldzame maar veiligheidkritische gebeurtenissen vaak ongetest. Bestaande methodes slagen er bovendien moeilijk in om de complexiteit en onvoorspelbaarheid van echte omgevingen te vatten of om automatisch echte sensor- of videodata om te zetten in bruikbare simulatie-inhoud. Dit zorgt voor een blijvende kloof tussen virtuele tests en de prestaties in de praktijk.

Projectdoelen

Het Video2Scenario-project heeft als doel om:

• De generatie van 3D-simulatiescenario’s rechtstreeks uit echte videobeelden te automatiseren, waardoor de nood aan manuele modellering en scripting sterk vermindert.
• Bestaande simulatieplatformen (zoals CARLA, MISSIM, AirSim, Nvidia Omniverse, Unreal en Unity) te versterken in plaats van nieuwe te ontwikkelen, om zo een brede toepasbaarheid te garanderen.
• Geavanceerde 3D-scèneanalyse toe te passen — waaronder videosegmentatie, object- en actorherkenning, ruimtelijke mapping en bewegingsschatting — om consistente 3D-omgevingen te reconstrueren.
• Generatieve AI te gebruiken om scenario’s te verrijken en te variëren door semantische details toe te voegen, alternatieve gedragingen te creëren en edge cases zoals bijna-ongevallen of falingen te genereren.
• Interoperabiliteit en hergebruik tussen simulatieplatformen te verzekeren via open standaarden zoals OpenSCENARIO (voor dynamische aspecten) en USD (voor statische elementen).
• Een schaalbare scenario-variatie-engine te ontwikkelen die automatisch “wat-als”-situaties genereert voor een uitgebreide testdekking.
• Een kostenefficiënte, gebruiksvriendelijke workflow te leveren die simulatiegedreven ontwikkeling versnelt en de representativiteit van virtuele tests ten opzichte van reële omstandigheden verbetert.