Managing Edge Deployment of Large Deep Learning Models in industry

MEDLI (Managing Edge Deployment of Large Deep Learning Models in Industry) richt zich op de uitdaging om krachtige deep learning-modellen te laten draaien aan de rand (edge) van netwerken, vlakbij de data-bron. Dit maakt real-time beslissingen mogelijk, zonder afhankelijkheid van de cloud.

Het probleem: moderne AI-modellen worden steeds groter en complexer, waardoor ze lastig inzetbaar zijn op randapparaten met beperkte rekenkracht en geheugen. Daarnaast worstelen bedrijven met:

• het comprimeren en aanpassen van pre-getrainde modellen (transfer learning)
• het kiezen van geschikte edge-hardware en software
• het monitoren en onderhouden van AI-modellen nadat ze zijn uitgerold

MEDLI richt zich op industriële eindgebruikers, technologie- en softwareleveranciers, en systeemintegratoren die AI direct op de werkvloer of in productie-omgevingen willen inzetten.

MEDLI ontwikkelt praktijkgereedschap en richtlijnen zodat bedrijven deep learning aan de edge eenvoudiger kunnen toepassen. De vier centrale doelstellingen zijn:

• Snellere ontwikkeling van edge-AI-modellen
  Gebruik maken van pre-getrainde modellen, transfer learning, en technieken zoals pruning en quantisatie om de modellen kleiner te maken met behoud van nauwkeurigheid.

• Eenvoudige keuze van hardware en software
  Overzichten, decision trees en richtlijnen om de juiste combinatie van edge-hardware (GPU, TPU, CPU, etc.) en deployment-tools te selecteren, afgestemd op toepassingsvereisten.

• Monitoring van AI-modellen in bedrijf
  Methoden en tools om de gezondheid van modellen te bewaken (accuratesse, fouten, drift), met automatische signalen voor bijsturing of retraining.

• Generieke demonstraties en use cases
  Praktische voorbeeldprojecten — zoals visuele inspectie of tijdreeksanalyse (vibratie, sensoren, audio) — inclusief documentatie en stappenplannen als blauwdruk voor implementatie.