Onderzoek Ivan De Boi

Abstract

Camera-kalibratie is een fundamentele stap in nauwkeurige 3D-metingen. Directe kalibratie kan echter complex en tijdrovend zijn, vooral voor multi-camerasystemen met verschillende configuraties. Dit onderzoek stelt een impliciete kalibratieaanpak voor met behulp van Gaussische processen, een probabilistische machine learning-techniek. Door de mapping tussen 2D-beeldpixels en 3D-wereldcoördinaten te leren, kunnen we de noodzaak van expliciete kalibratie van intrinsieke en extrinsieke camera-parameters omzeilen. De voorgestelde methode is bijzonder voordelig voor uitdagende scenario's, zoals systemen met groothoeklenzen en multi-camerasystemen met diverse cameratypes (bijvoorbeeld RGB en infrarood). Door gebruik te maken van Gaussische processen kunnen we omgaan met regimes met weinig data en betrouwbare onzekerheidskwantificering bieden. We streven ernaar de effectiviteit van deze aanpak aan te tonen door middel van twee use-cases: 3D 180°-360° Omgevingsmapping: Het gebruik van meerdere groothoek RGB-camera's om een ​​volledige 3D-weergave van een scène vast te leggen. 3D Thermografie: Het combineren van RGB- en infraroodcamera's om 3D-warmtekaarten te genereren, waardoor een gedetailleerde analyse van warmteverdeling mogelijk is. Dit onderzoek zal bijdragen aan de vooruitgang van de state-of-the-art in 3D-computer vision door een flexibele en robuuste oplossing voor impliciete camera-kalibratie te bieden, waardoor nauwkeurige en efficiënte 3D-metingen in verschillende toepassingen mogelijk worden.

Onderzoeker(s)

• Promotor: De Boi Ivan

Onderzoeksgroep(en)

• InViLab

Project type(s)

• Onderzoeksproject

Abstract

Endoscopie speelt een centrale rol bij diagnostische onderzoeken en minimaal invasieve chirurgische procedures. Een bijzonder type is de draadloze capsule-endoscopie, waarbij patiënten een kleine pilvormige camera innemen. Ondanks het belang ervan vertonen de endoscopische beelden en video's ernstige nadelen, zoals aanzienlijke vervorming, lage resolutie, ontbrekende frames en reflecties. In dit project ga ik een aantal van deze uitdagingen aan. Hiervoor zal ik eerst een nieuwe camerakalibratieprocedure ontwikkelen. Vervolgens zal ik, op basis hiervan, Gaussiaanse processen en generatieve AI inzetten om modellen te formuleren die een alternatieve latente ruimtere van de beelden construeren. Probabilistische machine learning-modellen, zoals Gaussiaanse processen, bieden interpreteerbaarheid (geen black-box), wat cruciaal is in evidence-based geneeskunde. Het biedt transparantie en helpt bij het opbouwen van vertrouwen bij artsen. Verbeterde camerakalibratie en innovatieve inzichten op latente ruimtes bieden het potentieel om een ??revolutie teweeg te brengen in verschillende technieken, waaronder het opstellen van 3D-trajecten, mozaïeken en nog veel meer. Als gevolg hiervan zal mijn onderzoek de precisie en efficiëntie van artsen bij het interpreteren van endoscopische beelden aanzienlijk verbeteren. Dit belooft op zijn beurt de detectiepercentages te verhogen, de nauwkeurigheid van metingen te vergroten en bij te dragen aan de vooruitgang van minimaal invasieve chirurgie.

Onderzoeker(s)

• Promotor: Penne Rudi
• Mandaathouder: De Boi Ivan

Onderzoeksgroep(en)

• InViLab

Project type(s)

• Onderzoeksproject

Abstract

Het standaard pinhole-model voor optische sensoren en de bijbehorende kalibratieprocedures blijken ongeschikt voor de huidige generatie van sensoren. Zelfs voor klassieke RGB-camera's leidt het pinhole-model tot een onstabiele kalibratie, met dan nog de noodzaak voor een extra model om lensdistorsie te corrigeren. In dit project stellen we lijnenvariëteiten voor om als unificerend model te dienen voor een breed gamma van sensoren. In tegenstelling tot andere gepubliceerde voorstellen van algemene lijnmodellen, gaan wij de specifieke lijnenvariëteit identificeren die bij een bepaalde sensor hoort, met een elegante en nauwkeurige kalibratie tot gevolg. Meer bepaald laat ons dit toe om te kalibreren vanuit een kleine sample van 3D-rechten, waarbij we numerieke interpolatietechnieken en Gaussische processen aanwenden. Omdat deze technieken dienen uitgebreid worden tot de context van lijnenvariëteiten, zullen we ook nieuwe technieken moeten ontwikkelen. Onze ultieme doelstelling is om met behulp van deze lijnmodellen een multi-sensor configuratie op te stellen, met een heel nauwkeurige sensorfusie, geschikt als supportonderdeel tijdens Radiotherapie.

Onderzoeker(s)

• Promotor: Penne Rudi
• Mandaathouder: De Boi Ivan

Onderzoeksgroep(en)

• InViLab

Project type(s)

• Onderzoeksproject