Automatische analyse van CT-thorax bij systemische
sclerose met behulp van deep learning

Jingnan Jia, Leids Universitair Medisch Centrum
Promotiedatum 15 september 2024 (onder voorbehoud)

Samenvatting

In dit proefschrift analyseren we automatische methoden om SSc te kwantificeren uit CT-beelden vanuit verschillende perspectieven.
Hoofdstuk 1 geeft een algemene inleiding over de longanatomis, SSc, longfunctiemetingen (PFT’s), thorax-CT en deep learning toegepast op thorax-CT. Een mehode voor sementatie van de longkwabben werd voorgesteld in hoofdstuk 2, omdat het nauwkeurig extraheren van longen en kwabben een essentiële stap isvooor latere analyse van SSc. In hoofdstuk 3 werd een verklaarbaar raamwerk voorgesteld voor het volledig geautomatiseerd scoren van SSC-ILD. Dit raamwerk kan in enkele seconden vijf anatomische niveaus automatisch selecteren en voor elk niveau de verhoudeng van SSc-ILD tot het totale longoppervlak schatten. In hoofdstuk 4 werd een automaisch netwerk voor het schatten van PFT’s ontwikkeld, dat kan helpen bij het begrijpen van de relatie tussen longfunctie en longstructuur en bij het schatten van PFT’suit CT-scans voor patienten met contr-indicaties voor PFT’s. Hoofdstuk 5 breidde het werk van hoofdstuk 4 uit door middellijnen van bloedvaten om te zetten naar puntenwolken en grafen.

Hoofdstuk 2

Hoofdstuk 2 beschrijft een ontwikkeld deep learning netwerk voor kwabsegmentatie. Het is aannemelijk dat bij multitask deep learning de labels van meerdere verschillende structuren benut kunnen worden. We hebben daarom een multitask semi-supervised model voorgesteld, dat informatie van meerdere structuren kan gebruiken van niet-geannoteerde datsetsen datsets die wel geannoteerd zijn met verschillende structuren. We evalueerden het getrainde model op een externe onafhankelijke CT-dataset. De resultaten toonden aan dat multitask learning, semi-supervised learning, adaptieve leersnelheid en een geriche afwisselende trainingsstrategie de prestaties van ons model aanzienlijk konden verbeteren in vergelijking met de single-task alternatieven. We toonden ook aan dat onze benadering succesvol is voor verschillende netwerkarchitecturen als basis.

Hoofdstuk 3

Hoofdstuk 3 presenteerde een raamwerk van deep learning om het scoren van SSc-ILD te automatiseren. Het geautomatiseerde raamwerk is een cascade van twee neurale netwerken. Het eerste netwerk selecteert de craniocaudale posities van de vijf scoreniveaus. Vervolgens schat het tweede netwerk voor elk niveau de verhouding van drie patronen ten opzichte van het totale longoppervlak: de totale omvang van de ziekte (TOT), ground glass (GG) en reticulatie (RET). Voor het verklaren van de output van het netwerk werd een heatmap-methode geïntroduceerd om de kandidaat-gebieden voor interstitiële longziekte te markeren. De verklaarbaarheid van heatmaps werd geëvalueerd door twee menselijke experts en een kwantitatieve methode die de heatmap gebruikt om de score te produceren. De resultaten toonden aan dat het haalbaar is om een raamwerk te ontwikkelen voor geautomatiseerde SSC-ILD-score, dat concurrerend presteert met menselijke experts en duidelijke verklaringen biedt met behulp van heatmaps.

Hoofdstuk 4

In hoofdstuk 4 hebben we een raamwerk van deep learning voorgesteld om PFT-resultaten automatisch in te schatten uit CT-scans van SSc-patiënten. Het netwerk dat was getraind op de hele CT-scans met transfer learning behaalde de hoogste intra-klasse correlatie (ICC) voor de schatting van DLCO, FEV1, FVC en TLC.
De prestaties van de netwerken namen geleidelijk af wanneer ze werden getraind op beelddata van alleen de longen en alleen de bloedvaten. Regressie-maps toonden aan dat regio’s dicht bij grote vaten meer werden benadrukt dan andere regio’s, en af en toe werden regio’s buiten de longen benadrukt. Deze experimenten tonen aan dat naast de longen en grote vaten ook andere regio’s bijdragen aan de PFT-schatting. Bovendien verhoogde het toevoegen van handmatig ontworpen biomarkers de correlatie (R) voor alle vier de PFT’s. Dit suggereert dat handmatig ontworpen beeldvormingsbiomarkers nog steeds kunnen bijdragen aan het verklaren van de relatie tussen longfunctie en -structuur.

Hoofdstuk 5

In hoofdstuk 5 hebben we het werk van hoofdstuk 4 uitgebreid om de prestaties van PET-schattingen te verbeteren. We hebben een puntenwolk-neuraal-netwerk (PNN-Vessel) en een graaf neuraal netwerk (GNN-Vessel) ontwikkeld, gebaseerd op respectievelijk puntenwolken en grafen van de middellijnen. De resultaten tonen aan dat zowel PNN-Vessel als GNN-Vessel beter presteerden dan CNN-Vessel (CNN-netwerk ontwikkeld op 3D-raster bloedvatmaskers). Het bevestigde dat meer gedetailleerde informatie over bloedvaten meer uitleg kon bieden over PFT-schattingen.

Samenvattend stellen we in dit proefschrift automatische methoden voor om SSc te kwantificeren uit CT-beelden vanuit verschillende perspectieven: een netwerk voor geautomatiseerde segmentatie van longkwabben, een cascade-netwerk voor het geautomatiseerd scoren van SSC-ILD, en een reeks netwerken voor PFT-schattingen. Ons multitask semi-supervised learning kan worden gegeneraliseerd naar verschillende basisnetwerken. Het cascade-netwerk voor SSC-ILD-score presteerde verelijkbaar met menselijke eperts en biedt duidelijke verklaringen met behulp van heatmaps. Het PFT-schattingsnetwerk kan worden gebruikt om de relatie tussen longstructuuren -functie te bestuderen en kan een alternatief bieden voor SSc-patiënten met contra-indicaties. Meer gedetailleerde informatie over bloedvaten van HRCT biet meer uitleg over de PFT-schatting bij SSC patiënten. Alle ontwikkelde netwerken in dit proefschrift hebben een rekentijd in de orde van seconden, wat een substantiële verbetering is ten opzichte van conventionele methoden.

Concluderend geeft deep learning potentieel veel mogelijkheden en een verscheidenheid aan toepassingen bij de automatische analyse van thorax-CT in SSc.