Bonjour,

Jusqu'à présent j'ai majoritairement travaillé avec Professeur Detours dans le IRBHM pour apprivoiser les travaux qu'ils ont déjà accomplis.

Pour rappel, mon mémoire consiste à implémenter, dans un pipeline déjà existant, une méthode automatique pour détecter les artefacts dans des lames histologiques (dataset GTex et TGCA).

J'ai passé les 3 dernières semaines à lire beaucoup de littérature afin de développer un espèce de cahier des charges. Nous n'avons pas accès à des datasets labelisés pixel par pixel ou tile par tile, c'est pourquoi l'option unsupervised est privilégiée.

Dans le pipeline préexistant, les WSI sont divisées en tiles qui passent dans le réseau ResNet18 (Ciga et al.). Nous obtenons donc en sortie des vecteurs de 512 chiffres (espace latent) pour chaque tile, pour l'instant un algorithme de réduction de dimension est appliqué (UMAP) afin de visualiser les clusters de tiles (HDBSCAN).

Pour information (ou pour rappel), dans ce repository (http://histoqcrepo.com/) on peut retrouver le(s) artefacts présents dans les WSI du TCGA.

J’ai défini le résultat idéal au problème de détection d’artefact comme étant le suivant : Object detection avec en sortie des masks/bounding box de différentes couleurs où la couleur indique le type d’artefact (similaire à ce qui est fait avec Mask-RCNN dans la littérature depuis quelques années). C’est l’idéal car cela comprend la localisation des artefacts mais également la classification de ceux-ci.

Il y a des exemples d’unsupervised object detection (https://arxiv.org/abs/2102.04803, https://arxiv.org/abs/2102.06191, ici une application de MaskRCNN à la détection de mitose https://link.springer.com/content/pdf/10.1007/s11517-020-02175-z.pdf ou encore https://arxiv.org/abs/2104.01325)

Au début, j’avais du mal à penser à des solutions sur l’espace latent j’ai donc commencé par réfléchir en pensant aux images seulement.

Travail sur les images en elles-mêmes :

Indice de qualité : j’ai pensé à attribuer des indices de qualité à chaque image pour me permettre de savoir s’il vaut mieux supprimer les artefacts de l’image ou améliorer l’image par des techniques d’enhancement. Comment calculer cet indice ? On peut imaginer plusieurs manières, la plus simple à mes yeux serait une somme pondérée des pixels appartenant à une classe d’artefacts. Elle serait pondérée car certains artefacts peuvent diminuer la qualité du slide de manière plus significative que d’autres (subjectif). Malheureusement, je n’ai pas accès à ces pixels, je pourrai pousser mes recherches là-dedans.
Techniques d’Image Processing pour chaque type d’artefacts (1 artefact = 1 méthode) basées sur des thresholds, analyse spectrale des images…
Unsupervised Object Detection (Mask-RCNN appliqué au problème des lames histologiques)

Travail sur l’espace latent :

Generative Models : autoencoder or GAN (generative adversarial networks)  https://link.springer.com/chapter/10.1007/978-3-030-52791-4_18 (see part about artifact detection)
Hidden Markov Model : idée tout à fait originale, j’ai pensé à appliquer ce modèle statistique à des images similairement à ce qu’on fait dans la littérature pour des séquences de protéines. Je pourrai déterminer des probabilités typiques pour chaque artefact en entrainant le modèle sur des tiles contenant l’artefact, cela me permettrait de ne pas utiliser une « supervision » tile par tile précise qui est très difficile à obtenir et ne concerne pas mon mémoire. (https://ieeexplore.ieee.org/document/6855852)
Unsupervised Object Detection (Mask-RCNN appliqué au problème des lames histologiques)

En résumé, je ne sais pas qu’est-ce qui a le plus de chance de donner un bon résultat et/ou d’être testé le plus vite, est-ce possible d’organiser une petite réunion cette semaine ?

Merci d’avance,

Rania Charkaoui

Déléguée MA2 Ingénierie Biomédicale | Présidente WomInTech

Rania.charkaoui@ulb.be | +32485465563