Deep learning augmented single molecule localization microscopy reconstruction : enhancing robustness and moving towards live cells
Reconstruction de la microscopie de localisation à molécule unique assistée par l'apprentissage profond : amélioration de la robustesse et avancée vers les cellules vivantes
Résumé
While microscopy has been a central technique for cell biology since centuries, it has long been limited by diffraction to a resolution of ~200-300 nm. As a consequence, many molecular structures, such as viruses, nuclear pores, or microtubules were left unresolved. Single-molecule localization microscopy (SMLM) offers a high spatial resolution (e.g., 20 nm or better), allowing to resolve biological structures at or near the molecular scale. However, SMLM acquisition necessitates acquiring many thousands of low-resolution frames, mostly limiting its applications to fixed cells or to structures undergoing slow dynamics. To overcome this limitation, Ouyang et al. (2018) developed a deep learning-based approach called ANNA-PALM that can reconstruct a super-resolution image from much fewer low-resolution frames. However, the original ANNA-PALM method faced several limitations. First, ANNA-PALM had only been trained and tested on images from our laboratory. Second, the method exhibits artifacts when applied to images obtained using different protocols or experimental conditions than the training data. Third, ANNA-PALM had only been demonstrated on fixed cells. The objectives of my Ph.D. thesis are to address these limitations by 1) improving the robustness of ANNA-PALM reconstructions when applied to data obtained from distinct laboratories and 2) extending ANNA-PALM to reconstruct super-resolved time-lapse image sequences for dynamic biologicalstructures in live cells. 1. Improving the robustness of ANNA PALM: an obvious approach to improve robustness is to retrain the model using a larger and more varied data set. However, SMLM datasets are not usually publicly accessible. To address this, our lab developed ShareLoc, an online platform (shareloc.xyz) that allows the gathering and reuse of SMLM datasets acquired by the microscopy community. I first validated the platform's functionalities, curated SMLM data, implemented a ShareLoc ontology, and wrote relevant documentation. Next, I took advantage of ShareLoc data to retrain ANNA-PALM on larger and more diverse images and quantitatively evaluated the image reconstruction quality compared to the original model. I demonstrated that the robustness and reconstruction quality of ANNA-PALM significantly improved, notably when applied to images of microtubules taken under biological perturbation conditions never seen by the model during training. 2. Extending ANNA-PALM to reconstruct super-resolution movies of moving structures in live cells: achieving high-quality super-resolution reconstructions of structural dynamics is challenging. To avoid motion blur, each frame of the reconstructed movie is defined from localizations in only a small number of consecutive low-resolution frames. This leads to a strong under-sampling of the structures by single molecule localization events and does not enable super-resolution. Although ANNA-PALM can reconstruct high-quality super-resolved images from under-sampled localization data, training ANNA-PALM for live cells is more difficult, because a clear ground truth is lacking. The absence of ground truth also makes it difficult to assess reconstruction quality. To address these challenges, I first developed a method to generate ground truth super-resolution movies from static SMLM images obtained from long acquisition sequences. I implemented and tested this strategy using both simulated and experimental SMLM images. Second, I extended the ANNA-PALM architecture to 3D data, where the third dimension is time, in order to incorporate temporal information. I used simulations of microtubule dynamics to quantitatively evaluate the reconstruction quality of this approach in comparison with the original 2D ANNA-PALM, and as function of structure velocity and localization rates. [...]
La microscopie optique est une technique centrale en biologie cellulaire, mais la diffraction limite sa résolution à environ 200-300 nm. Par conséquent, de nombreuses structures moléculaires telles que les virus, les pores nucléaires ou les microtubules, ne peuvent pas être résolues. La microscopie de localisation à molécule unique (SMLM) offre une résolution spatiale élevée (20 nm ou mieux), permettant de résoudre les structures biologiques à l'échelle moléculaire. Cependant, la SMLM nécessite l'acquisition de plusieurs milliers d’images à base résolution, ce qui limite ses applications aux cellules fixes ou aux structures à dynamique lente. Pour surmonter cette limitation, Ouyang et al. (2018) ont développé une approche d'apprentissage profond appelée ANNA-PALM, capable de reconstruire des images super-résolutives à partir d'un nombre beaucoup plus réduit d'images à basse résolution. Cependant, la méthode ANNA-PALM originale présente plusieurs contraintes. Tout d'abord, cette méthode présente des artefacts lorsqu'elle est appliquée à des images obtenues avec des protocoles ou dans des conditions expérimentales différents des données d'entraînement. Par ailleurs, ANNA-PALMn'a été démontrée que sur des cellules fixes. Ma thèse vise à résoudre ces limitations : 1) en améliorant la robustesse d’ANNA-PALM pour des données issues de laboratoires ou de conditions expérimentales différents et 2) en l’étendant à la visualisation super-résolutive de structures biologiques dynamiques dans les cellules vivantes. 1. Amélioration de la robustesse d'ANNA PALM : notre laboratoire a développé ShareLoc, une plateforme en ligne (shareloc.xyz) qui permet la collecte, la visualisation et la réutilisation des données SMLM acquises par la communauté de microscopie. Dans un premier temps, j’ai validé les fonctionnalités de la plateforme, effectué la curation des données SMLM, implémenté l'ontologie ShareLoc et rédigé la documentation. Ensuite, j'ai ré-entraîné ANNA-PALM sur des images en plus grande quantité et plus variées partagées sur ShareLoc. J’ai évalué quantitativement la qualité des images reconstruites par rapport au modèle original. J'ai démontré une amélioration significative de la robustesse et de la qualité des reconstructions par ANNA-PALM, en particulier pour des images de microtubules prises dans des conditions biologiques différentes de celles des images d'entraînement. 2. Extension d'ANNA-PALM à la reconstruction de films super-résolutifs de la dynamique structurelle en cellules vivantes : pour éviter le floutage dû à la dynamique des structures, chaque image super-résolutive du film reconstruit est basée sur un faible nombre d'images consécutives à basse résolution, ce qui conduit à un sous-échantillonnage important de la structure, qui restreint la résolution. Bien qu'ANNA-PALM puisse reconstruire des images super-résolutives à partir de images sous-échantillonnées, pour les cellules vivantes l’entraînement du modèle et l'évaluation de la qualité des reconstructions sont plus difficiles en raison de l'absence de vérité terrain. Pour relever ces défis, j'ai développé une méthode pour créer des vérités terrain super-résolutives dynamiques à partir d’images SMLM statiques. J'ai appliqué cette stratégie à des données simulées ainsi qu’à des données expérimentales de microtubules. Ensuite, j'ai étendu l’architecture d’ANNA-PALM à des données 3D dont la troisième dimension est le temps, afin d’exploiter l'information temporelle. J'ai utilisé des simulations de microtubules en mouvement pour évaluer quantitativement la qualité des reconstructions par cette approche, en comparaison avec la méthode ANNA-PALM 2D originale, et en fonction de la vitesse des structures et des taux de localisation. Les résultats montrent que l'incorporation d'informations temporelles améliore considérablement la qualité des reconstructions [...]
| Origine | Version validée par le jury (STAR) |
|---|