Machine Learning Supported Interactive Visualization of Hybrid 3D and 2D Data for the Example of Plant Cell Lineage Specification
Visualisation interactive, soutenue par l'apprentissage automatique, de données hybrides 3D et 2D ; l'exemple de la spécification du lignage cellulaire en biologie végétale
Abstract
As computer graphics technologies develop, spatial data can be better visualized in the 3D environment so that viewers can observe 3D shapes and positions clearly. Meanwhile, 2D abs- tract visualizations can present summarized information, visualize additional data, and control the 3D view. Combining these two parts in one interface can assist people in finishing complicated tasks, especially in scientific domains, though there is a lack of design guidelines for the interaction. Generally, experts need to analyze large scientific data to finish challenging tasks. For example, in the biological field, biologists need to build the hierarchy tree for an embryo with more than 200 cells. In this case, manual work can be time- consuming and tedious, and machine learning algorithms have the potential to alleviate some of the tedious manual processes to serve as the basis for experts. These predictions, however, contain hierarchical and multi-layer information, and it is essential to visualize them sequentially and progressively so that experts can control their viewing pace and validation. Also, 3D and 2D representations, together with machine learning predictions, need to be visually and interactively connected in the system.In this thesis, we worked on the cell lineage problem for plant embryos as an example to investigate a visualization system and its interaction design that makes use of combinations of 3D and 2D representations as well as visualizations for ma- chine learning. We first investigated the 3D selection interaction techniques for the plant embryo.The cells in a plant embryo are tightly packed together, without any space in between. Traditionaltechniques can hardly deal with such an occlusion problem. We conducted a study to evaluate three different selection techniques, and found out that the combination of the Explosion Selection technique and the List Selection technique works well for people to get access and observe plant cells in an embryo. These techniques can also be extended to other similar densely packed 3D data. Second, we explored the visualization and interaction de- sign to combine the 3D visualizations of a plant embryo with its associated 2D hierarchy tree. We designed a system with such combinations for biologists to examine the plant cells and record the development history in the hierarchy tree. We support the hierarchy building in two directions, both constructing the history top-down using the lasso selection in 3D environment and bottom-up as the traditional workflow does in the hierarchy tree. We also added a neural network model to give predictions about the assignments for biologists to start with. We conducted an evaluation with biologists, which showed that both 3D and 2D representations help with making decisions, and the tool can inspire insights for them. One main drawback was that the performance of the machine learning model was not ideal. Thus, to assist the process and enhance the model performance, in an improved version of our system, we trained five different ML models and visualized the predictions and their associated uncertainty. We performed a study, and the results indicated that our designed ML representations are easy to understand, and that the new tool can effectively improve the efficiency of assigning the cell lineage.
Avec le développement des technologies d’infographie, les données spatiales peuvent être mieux visualisées dans leur environnement 3D afin que les spectateurs puissent observer clairement les formes et les positions 3D. Parallèlement, les visualisations abstraites en 2D peuvent présenter des informations résumées, visualiser des données supplémentaires et contrôler la vue 3D. La combinaison de ces deux représentations en une seule interface peut aider les utilisateurs à entreprendre des tâches complexes, en particulier dans les domaines scientifiques, bien qu’il y ait un manque de directives générales de conception pour l’interaction. En général, les experts doivent analyser de volumineuses données scientifiques pour mener à bien des tâches difficiles. Par exemple, dans le domaine biologique, les biologistes doivent construire l’arbre de lignage cellulaire d’un embryon contenant plus de 200 cellules. Dans ce cas, le travail manuel peut être long et fastidieux, et les algorithmes d’apprentissage automatique ont le potentiel d’alléger certains des processus manuels fastidieux en fournissant des annotations ou prédictions initiales aux experts. Dans le cas du lignage cellulaire, ces prédictions contiennent toutefois des informations hiérarchiques et multicouches, et il est essentiel de les visualiser de manière séquentielle ou progressive. De plus, les représentations 3D et 2D, ainsi que les prédictions d’apprentissage automatique, doivent être connectées visuellement et interactivement dans le système.Dans cette thèse, le problème du lignage cellulaire des embryons de plantes a été le leitmotiv pour concevoir et étudier un système de visualisation qui utilise des combinaisons de représentations 3D et 2D ainsi que des visualisations pour l’apprentissage automatique. Nous avons d’abord étudié les techniques d’interaction pour la sélection 3D au sein d’un embryon de plante. Les cellules d’un embryon de plante sont jointives et constituent un ensemble d’objets 3D dense dans toutes les dimensions spatiales. Nous avons mené une étude pour évaluer trois techniques de sélection différentes, et nous avons montré que la combinaison de la technique de Sélection par Explosion et de la technique de Sélection par Liste fonctionne bien pour désigner et observer les cellules d’un embryon. Ces techniques peuvent égale- ment être étendues à d’autres données 3D denses et similaires. Deuxièmement, nous avons conçu un système de visualisations et d’interaction combiné afin que les biologistes puissent examiner les cellules de l’embryon et enregistrer l’histoire du développement dans l’arbre de lignage hiérarchique. Nous prenons en charge la construction de la hiérarchie dans deux directions, à la fois en construisant l’historique de haut en bas de l’arbre en utilisant la sélection lasso dans l’environnement 3D et de bas en haut selon le flux de travail traditionnel pour construire un arbre de lignage cellulaire hiérarchique. Nous avons également ajouté un modèle de réseau neuronal pour fournir aux biologistes des prédictions initiales sur les filiations. Nous avons réalisé une évaluation avec des biologistes ; celle- ci a montré que les représentations 3D et 2D facilitent les prises de décisions et que l’outil peut enrichir leur vision des embryons. Cependant, la performance du modèle d’apprentissage automatique n’était pas idéale. Aussi, pour faciliter le processus et améliorer les performances du modèle, dans une version plus aboutie de notre système, nous avons entraîné cinq modèles de classification différents, visualisé les prédictions et leurs incertitudes associées. Nous avons réalisé une évaluation auprès des utilisateurs ; les résultats ont indiqué que les représentations des classifieurs que nous avons conçues sont faciles à comprendre, et que le nouvel outil peut améliorer significativement les prises de décision pour la validation du lignage cellulaire.
| Origin | Version validated by the jury (STAR) |
|---|