Concour de visualisation IEEE Vis 2010 en imagerie médicale

Forum destiné à parler des cours gradués, des présentations de mémoires, des conférences, etc.

Concour de visualisation IEEE Vis 2010 en imagerie médicale

Messagede OliDeFordTaurus » Jeu Juil 15, 2010 12:04 am

C'est un concours de visualisation auquel je participe avec Max et une coupe d'autres étudiants. Je m'occupe présentement de la visualisation etMax/autres s'occupent du trairement des données en tant que tel, donc je vais parler un peu de ma partie et où c'est rendu. C'est un truc qu'on fait dans nos temps libres, plus par curiosité et pour le plaisir que pour vraiment gagner le concours (le concours fini dans genre 3 semaines et on a commencé samedi dernier :P).

L'objectif du concours c'est de fournir un logiciel de visualisation adapté pour un contexte d'assistance pré-opératoire pour la résection de tumeur cérébrale.

Présentement, on est en mesure de voir la tumeur segmentée et les parties du réseau neuronal touchées par la tumeur et son éventuelle résection. Les espèces de "fibres" qu'on voit c'est à toute fin pratique un gros paquet de câblage qui permet à l'information de voyager dans le cerveau (c'est pas une représentation fictive, ces fibres là existent et sont composées des neurones qui forment sauce blanche). Si une section importante de ces fibres là est complètement coupée, ça peut affecter des facultés du cerveau (vue, motricité, etc.). Donc, déterminer qu'est-ce qui serait potentiellement coupé lors de l'ablation de la tumeur devient important pour déterminer à quel point ils coupent large ou non (ou des fois même s'ils vont opérer ou non).

Image

Dans l'image on voit la tumeur segmentée et les fibres de sauce blanche du cerveau reconstruites à partir des données d'irm. La couleur des fibres indique leur niveau de "risque" d'être coupé pendant l'opération. Plus c'est rouge, plus c'est proche de la tumeur et plus c'est dangereux. L'espèce de hull gris en transparence c'est une surface 3D qui représente la surface du cerveau. Pour calculer la distance d'un point de la fibre par rapport à la tumeur, on utilise un distance map généré avec un algorithme de fast marching 3d.

La prochaine étape c'est de vérifier si l'ablation peut affecter des parties importantes du cerveau (vue par exemple). Notre stratégie c'est d'ajouter une irm fonctionnelle et afficher les fibres touchent à la tumeur et à la zone activée lors de l'irm fonctionnelle. (Par exemple, si un bundle de fibres couille l'irm fonctionnel du cortex visuel et la tumeur, y'a des risques que la vue du patient soit affectée par l'opération.) Je devrais coder ça d'ici 3-4 jours.

On a aussi accès à des données FLAIR pour le concours. On se prépare à les segmenter pour obtenir les vaisseaux sanguins qu'on affichera en 3D. À partir de ça, on pourra effectuer une visualisation des pathways opératoires ( par où le chirurgien passe pour aller enlever la tumeur) en affichant les risques de toucher des vaisseaux sanguins importants en fonction du pathway choisi.

C'est une petite présentation de ce que je fais pour le concours, je vais ajouter des nouvelles images au fur et à mesure qu'elles vont arriver :P.

Avec l'irm fonctionnelle :
Image

Image
Dernière édition par OliDeFordTaurus le Lun Juin 06, 2011 1:10 pm, édité 3 fois.
"It runs on the world most powerful graphic chip : imagination." - Sheldon Cooper
Avatar de l'utilisateur
OliDeFordTaurus

 
Messages: 2014
Inscription: Jeu Déc 18, 2008 1:08 am

Re: Concour de visualisation IEEE Vis 2010 en imagerie médicale

Messagede OliDeFordTaurus » Jeu Juil 15, 2010 12:14 am

J'en profite pour faire un peu de pub aussi si y'a des gens du bacc qui lisent ce thread.

On (Max Descoteaux et moi) offre un projet IMN697 pour travailler sur le logiciel en screenshot dans le post précédent à la session d'automne.

C'est un projet très fortement orienté infographie, avec du stock assez avancée qui sort du contexte habituel de jeu vidéo/ effets spéciaux/simulation qu'on voit majoritairement dans les stages.

Si y'en a qui sont intéressés : Linkage
"It runs on the world most powerful graphic chip : imagination." - Sheldon Cooper
Avatar de l'utilisateur
OliDeFordTaurus

 
Messages: 2014
Inscription: Jeu Déc 18, 2008 1:08 am

Re: Concour de visualisation IEEE Vis 2010 en imagerie médicale

Messagede ben » Jeu Juil 15, 2010 1:33 am

Très cool! Peux-tu décrire la technique de rendu des fibres en 3D?
J'ai jamais vu qqchose d'aussi smoofff. C'est tu des lignes OpenGL? Du rendu volumétrique? Alpha blending? Accumulation buffer?
ben

 
Messages: 2686
Inscription: Sam Déc 16, 2006 9:53 am
Localisation: Montreal, QC

Re: Concour de visualisation IEEE Vis 2010 en imagerie médicale

Messagede OliDeFordTaurus » Jeu Juil 15, 2010 1:49 am

ben a écrit:Très cool! Peux-tu décrire la technique de rendu des fibres en 3D?
J'ai jamais vu qqchose d'aussi smoofff. C'est tu des lignes OpenGL? Du rendu volumétrique? Alpha blending? Accumulation buffer?


GL Lines + Anti aliasing + Alpha blending + Petit truc d'éclairage

Le petit truc d'éclairage revient juste à éclairer les segments de fibre en fonction de leur orientation. C'est pas réaliste dutout, mais il répond bien au modèle perceptuel de "fibre" se fait le cerveau humain. Vite demême, l'éclairage a pas l'air de paraître, mais si je sors une image avec l'éclairage à côté d'une image sans l'éclairage, on voit toute l'importance que ça prend. Sans l'éclairage, ça a juste l'air d'un splosh de couleur flat.

Pour le blending, c'est setté avec un facteur SRC_ALPHA et l'opération ONE_MINUS_SRC_ALPHA si je me souviens bien. Je disable l'écriture au depth buffer (mais je garde le z-test activé) aussi pour pas avoir à faire un z-sort sur mes fibres.

J'avais testé une version du rendu avec un ambient occlusion screen-space aussi mais le drop de framerate compense pas vraiment pour l'amélioration visuelle, ça ramme tellement pour un cerveau complet que c'est pratiquement pu utilisable. Donc je l'utilise pas :/. Faudrait que je pré-calcule tout le AO et que je le "bake" dans mes fibres d'avance, je pense pas avoir le temps pour le concours par contre.
Dernière édition par OliDeFordTaurus le Jeu Juil 15, 2010 2:22 am, édité 1 fois.
"It runs on the world most powerful graphic chip : imagination." - Sheldon Cooper
Avatar de l'utilisateur
OliDeFordTaurus

 
Messages: 2014
Inscription: Jeu Déc 18, 2008 1:08 am

Re: Concour de visualisation IEEE Vis 2010 en imagerie médicale

Messagede ben » Jeu Juil 15, 2010 2:21 am

Je me demande si la technique de rendu utilisé dans ce paper pourrait t'être utile:

viewtopic.php?f=11&t=3023
ben

 
Messages: 2686
Inscription: Sam Déc 16, 2006 9:53 am
Localisation: Montreal, QC

Re: Concour de visualisation IEEE Vis 2010 en imagerie médicale

Messagede OliDeFordTaurus » Jeu Juil 15, 2010 2:28 am

J'avais déjà zieuté l'article quand tu l'avais shooté. C'est intéressant mais le hic c'est qu'on peut pas déplacer les fibres dans un contexte anatomique, pour pas perdre l'information.

Par contre, y'a un trend en neuropsychologie qui revient à "simplifier" la sauce blanche pour faciliter l'post sur tumblr des connections. Dans ce contexte particulier là ça pourrait être utile et j'avais pas pensé à cet article là.

L'idée de mapper la densité de fibres à une fonction de transfert basée sur une LUT c'est quelque chose que j'ai pas exploité et qui pourrait être utile dans les deux contextes aussi.

Jvais flagger l'article dans mon mendeley pis cogiter là dessus, c'est une idée intéressante :D. Y'a un peu de modifications à faire vu que leur méthode est basée sur un graphe et qu'on a pas de "noeuds" pour ainsi dire mais je crois que c'est faisable, jvais y penser sérieusement.

Bon, déjà que j'arrive pas à dormir, penser à des affaires demême ça m'aidera pas à me calmer :|. pff
"It runs on the world most powerful graphic chip : imagination." - Sheldon Cooper
Avatar de l'utilisateur
OliDeFordTaurus

 
Messages: 2014
Inscription: Jeu Déc 18, 2008 1:08 am

Re: Concour de visualisation IEEE Vis 2010 en imagerie médicale

Messagede ben » Jeu Juil 15, 2010 4:28 am

Cool. J'pensais pas vraiment au "edge bundling" en soi, juste le rendering avec la LUT et le acc. buffer, mais j'avoue que ca pourrait être utile dans un contexte où tu cherche à simplifier l'information visible. Ca a l'air le fun l'imagerie médicale :D
ben

 
Messages: 2686
Inscription: Sam Déc 16, 2006 9:53 am
Localisation: Montreal, QC

Re: Concour de visualisation IEEE Vis 2010 en imagerie médicale

Messagede Poelonne » Jeu Juil 15, 2010 12:16 pm

OliDeFordTaurus a écrit:Je disable l'écriture au depth buffer (mais je garde le z-test activé) aussi pour pas avoir à faire un z-sort sur mes fibres.

Pourrais-tu expliquer? Comment tu obtiens la bonne superposition sans écriture au depth buffer ni z-sort? Et comment obtiens-tu un beau blending sans z-sort?
En cas de doute, souris.
Avatar de l'utilisateur
Poelonne
einstein
 
Messages: 2465
Inscription: Lun Sep 03, 2007 2:43 pm
Localisation: Ascot, Sherbrooke

Re: Concour de visualisation IEEE Vis 2010 en imagerie médicale

Messagede OliDeFordTaurus » Jeu Juil 15, 2010 1:38 pm

Contrairement à ce que j'avais dit dans mon post précédent (j'étais chez nous et j'avais pas le code sous la main), j'utilise un blending additif pour mes fibres. L'équation de blending devient alors commutative donc en disablant le Z-Write, tu peux rendre tes trucs transparents dans l'ordre que tu veux sans problème, tant qu'il ne reste que des trucs transparents avec blending additif à rendre t'es sûr que ça causera pas de problème de profondeur.

Y'a pas de façon vraiment efficace de faire de la transparence avec un Z-buffer tout court en réalité, tu finis toujours par te faire pogner dans un cas limite. Dans la plupart des cas (genre dans des jeux par exemple) rendre le stock à la fin et disabler le Z-Write c'est suffisant, vu que c'est plutôt rare que 2 trucs transparents se superpose. C'est pas une technique magique et y'a définitivement des cas limites mais bon. Pour bien gérer tout ça faudrait utiliser autre chose qu'un Z-buffer :P.
"It runs on the world most powerful graphic chip : imagination." - Sheldon Cooper
Avatar de l'utilisateur
OliDeFordTaurus

 
Messages: 2014
Inscription: Jeu Déc 18, 2008 1:08 am

Re: Concour de visualisation IEEE Vis 2010 en imagerie médicale

Messagede Raymond Ouelette » Jeu Juil 15, 2010 1:58 pm

OliDeFordTaurus a écrit:blabla tumeur blablabla tumeur tumeur tumeur blablabla


Image
Avatar de l'utilisateur
Raymond Ouelette
tête de crane
 
Messages: 8550
Inscription: Ven Sep 08, 2006 4:47 pm
Localisation: Allo

Re: Concour de visualisation IEEE Vis 2010 en imagerie médic

Messagede OliDeFordTaurus » Mer Juil 21, 2010 3:58 pm

Voici une image avec l'irm fonctionnelle ajoutée au reste. (Voir le premier post,ou regarder 1 ligne en bas)
Image

Pas mal tout ce qui couille à la tumeur (rouge) et à l'irm fonctionnelle (Orange) est considéré "risqué". Les fils rouges représentent les fils qui vont être coupés pendant l'opération, là on remarque qu'yen a pas vraiment qui passent prochent des fonctions motrices (c'est une irm fonctionnelle motrice) donc pour ce qui est des facultés motrices, le patient est relativement safe, sauf pour un petit bout orange vers le bas.
Dernière édition par OliDeFordTaurus le Mer Juil 21, 2010 4:04 pm, édité 2 fois.
"It runs on the world most powerful graphic chip : imagination." - Sheldon Cooper
Avatar de l'utilisateur
OliDeFordTaurus

 
Messages: 2014
Inscription: Jeu Déc 18, 2008 1:08 am

Re: Concour de visualisation IEEE Vis 2010 en imagerie médic

Messagede mario » Mer Juil 21, 2010 4:02 pm

pretty neat stuff!!
** Jugement de valeur archaique **
Avatar de l'utilisateur
mario
Le Diplomate
 
Messages: 2966
Inscription: Ven Sep 22, 2006 3:23 pm
Localisation: somewhere dirty

Re: Concour de visualisation IEEE Vis 2010 en imagerie médic

Messagede Drama Dogg » Mer Juil 21, 2010 7:27 pm

face de crane Ouelette a écrit:
OliDeFordTaurus a écrit:blabla tumeur blablabla tumeur tumeur tumeur blablabla



lolll
-I'm a consummer whore!
-And how!
Avatar de l'utilisateur
Drama Dogg
Cat Urine
 
Messages: 3659
Inscription: Sam Oct 07, 2006 10:19 am


Retourner vers Étudiants Gradués

Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 1 invité

cron