CA2067209C - Systeme intractif d'intervention locale a l'interieur d'une zone d'une structure non homogene - Google Patents

Abstract

Un système interactif d'intervention locale à l'intérieur d'une zone d'une structure non homogène (SNH) telle qu'un crâne de patient lié au référentiel (R2) d'une table d'opération; et à laquelle est liée une structure de référence comportant une pluralité de points de base crée sur un écran une représentation de la structure et d'une structure de référence qui y est liée, délivre les coordonées des images des points de base dans un premier référentiel (R1); permet de repérer les coordonées des points de base dans R2; et permet une intervention avec un organe actif (5): Des moyens (4) élaborent des outils de transfert de référentiel entre R1 et R2, à partir des coordonnées des points de base dans R2 et de leurs images dans R1, en réduisant à un minimum les écarts entre les coordonnées des images dans R1 et des points de base dans R1 après transfert par les outils. Les outils de transfert de référentiel établissent un couplage bidirectionnel en temps réel entre une origine et une direction d'intervention simulée à l'écran et la position de l'organe actif.

Description

w 'U 'tJ 1 t~ U c3 WO 91/0471 1 PCTlfR90/00714 SYSTEME INTERACTIF D'INTERVENTION LOCALE A L'INTERIEUR D'UNE
STRUCTURE NON HOMOGENE.
L'invention concerne un système interactif d'intervention locale à l'intérieur d'une zone d'une structure non homogène. -L'exécution d'interventions locales à l'intérieur d'une structure non homogène, telles que des opérations de chirurgie intracranienne, chirurgie orthopédique, pose actuellement le problème de l'optimalisation du ou des trajets d'intervention afin d'assurer, d'une part, une intervention totale sur la zone ou structure d'intérêt, telle qu'une tumeur à traiter ou explorer, et, d'autre part, une lésion minimale des zones voisines ou connexes de la zone d'intérêt, ceci impliquant la localisation puis le choix des zones de la structure non homogène les moins sensibles à traverser ou les moins dommageables relativement à l'intégrité de la structure.
De nombreux travaux visant à apporter une solution au problème précité ont, jusqu'à ce jour, fait l'objet de publications. Parmi celles-ci, on peut citer l'article intitulé "Three Dimensional Digitizer (Neuro-navigator) .
New Equipment for computed Tomography - Guided Stereotaxic Surgery" et publié par Eiju Watanabe, M.D.
Takashi Watanabe, M.D., Shinya Manaka, M.D., Yoshiaki Mayanagi. M.D., et Kintomo Takakura, M.D Department of Neurosurgery, Faculty of Medicine, tJniversity of Tokyo, Japan dans la revue Surgery Neurol. 1987 . 27 p. 543-547 par Elsevier Science Publishing Co., Inc. Le brevet WO-A-88 09151 enseigne un équipement analogue.
Dans les publications précitées sont en particulier décrits un système et pan mode opératoire à
partir desquels un sy_tdme de repérage de position tridimensionnelle, de type palpeur, permet de repérer tes coordonnées de position tridimensionnelles d'une structure non homogène, telle que la tête d'un patient

- 2 -devant subir une intervention de neurochirurgie, puis de faire correspondre en fonction de la position relative de la structure non homog8ne une série d'images correspondantes constituées par des images en coupe S bidimensionnelles selon une direction arbitraire, préalablement obtenues à l'aide d'un procédé d'imagerie médicale de type "scanner".
Le .système et le mode opératoire précités présentent un intérêt certain pour le praticien intervenant puisque celui-ci dispose, au cours de l'intervention, outre la vue directe ale l'intervention, d'au moins une vue en coupe bidimensionnelle lui permettant d'apprécier dans le plan de coupe Ja situation d'exécution de l'intervention.
Toutefois, et en raison de la conception même du système et du mode opératoire précités, ceux-ci ne permettent ni une représentation précise de la situation d'exécution de l'intervention, ni une conduite partiellement ou totalement automatisée de ).'intervention selon un programme de cheminement de l'instrument déterminé préalablement à l'interventi.on:
lJn tel ~ système - et un tel mode opératoire ne peuvent donc prétendre supprimer tout risque d'artefact puisque l'intervention reste conduite par le seul praticien.
La présente invention a pour objet de remédier à
l'ensemble du problème précédemment cité, et en particuhier de proposer un système permettant une corrélation aussi exacte que possible, à tout instant,, entre une modélisation d'intervention à l'écran et l'intervention proprement-dite, e't en outre la représentation selon un ou plusieurs angles .
d'observation, et le cas échéant selon un ou, plusieurs plans de .coupe, de la structure non homogène, le ou les .
Plans de coupe pouvant par exemple être perpendiculaires ~~Ör~~~fl~

à la direction du trajet de cheminement de l'instrument ou de l'outil d'intervention.
Un autre objet de la présente invention est également la mise en oeuvre d'un système permettant de simuler une trajectoire optimale de cheminement de l'outil, afin de constituer une intervention assistée ou entièrement programmée.
Enfin, un objet de la présente invention est de proposer un système permettant, à partir de la trajectoire simulée et de l'intervention programmée, d'asservir le déplacement de l'instrument ou outil à
ladite trajectoire pour réaliser l'intervention programmée.
L'invention propose à cet effet un systéme interactif d'intervention locale à l'intérieur d'une zone , d'une structure non homogène à laquelle est liée une structure de référence comportant une pluralité de points de base, caractérisé en ce qu'il comprend - des moyens d'affichage dynamique en imagerie tridimensionnelle d'une représentation de la structure non homogène et d'une structure de référence liée à la structure non homogène, incluant des images des po9.nts de base, - des moyens pour délivrer les coordonnées des images des points de base dans le premier référentiel, des moyens de mise en position liée, par rapport à un deuxième référentiel, de la structure non homogène et de la structure de référence, - des moyens de repérage pour délivrer les coordonnées des points de base dans le deuxième référentiel, - des moyens d'intervention comportant un organe actif dont la position est déterminée par rapport au deuxième référentiel, - des moyens d'élaboration d'outils de transfert de référentiel .du premier référentiel vers le deuxième WO 91/04711 ~ ~ ~ ~ ~ ~ ~ PCT/FR90/00714 ~-référentiel et réciproquement, à partir des coordonnées des images d.es points de base dans le premier référenéiel et des coordonnées des points de base dans le deuxième référentiel, de manière à réduire à un minimum les écarts entre les coordonnées des images des points de base dans le premier référentiel et les coordonnées des points de base exprimées dans ledit premier référentiel à l'aide desdits outils de transfert de référentiel, - des moyens pour définir par rapport au premier référentiel une origine d'intervention et une direction d'intervention simulées, et - des moyens de transfert de référentiel utilisant lesdits outils de transfert de référentiel pour établir un couplage bi-directionnel entre l'origine d'intervention et la direction d'i.ntervention simulées et la position de l'organe actif.
Une description plus détaillée du système de l'invention sera donnée ci-après en référence aux dessins dans lesquels ~ - la figure 1 représente une vue générale d'un . système interactif d'intervention locale.à l'.intérieur d'une zone d'une structure non homogène selon la présente invention, la figure 2 représente, dans le cas o~l la structure non homogène est constituée par la tête d,'un patient, et en vue d'une intervention de neurochirurgie, une structure de référence liée à la structure non homogène et permettant d'établir une corrélation entre un référentiel "patient" et un référentiel d'images du patient préalablement réalisées et mémorisées, - la figure 3 représente un mode de réalisation avantageux de la distribution spatiale de la structure de référence de la figure 2, - la figure 4 représente un mode de réalisation avantageux des moyens d'intervention installés sur une ~~.â~,>~~ ~
WO 91/0471 l PCT/FR90/00714 _ 5 -table d'opé::~ation dans le cas d'une intervention de neurochirurgie, - la figure 5a et la figure 5b représentent un organigramme général d'étapes fonctionnelles mises en -oeuvre par le système, - les figures 7 et 8 représentent des organigrammes de programmes permettant la mise en oeuvre de certaines étapes fonctionnelles de la figure 5b, - la figure 9a représente un organigramme d'un programme permettant la mise en oeuvre d'une étape fonctionnelle de la figure 5a, - la figure 9b représente un organigramme d'un programme permettant la mise en oeuvre d'une autre étape fonctionnelle de la figure 5a, - les figures l0a et lOb représentent un organigrâmme général des étapes successives d'un dialogue interactif entre te système de la présente invention et le praticien intervenant, et - la figure lOc représente un organigramme général des étapes fonctionnelles successivement remplies par le ' système de l'invention, ayant l'i.ntervention, ' préalablement à l'intervention, au cours de l'intervention et après l'intervention.
Le système interactif d'intervention locale selon l' invention sera tout d' abord décrit en liaison avec la figure 1.~
Une structure non homogène, notée SNH, sur laquelle une intervention doit être effectuée, est constituée par exemple par la tête d'un patient dans laquelle une intervention de neurochirurgie doit être effectuée. T1. est cependant entendu que le système de l'invention peut être utilisé afin de réaliser tout type d'intervention dans tout type de structure non homogène à
l'intérieur de laquelle des unités ou éléments structurels et/ou fonctionnels peuvent être mis en WO 9!/04711 ~ ~ ~ _ 6 _ PCT/FR90/00714 ._ évidence et dont l'intégrité, au cours de l'intervention, doit être respectée autant que possible.
Le système comprend des moyens notés 1 d'affichage dynamique en imagerie tridimensionnelle, par rapport à un premier référentiel R~, d'une représentation (notée RSR) d'une structure de référence SR (décrite plus loin) liée à la structure SNH ainsi que d'une représentation ou modélisation de la structure non homogène notée RSNH.
Plus précisément, les moyens 1 permettent d'afficher une pluralité d'images tridimensionnelles successives, selon des angles différents, des représentations RSNH et RSR.
Le système de l'invention comporte également des moyens notés 2, de mise en position liée, par rapport à
un deuxième référentiel Ra, des structures SNH et SR.
Dans le présent exemple non limitatif, la tête du patient, portant la structure de référence SR, est fixée sur une table d'opération TO sur laquelle les moyens 2 de mise en position liée sont fixés.
Bien entendu, le patient dont la tête a été
installée dans les moyens 2 de mise en position liée a été soumis préalablement aux préparations habituelles, afin de lui permettre de subir l'intervention.
Les moyens 2 de mise en position liée par rapport é Rm ne seront pas décrits en détail car ils peuvent être constitués par tout moyen (tel qu'un casque de maintien) normalement utilisé dans le domaine de la chirurgie ou de ta neurochirurgie. Le référentiel Rs peut arbitrairement être défini comme un trièdre tri-rectangle de référence lié à la table d'opération TO, ainsi que représenté en figure 1.
Des moyens 3 de repérage, par rapport au deuxième référentiel Rz, des coordonnées notées X2, Y2, Z2 de points quelconques, et en particulier d'un certain nombre Y
de points de base de la structure de référence SR, sont en outre prévues Ces points de base constituant la structure de référence SiT peuvent être constitués de certains points remarquables et/ou de marques apposées sur le patient, en des positions choisies par le praticien et notamment en ces points remarquables.
Le système de l'invention comprend en outre des moyens calculateurs 4 recevant des moyens 3 de repérage les coordonnées X2, X2, Z2.
Les moyens calculateurs 4, comme on le verra en détail plus loin, sont conçus pour élaborer des outils de transfert de référentiel optimaux en utilisant d'une part les coordonnées dans Rz, mesurées par le palpeur 3, d'une pluralité de points de base de la structure SR, et d'autre part les coordonnées dans R~, déterminées par des ~5 outils graphiques du calculateur MO1 (pointage par souris. etc.), des images des points de base correspondants dans la représentation RSR, afin d'assurer la meilleure corrélation possible entre les informations modélisées dans les équipements informatiques et les informations correspondantes de l'univers réel.
Z1 est en outre prévu des moyens 11 de transfert de référentiel conçus pour utiliser les outils ainsi élaborés et assurer en temps réel cette corrélation.
De plus, des moyens 40 sont prévus, comme on le . serra en détail plus loin, pour déterminer ou modéliser une origine de référence d'intervention ORf et une direction d'intervention d.
A l'aide des moyens 11, la direction modélisée d'intervention D peut, au moins préalablement à
l'intervention et en début d'intervention, être matérialisée par un système de visée optique à la disposition du praticien, ce systéme de visée pouvant être asservi en position par rapport au deuxième référentiel Rz .
Le système de visée sera décrit ~altérieurment.

WO 91 /04711 ~ ~ ~ ~ ~ ~ PCT/~'R90/00714 ' :-fl Le système de la présente invention comporte enfin des moyens 5 d'intervention comportant un organe actif noté 50 dont: la position est déterminée par rapport au deuxième référentiel Rz.
S Selon une caractéristique avantageuse de l'invention, grâce aux moyens de transfert de référentiel 11, la position de l'organe actif peut être commandée dynamiquement à partir de la modélisation préalable de l'origine d'intervention ORI et de la direction d'intervention Q.
Les moyens 1 d'affichage dynamique en imagerie tridimensionnelle des représentations RSNH et RSR
comportent un fichier 10 de données d'images bidimensionnelles. Le fichier 10 est par exemple constitué de données numérisées de coupes tomographiques, de radiographies, d'atlas de la tête du patient, et contenu dans une mémoire de masse appropriée.
Les coupes tomographiques successives peuvent être réalisées préalablement à l'intervention de manière classique, après que la structure de référence SR a été
mis en place sur la structure non homogène SNH.
Selon un aspect avantageux, la structure de référence SR peut être constituée par une pluralité de marques ou de points remarquables qui soient à la fois palpables par les moyens de repérage 3 et détectables sur les images bidimensionnelles obtenues.
Bien entendu, les coupes tomographiques bidimensionnelles précitées peuvent également être réalisées par tout moyen d'imagerie médicale tel qu'un système à résonance magnétique nucléaire.
De façon caractéristique et bien connue, chaque image bidimensionnelle correspondant é une- coupe ' tomographique de scanner correspond à une épaisseur de tranche de la structure d'environ 2 à 3 mm, les pixels ou -éléments d'images dans le plan de la coupe tomographique étant obtenus avec une précisàon de l'ordre de ~ l mm. On ?~s7~~~
WO 91 /0471 t PCT/FR90/00714 comprend donc que les marques ou points constitutifs de la structure de référence SR apparaissent sur les images avec une incertitude de position, et un aspect important de l'invention va consister à minimiser ces incertitudes ' comme on le décrira plus loin.
Le système comporte également des premiers moyens 110 de calcul et de reconstitution d'images tridimensionnelles à partir des données du fichier 10.
Il comporte également un écran à haute résolution 17 permettant l'affichage d'une ou de plusieurs d'images tridimensionnelles ou bidimensionneJJes constituant autant de représentations de la structure de référence RSR et de la structure non homogène SNH.
Avantageusement, les moyens de calcul 110. l'écran à haute résolution et la mémoire de masse contenant le fichier 10 font partie d'un calculateur du type station de travail de conception classique, noté M01.
Préférentiellement, les premiers moyens de calcul 110 peuvent être constitués par un programme de type CAO
implanté dans lâ station de travail. MO1.
A titre d'exemple non limitatif, ce programme peut être dérivé du logiciel commercialisé sous la marque de commerce "AiJTOCAD" par la société "AIJTODESK" aux Etats-Unis d'Amérique.
IJn tel logiciel permet, à partir des diverses images bidimensionnelles numérisées, de reconstituer des images tridimensionnelles constituant l.ea représentations des structures RSR et RSNH selon des orientations quelconques.
Ainsi qu'on l'a en outre représenté en figure 1, les moyens de calcul 4 et 11 peuvent être constitués par un troisième calculateur noté M02 sur la figure J.
Les premier et second calculateurs MO1 et M02 sont interconnectés par une liaison numérique classique (bus ou réseau).

En variante, Vies calculateurs MO1 et M02 peuvent être remplacés par une station de travail unique.
Par exemple, les moyens 3 de repérage sont constitués par un palpeur tridimensionnel muni d'une pointe de touche 30.
Ce type de palpeur tridimensionnel connu en soi et non décrit en détail, est constitué d'une pluralité de bras articulés, repérés en position par rapport à une base solidaire de la table d'opération TO. I1 permet de connaftre les coordonnées de la pointe de touche 30 par rapport à l'origine Oz du référentiel Rz avec une précision inférieure à 1 mm.
Le palpeur est par exemple muni de résolveurs délivrant des signaux représentatifs de la position instantanée de la pointe de touche 30 précitée. Les résolveurs sont eux-mêmes reliés à des circuits de conversion numérique/analogique et d'échantillonnage des valeurs représentatives de ces signaux, ces circuits d'échantillonnage étant interconnectés de manière classique au deuxième calculateur M02 pour lui fournir les coordonnées~X2, X2, Z2 de la pointe de touche 30.
En variante ou additionnellement, et de façon représentée schématiquement, les moyens de repérage 3 peuvent comprendre un jeu de caméras vidéo 31 et 32 (ou encore de caméras infra-rouges) permettant la prise de vue des structures SiVH et SR.
Le jeu de caméras peut jouer le rôle d'un système stéréoscopique permettant le relevé de position des points de base de la structure de référence SR, ou d'autres points de la structure non homogène SNH, par rapport au deuxième référentiel Rz. Le relevé de position peut âtre effect~xé par exemple en ajoutant un système d'émission de faisceau laser permettant d'éclairer successivement tes points dont on recherche les coordonnées, un logiciel approprié permettant de déterminer ensuite la position de ces points un à un par ~û~'~~~~
WO 91 /04711 r PCT/FR90/00714 rapport à Rz. Ce logiciel ne sera pas décrit car il peut être constitué par des logiciels de reconnaissance de forme et de position normalement disponibles dans le commerce.
S Selon un autre variante, les moyens de repérage 3 peuvent comprendre un systéme de télémétrie.
Dans ce cas, les marques de la structure SR
peuvent être constituées par de petits radioémetteurs implantés par exemple sur les points considérés de la tête du patient et conçus polar être visibles sur les images bidimensionnelles, des capteurs optiques ou électromagnétiques appropriés (non représentés) étant prévus pour déterminer les coordonnées desdites marques dans le référentiel Rz ou dans un référentiel lié à ce dernier.
I1 est important de noter ici que ta fonction générale des points de base de la structure de référence est d'une part d'être localisables individuellement sur la structure de référence, pour en déduire les coordonnées dans R2, et d'autre part d'être visualisabl.es sur les images bidimensionnelles afin d'être identifiées (par leurs coordonnées dans R~) et incluses dans la représentation RSR à l'écran.
Il peut donc s'agir de marques spéciales apposées en des points quelconques de la surface latérale de structure SNH, ou encore en des points remarquables de celte-ci, ou encore, lorsque les points remarquables peuvent être localisés en eux-mêmes avec une bonne précision à la fois sur 1a structure SNH et sur les coupes 2D, des points remarquables totalement dépourvus de marques.
Sur la figure 2, on a représenté une pluralité de marques notées M1 à Mi, ces marques, dans le cas oé la structure non homogène est constituée par la tête d'un patient, étant localisées par exemple entre les sourcils du patient, sur les tempes de ce dernier et au sommet du WO 91/04711 ~ ~ ~ ~ ~ ~ ~ PCT/FR90/007i4 ,--.

crâne en un point remarquable tel que le point frontal médian.
Plus généralement, pour un volume sensiblement ovoïde constituant la structure non homogène, on prévoit avantageusement quatre points de base au moins sur la surface extérieure du volume.
Ainsi qu'on l'a représenté en figure 3, les quatre marques M1 à M4 de la structure de référence sont distribuées de façon à définir de préférence un tétraédre sensiblement symétrique. La symétrie du tétraèdre, représenté en figure 3, est matérialisée par le plan vertical de symétrie PV et le plan horizontal de symétrie PH.
Selon une caractéristique avantageuse, comme on le verra plus loin, les moyens pour élaborer les outils de transfert de référentiel sont conçus pour choisir trois points du tétraèdre qui vont définir le "meilleur plan"
pour le transfert de référentiel.
Et la présence de quatre points ou davantage permet aulx) points) additionnels) de valider un choix déterminé.
Plus précisément, la présence de quatre points de base au minimum sur la structure de référence permet une recherche de la distorsion minimale entre les points saisis sur le patient par le moyen de repérage constitué
par exemple par te palpeur tridimensionnel et les images de ces points sur la représentation en imagerie tridimensionnelle, dont les coordonnées sont calculées au cours du traitement. Le meilleur plan du tétraèdre précédemment décrit, c'est-à-dire le plan pour lequel l'incertitude sur les coordonnées des points entre les points effectivement saisis par le palpeur ' tridimensionnel et les peints de la représentation de la structure de référence RSR, est minimale. devient alors le plan de référence pour le transfert de référentiel. On établira ainsi la meilleure corrélation entre une ~~ G~i direction d'intervention modélisée et une origine d'intervention modélisée, d'une part, et l'action de l'organe 50. De préférence, l'origine d'intervention sera placée au centre de la zone dans laquelle l'intervention devra être effectuée, c'est-à-dire une tumeur observée ou traitée par exemple.
Par ailleurs, on pourra prendre en compte l'i.ncertitude résiduelle constatée pour effectuer la représentation du modèle et des outils sur lemoyens d'affichage dynamique.
llne description plus détaillée des moyens d'intervention 5 sera maintenant donnée en liaison avec la figure 4.
De préférence, les moyens d'intervention 5 comportent un chariot 52 mobàle en translation le long de la table d'opération T0, par exemple sur une crémaillère notée 54, en étant entraSné par un moteur non représenté, lui-même commandé via une liaison appropriée par le calculateur M02 par exemple. Ce systéme de déplacement ne sera pas décrit en détail car il correspond à un système de déplacement classique disponible dans le commerce. En variante, le chariot 52 peut être mobile sur un trajet distinct et séparé de la table d'opération TO ou être immobile par rapport à la table d'opération et constituer alors un support.
Le chariot support 52 comporte en premier lieu un organe de visée OV, constituant le système de visée .précédemment cité, lequel peut être constitué par une lunette binoculaire.
L'organe de visée OV permet au praticien, préalablement à l'intervention proprement-dite, ou pendant celle-ci, d'effectuer une visée de la position présumée de la zone dans laquelle l'intervention devra être effectuée.
En outre, et de manière non limitative, à l'organe de visée OV peut être associé un système d'émission laser 2~~'~~~~ _ 1~ -hélium-néon, noté EL, permettant d'assurer le pointage d'un faisceau laser fin de positionnement ou de visée sur la structure SNH et notamment, comme on le verra en détail plus loin, d'indiquer au praticien la position S d'un point d'entrée PE préalablement à l'intervention, pour permettre à celui-ci d'ouvrir le crâne â l'endroit approprié, et de lui indiquer également ce que sera la direction d'intervention. Accessoirement, l'éclairage du point considéré de la structure non homogène ou à tout le moins de la surface latérale de celle-ci permet aux caméras vidéo 31 et 32 d'effectuer, si nécessaire, un relevé de position.
De préférence, un système de mesure de position par télémétrie 53 est prévu pour assurer la mesure précise de la position du chariot 52 support de l'organe de visée OV et du système d' émission laser EL. Au cours de l'opération, et afin d'assurer l'intervention, le chariot 52 peut être déplacé le long de la crémaillère 54, la position du chariot 52 étant mesurée de manière très précise au moyen du système 53. Le système de télémétrie 53 est interconnecté par une liaison appropriée au microordinateur M02.
Les moyens d'intervention 5 peuvent avantageusement être constitués par un bras guide 51 de l'organe actif 50.
Le bras guide 51 peut être avantageusement constitué par plusieurs tronçons articulés, chaque articulation étant munie de orateurs et de réso7veurs permettant d'assurer la commande de déplacement de l'extrémité du bras support et 1e relevé de position de cette même extrémité et donc de l' organe actif 50 selon six degrés de liberté par rapport au chariot 52. Les six degrés de liberté comprennent, bien entendu, trois degrés de liberté en translation par rapport à un référentiel lié au chariot 52 et trois degrés de liberté en rotation selon ces mêmes axes.

~~5'«tJ~
WO 91/04711 P(.'T/FR90/00714 Ainsi le bras support 51 et l'organe 50 sont repérés en position instantanée par rapport au deuxiéme référentiel Rz, d'une part par l'intermédiaire du relevé
de position du chariot mobile 52 et d'autre part par l'intermédiaire des résolveurs associés à chaque articulation du bras support 51.
Dans le cas d'une intervention chirurgicale intracranienne de neurochirurgie, l'organe actif 50 est amovible et peut être constitué par un outil de trépanation, une aiguille ou implant radioactif ou chimique, une tête d'émission laser ou de radioéléments ou un système de vision endoscopique. Ces différents organes ne seront pas décrits car ils correspondent à des instruments normalement utilisés en neurochirurgie.
La matérialisation de la direction d'intervention modélisée peut être effective au moyen de l'émetteur laser EL. Cette visée étant effectuée, le bras guide 51 peut alors être amené manuellement ou de façon asservie en superposition avec l.a direction d'intervention D.
Dans le cas d'un positionnement manuel, les résolveurs associés à l'organe de visée OV et à
l'émetteur laser EL, le cas échéant. permettent de reporter le trajet de la direction de visée, constituant notamment la direction réelle d'intervention, sur la représentation de la structure non homogène dans les moyens d'affichage dynamique 1.
En outre, ainsi qu'il sera décrit ultérieurement et de manière préférentielle, le praticien intervenant pourra tout d'abord définir un trajet d'intervention simulé et y asservir les déplacements de l'organe actif 50 dans la structure non homogène pour assurer effectivement tout ou partie de L'intervention.
Dans ce cas, ta progression de l'outil d'intervention 50 est alors directement asservie au trajet simulé (données ORI, ~ ) en faisant intervenir les WO91/04711 PCT/FR90/00714 ,r-moyens 11 de transfert de référentiel pour exprimer le trajet dans le référentiel Rz .
Une description plus détaille de la mise en oeuvre et du mode opératoire du système de l'invention, sera maintenant décrite en liaison avec les figures 5a et , ' 5b.
Selon la figure 5a, la première étape consiste à
obtenir et organiser en mémoire les données d'images bidimensionnelles (étape 100). Tout d'abord, la structure non homogène SNH est préparée. Dans le cas d'une intervention de neurochirurgie par exemple, cela signifie que la tête du patient peut être munie des marques constituant les points de base de la structure de référence SR. Ces marques peuvent être réalisées au moyen ~5 de points constitués par un colorant absorbant partiellement les rayons X, tel qu 'an colorant radio-opaque.
Les marquas précitées sont implantées par le praticien sur la tête du patient en des points remarquables de celles-ci et la structure non homogène SNH peut alors être soumise à une prise d'images par tomographie par exemple , au moyen d' un appareil de type scanner à rayons X.
Cette opération ne sera pas décrite en détail car elle correspond à des opérations classiques dans le domaine de l'i.magerie médicale. .
Les données d'images bidimensionnelles obtenues sont alors constituéés en données numérisées dans le fichier 10, ces données étant elles-mêmes repérées par rapport au référentiel Ri et permettant de restituer à la demande les images bidimensionnelles s~ar les moyens d'affichage dynamique 1, ces images représentant des coupes superposées de la structure non homogène SNH. y A partir des données d'images numérisées à la disposition du praticien, ce dernier procède alors, comme 2~6''jiy~
WO 91/047ii PCT/FR90/00714 indiqué en 101 en figure 5a, à la sélection des structures d°intérêt des images précitées.
Le but de cette étape est de faciliter le travail du praticien en formant des images tridimensionnelles qui ne comportent que les contours des éléments de la structure qui sont essentiels pour la définition géométrique et le contr8le en temps réel du déroulement de l'intervention.
Dans le cas où la structure non homogène SNH est constituée par ta tête d'un patient, une analyse des données d'images bidimensionnelles permet" à partir de valeurs de densité optique des points-images correspondants. d'extraire d'emblée les contours du crâne" de Vérifier les échelles de distance, etc...
De préférence, les opérations précitées sont effectuées sur un rectangle d'intérêt pour une image bidimensionnelle donnée, ce qui permet, par déplacement du rectangle d'i.ntérêt, de couvrir l'ensemble de l'image.
L'analyse ci-dessus est effectuée au 'moyen d°un logiciel adapté qui permet ainsi d'extraire et de -vectoriser les contours des structures qui seront modélisées dans les représentations RSNH et RSR.
Les structures modélisées dans le cas d'une intervention de neurochirurgie sont par exemple le crâne, les rrantrîcules cérébraux" la tumeur devant être observée ou traitée" la faux du cerveau ainsi que les diverses zones fonctionne7.les.
Selon un aspect du systéme interactif de l'invention" le praticien peut disposer d'une table à
digitaliser ou autre périphérique graphique permettant"
pour chaque image bidimensi.onnelle affichée, de rectifier ou compléter la définition du contour d'une zone d"intérêt particu7.ière.
On notera enfin qu'en superposant les contours extraits à l'image bidimensionnelle affichée, le praticien pourra valider les extractions réalisées.

WO 91/04711 ~ PCT/FR90/00714 .., _ 1a - , Les contours extraits sont ensuite traités par échantillonnage de points pour obtenir leurs coordonnées dans le référentiel R~, ces coordonnées pouvant être constituées en un fichier de type ASCII. I1 s'agit de l'étape 10? de génération de la base de données .
tridimensionnelles.
Cette étape est suivie d'une étape 103 de reconstruction du modèle tridimensionnel. Cette étape cansiste tout d'abord, à l'aide du logiciel de type CAO, à réaliser ~ partir des contours des structures d'intérêt constituées en images bidimensionnelles vectorisées une extrapolation entre les différents plans de coupe.
L'extrapolation précitée est réalisée de préférence au moyen d'un algorithme de type "B-Spiine"
qui apparait le mieux adapté. Cette extrapolation transforme une information discrète, à savoir les coupes successives obtenues au moyen de l'analyse scanner, en un modèle continu permettant 1a représentation tridimensionnelle des enveloppes volumiques des structures.
I1 est à noter que la reconstruction des volumes constituant les structures d'intérêt introduit une approximation liée notamment à l'espacement et à
l'épaisseur non nulle des coupes d'acquisition. Une caractéristique importante de l'invention, comme expliqué
en détail par ailleurs, est d'une part de minimiser les incertitudes résultantes dans la corrélation patient-modèle, et d'autre part de prendre en compte les incertitudes résiduelles.
1.e logiciel de type CAO utilisé possède des fonctions standard qui permettent de manipuler le modèle dans l'espace en l'affichant selon des points de vue différents sur seul critère défini par le praticien (étape 104).
Le logiciel peut également reconstruire des plans de coupe de représentation de la structure non homogène ~~~r>''~

différents des plans des images du fichier 10, ce qui permet notamment de développer des connaissances enrichissant les données de la représentation par constitution d'un atlas neuro-anatomique.
S Le praticien peut ensuite (étape 105) déterminer un modèle de stratégie d'intervention en tenant compte des structures d'intérêt modélisées, en évaluant des rapports de distances et d'angles sur les représentations bi- et tridimensionnelles affichées.
Cette stratégie d'intervention va consister, concrètement, d'une part à localiser ta tumeur et à y associer un "point cible", qui pourra ensuite tenir lieu d'origine commune de tous les objets (réels et images) traités par le système, et d'autre part à déterminer un trajet simulé d'intervention respectant au maximum l'intégrité des structures d'intérêt. Cette étape peut être réalisée "au bureau", en ne faisant intervenir que la station de travail.
Une fois cette opération effectuée, et préalablement à l'intervention, la ~ phase suivante consiste é mettre en oeuvre les étapes nécessaires à
l'établissement d'une corrélation aussi exacte que possible entre la structure SNH (univers réel) et la représentation RSNH (uni.vers i.nformat~que). I1 s'agit des étapes 106 à 109 de la figure 5b.
Tout d'abord, ainsi que représenté en figure 5b é
l'étape 107, on procède repérage des points de base de la structure de référence SR par rapport au deuxième référentiel à l'aide des moyens de repérage 3, en délivrant au système les coordonnées X2, Y2. Z2 desdits points de base.
L'étape suivante 106 consiste à identifier sur les représentations RSNH et RSR affichées à l'écran les images des points de base que l'on vient de repérer. Plus précisément, à l'aide de périphériques graphiques appropriés, on sélectionne une à une ces représentations WO 91/04711 ~~ ~ J r' ~J ~ ~ PCT/FR90/00714 i - 20 (images) des points de base, et la station de travail fournit à chaque fois (en l'espèce au calculateur M02) les coordonnées de ces points représentés dans le référentiel R~ .
Ainsi le calculateur M02 dispose d'un premier jeu de coordonnées tridimensionnelles, représentatives de la position des points de base dans Ra , et d'un second jeu ' de coordonnées tridimensionnelles, représentatives de la position des représentations des points de base dans R~.
Selon un aspect essentiel de l'invention, on va utiliser ces données pour élaborer en 108, 109 des outils de transfert de référentiel (de R~ vers Ri et réciproquement) en faisant appel à un référentiel intermédiaire déterminé à partir des points de base et constituant ux~ référentiel intermédiaire propre au modéle reconstruit.
Plus précisément, on construit le référentiel intermédiaire à partir de trois points de base choisis de ..telle sorte que, dans ce référentiel, les coordonnées des autres points.de bases après transfert depuis Ra et les coordonnées des représentations de ces autres points de base après transfert depuis R~ s'expriment avec la plus grande cohérence et la distorsion minimale.
Lorsque l'étape d'élaboration des outils de transfert de référentiels est achevée, ces outils peuvent être utilisés par le système pour assurer le couplage optimal entre l'univers réel et l'univers informatique (étape 1110).
Par ailleurs, selon .un aspect auxiliaire de la présente invention, le système peut créer sur les moyens d'affichage une représentation de la structure non homgène et de 1.' organe d' intervention qui tienne compte des écarts et distortions subsistant après que les "meilleurs" outils de transfert de référentiel aient été .
sélectionnés (incertitudes rési.duell.es). Plus précisément,' de ces écarts peut étre déduite par les 2~~~r~ ~~

moyens de calcul une erreur type susceptible d'apparaftre dans le positionnement mutuel entre la représentation de la structure non homogène et la représentation d'éléments (outils, axes de visée, etc...) référencés sur Rz lors de , l'utilisation des outils de transfert de référentiel.
Cette incertitude résiduelle, qui peut être dans la pratique concrétisée par une matrice d'erreur, peut être utilisée par exemple pour représenter certains contours (outil, structures d'intérêt à éviter lors de l'intervention, etc...) avec des dimensions plus grandes que celles qui seraient normalement représentées à partir des données de la base tridimensionnelle ou à l'aide de caordannées repérées dans Rz, lesdites dimensions plus grandes étant déduites des dimensions "normales" en faisant intervenir la matrice d'erreur. Par exemple, si l'organe était représenté normalement, en section transversale, par un cercle de diamètre D1, on peut représenter concrétement un cercle de diamètre D2>D1, -''avec la différence D2-D1 déduite de ta valeur d'erreur type. De cette manière, lorsqu'on choisira une direction d'intervention permettant d'évi.ter de traverser certaines structures d'intérêt, la prise en compte d'une taille "agrandie" de l'outil d'interventi.on supprimera tout risque qu'à cause des erreurs précitées, l'organe traverse accidentellement ces structures.
De retour à l'étape 105, et comme on le verra plus en détail en référence aux figures 9a et 9b, l'ori.gine de référence d'intervention ORI et la direction d'intervention A, c'est-à-dire le trajet simulé
d'intervention, peuvent être déterminées selon différentes procédures.
Selon une première procédure, la trajectoire peut être définie à partir de deux points, à savoir un point d'entrée PE~(figure 3) et un point cible, c'est-à-dire ' sensiblement le centre de ta structure d'intérêt constituée par la tumeur à observer ou traiter.

Initialement, ces deux points sont localisés sur le modèle représenté à l'écran.
Selon une deuxième modalité, la trajectoire peut être déterminée à partir du point cible précité et d'une direction qui tient compte des types de structures d'intérêt et de leurs positions en vue de respecter optimalement leur intégrité.
Suite à l'étape 108 précitée, le praticien peut effectuer é l'étape 1110 l'intervention proprement-dite.
L'intervention peut être avantageusement effectuée par asservissement de l'outil ou organe actif sur le trajet d'intervention sàmulé, détermW é à l'étape 1110.
En variante, étant donné que le bras support 51 de l'organe actif, muni de ses résolveurs, délivre en continu au système les coordonnées dans Rz dudit organe actif, il est également possible d'effectuer l'opération manuellement ou semi-manuellement, en contrôlant sur , l'écran la position et l.es mouvements d'une représentation de l'outil. et en les confrontant au trajet d'intervention simulé, affiché.
On notera en outre que la direction d'.intervention modélisée peut être matérialisée é l'aide du faisceau laser décrit précédemment, le positionnement de ce dernier (par rapport é Rz) étant de même réalisé grâce aux outils de transfert de référentiel.
On va maintenant décrire plus en détail. en référence aux figures 6, 7, 8, 9a et ,9b certaines fonctionnali.tés du système de l'invention.
On décrira tout d'abord en référence à la figure 6 le module d'élaborati.on des outils de transfert de référentiel (étapes 108, 109 de la figure 5b).
Ce module comprend un premier sous-module 1001 d'acquisition de trois points A, B, C, images des points de base de SR, sur la représentation RSNH (les coordonnées de ces points étant exprimées dans le référentiel informatique Ri), par sélections successives de ces points sur la représentation. A cet effet, le praticien est amené, au moyen d'une interface graphique tel qu'une "souris", à pointer successivement les trois points A,B,C choisis.
Le module de préparation des outils de transfert comporte également un deuxième sous-module, noté 1002, de création d'une matrice M orthogonale tridimensionnelle unitaire, cette matrice étant caractéristique d' une base orthonormée directe représentée par trois vecteurs unitaires ?~, j, k, lesquels définissent un référentiel intermédiaire lié à R~.

Les vecteurs unitaires i, ~ et k sont donnés par les relations _j = Ali / ~ AB /
k = (Bän-BAC?/'BAn C
i = jr1 k où r ~ désigne l.a norme du vecteur considéré.
Dans tes relations précitées , le signe "/~" désigne le produit vectoriel des vecteurs considérés.
De 1a même manière, le module de préparation des outils de transfert comporte un troisième sous-module noté 1003 d'acquisition de trois points de base D. E, F.
de la structure SR, ces trois points étant ceux dont les images sur le modèle sont respectivement les points A,B,C. Dans ce but, le praticien, par exemple au moyen de la pointe de touche 30, palpe successivement ces trois points pour obtenir leurs coordonnées dans Rz.
Le sous-module 1003 est lui-même suivi. ainsi que représenté en figure 6, par un quatrième sous-module 1004 de création d'une matrice N orthogonale tridimensionnelle unitaire; caractéristique d'une base orthonormée directe comportant trois vecteurs unitaires i', j , k' et liée au deuxième référentiel Rz du fait que la structure non homogène SNH est en position liée par rapport à ce référentiel.

WO 91/04711 Z ~ ~ '~ ~~ ~ ~ PCT/fR90/00714 Les trois vecteurs unitaires i', j', k' sont définis par les relations .
- DÉ/ ~ )~ _ k' - ( D ~ EF) / ~ED n ~~
i' - j'es k' Comme indiqué plus haut, autant les points de base de la structure de référence peuvent être repérés dans Ri avec une bonne précision, autant leur représentation dans la base informatique R~ est repérée avec une certaine marge d'erreur compte tenu d'une part de l'épaisseur non nulle (typiquement de 2 à 3 mm) des tranches représentées par les images bidimensionnelles du fichier 10, et d'autre part (en général dans une moindre mesure) de la définition de chaque élément d'image ou pixel d'une coupe.
Selon l'invention, une fois qu'une paire de matrices de transfert M, N a été élaborée avec des points A. B. C, D, E. F choisis, on cherche à valider ce choix en utilisant un ou plusieurs points de base additionnels;
plus précisément, pour le ou chaque point de base additionnel, on repère ce point dans Ra à l'aide du palpeur 30, on repère ta représentation de ce point dans Ri aprés sélection sur l'écran, puis on applique aux coordonnées obtenues les matrices N et M, respectivement, pour ob-t~enir ~leu~rs expressions r~ spectivement dans les bases (i', j', k') et (i, j, k). Si ces expressions concordent bien, on peut assimiler ces deux bases à un même référentiel intermédiaire, ce qui assure le couplage mathématique aussi exact que possible entre .le référentiel informatique R~ lié au modèle et le référentiel "rée)." Rz lié au patient.
En pratique, le module d'élaboration des outils de transfert de référentiel peut être conçu pour effectuer successivement les étapes 1001 à 1009 sur des triplets de base à chaque .fois différents (par exemple, si l'on a 2~~7?~3~

défini quatre points de base, associés à quatre représentations dans RSR, il existe quatre triplets possibles), pour effectuer l'étape de validation 1005 pour chacun de ces choix et enfin pour choisir le triplet pour lequel la meilleure validation est obtenue, c'est à-dire pour lequel l'écart entre les expressions précitées est le plus faible. Ce triplet définit le "meilleur plan" mentionné par ailleurs dans la description, et aboutit aux "meilleures" matrices de transfert M et N.
En variante, le choix du meilleur plan pourra être effectué au moins en partie par le praticien grâce à son expérience.
I1 est à noter que le transfert de référentiel ne sera achevé qu'en complétant le calcul matriciel avec les matrices M, N avec un transfert d'origine, de façon à
créer une nouvelle origine commune par exemple au centre de la tumeur à observer ou à traiter (point ORI). Ce transfert d'origine est effectué simplement par soustraction appropriées de vecteurs d'une part sur les coordonnées dans Ri. d'autre part sur les coordonnées dans Rz . ces vecteurs é soustraire sont déterminés après localisation du centre de la tumeur sur la représentation.
Par ailleurs, les moyens décrits ci-dessus pour établir le couplage entre l'univers du patient et l'univers du modèle peuvent être également utilisés pour coupler à l'univers du modèle celui de données d'atlas, également mémorisées dans la station de travail et exprimées dans un référentiel différent, noté Ra. Dans ce cas, puisque ces données ne comportent aucune marque spécifique visible, l'élaboration de matrices décrite plus haut est effectuée en substituant à ces marques les positions de points remarquables de la tête du patient.
I1 peut s'agir de pointa temporaux, point frontal médian, a WO 91/04711 ~ ~ ~ ~ - 26 - PCT/FR90/00714 sommet du crâne, centre de gravité des orbites des yeux...
Les points correspondants du modèle peuvent être obtenus soit par sélection par souris ou tablette graphique sur le modèle, soit par palpage sur le patient lui-même puis utilisation des matrices de transfert.
L'étape ci-dessus d'élaboration des outils de transfert ou référentiel, conduite en pratique par les moyens de calcul 4, permet subséquemment de mettre en oeuvre les moyens de transfert de référentiel (f~gs. 7 et 8).
En référence à la figure 7, le premier sous-module 201 de transfert comporte une procédure notée 2010 d'acquisition des coordonnées XM, YM, ZM, exprimées dans R1, du point à transférer, par sélection sur la représentation.
La procédure 2010 suivie d'une procédure 2011 de calcul des coordonnées XP, YP, ZP (exprimées dans Rz) du point réel correspondant sur le patient par la transformation ~XP, YP, ZP~= M * N-1 * ~XM, YM, ZM
00 M * N-1 représente le produit de la matrice M et de la matrice N inverse.
La procédure 2011 est suivie d'une procédure 2012 ' de traitement en utilisant les coordonnées calculées XP, YP, ZP. par exemple pour indiquer le point correspondant sur la surface de la structure SNH au moyen du système d'émission laser EL, ou encore pour assurer l'intervention au point considéré de coordonnées XP, YP, ZP (par asservissement de l'organe actif).
Inversement, afin d'assurer un transfert de SNH
vers RSNH, le deuxième sous-module 202 comprend (figure 8) une procédure notée ?.020 d'acquisition sur la structure SNH des coordonnées XP, YP. ZF (exprimées dans Rz) d'un point à transférer.

2~~'~?t~~;

Ces coordonnées peuvent être obtenues au moyen de la pointe de touche 30 par exemple. La procédure 2020 est suivie d'une procédure 2021 de calcul des coordonnées correspondantes XM, YM, ZM dans R~ par la transformation:
~XM, YM, ZM~= N * M'1 * ~XP, YP, ZP}
Une procédure 2022 permet ensuite d'effectuer l'affichagè du point de coordonnées XM, YM, ZM sur le modèle ou encore d'une droite ou d'un plan passant par ce 0 point et répondant par ailleurs à d'autres critères.
On notera ici que les deux sous-modules 201, 202 peuvent utilisés par le praticien à tout instant dans le but de vért.fier le caractère valide des outils de transfert; en particulier, on peut vérifier à tout moment ~5 qu'un point de base réel, de coordonnées connues à la fois dans Ra et dans R~ (par exemple un point de base de SR ou un point remarquable quelconque de la structure SNH
visible sur les images), se replace bien par rapport à
son image aprés transfert de coordonnées à l'étape 2011.
20 En cas de différence excessive, on effectue une nouvelle étape d'élaboration des outils de transfert.
Par ailleurs, les sous-modules.201, 202 peuvent être conçus pour intégrer également la prise en compte de l'incertitude résiduelle, comme évoqué plus haut, par 25 exemple afin de représenter sur l'écran un point palpé
non pas de façon ponctuelle, mais par exemple sous forme d'un cercle ou une sphère représentatif de ladite incertitude.
A partir d'un trajet d'intervention simulé, par 30 exemple sur la représentation RSNH, ou à partir de toute autre droite choisie par le praticien, l'invention permet par ailleurs de représenter le modèle sur 1.' écran selon un point de vue correspondant à cette droite. Ainsi le troisième sous-programme de transfert comporte, comme 35 représenté en figures 9a et 9b, un premier module 301 de visualisatiôn de la représentation dans une direction WO 91/04711 c7!~ ') ',~(~ PCT/FR90/00714 ~~~~~~~
_ 28 _ donnée par deux points et un deuxième module 302 de visualisation de la représentation dans une direction donnée par un angle de site et un angle d'azimut.
Le premier module 301 de visualisation de la représentation dans une direction donnée par deux points comporte un premier sous-module noté 3010 permettant l'acquisition des deux points considérés qui vont définir la direction choisie. Les coordonnées de ces points sont exprimées dans le référentiel R~, ces points ayant été
soit acquis au préalable sur la structure non homogène SNH par exemple au moyen de la pointe de touche 30 puis soumis au transfert de référentiel, soit sélectionnnés directement sur la représentation au moyen de 3.'interface graphique de type "souris".
Le premier sous-module 3010 est suivi d'un deuxième sous-module noté 3011 permettant la création d'une matrice V tridimensionnelle orthogonale et unitaire, caractéristique d'une base orthonormée directe ..i", j", k". les vecteurs unitaires ~, j , k' étant déterminés par les relations -:s ~ -'~
i".k" _ ~ ~ i".z" _ ~ ~ lz~~' = 1 j" = k" n i."
o~y " ~ " représente le produit vectoriel et "." symbolise le produit scalaire.
Le sous-module 3011 est suivi d'une routine 3012 permettant d'assurer pour tous les points des entités (structures d'intérêt) de la base de données tridimensionnelles de coordonnées XW, YW, ZW dans R~ une conversion dans la base orthonormée (i", j", k") par la relation ~XV, YV, ZV~ = V * ~XW, YW, ZW
La sous-routine 3013 est alors suivie d'une sous-routine 3014 d'affichage du plan i", j", les sous-r utines 3013 et 3019 étant rappelées pour tous les points, ainsi que symbolisé par la flèche de retour au bloc 3012 su.r la figure 9a.
Lorsque l'ensemble des points a été traité, un , module de sortie 3015 permet le retour à un module général, lequel sera décrit ultérieurement dans la description. On comprend que ce module permet de reconstruire des images bidimensionnelles dans des plans perpendiculaires à la direction définie par A et B.
De la même manière, le deuxième module 302 (figure 9b) de visualisation de la représentation selon un point de vue donné par un angle de site et un angle d' azimut comporte un premier sous-module 3020 d'acquisition des deux angles dans le repère représentation.
Le choix des angles de site et d'azimut peut être effectué par choix dans une base de données prédéfinies ou par déglacement de curseurs logiciels associés à
chaque vue ou encore par_ modification relativement à une direction courante, telle que la direction modélisée d'intervention. Le sous-module 3020 est lui-même suivi d'un deuxiéme sous-module 3021 de création d'une matrice W tridimensionnelle orthogonale unitaire. caractéristique d'une base orthonormée directe de vecteurs unitaires i"', j"', k"'. Ils sont définis par les relations k '.z ' - sin(azimut) ;
iny km = Q jny Zm - ~ ~ iuy ynW COS(Slte) ' i i"'.x"'= sin(site) ;
-~. -a.
j"~ = k"'n i"' Une routine 3022 est ensuite appelée pour tous les points des entités de la base de données tridimensionnelles de coordonnées XW, YW, ZW, et permet d'appeler une première sous-routine 3023 permettant le calcul des coordonnées du point considéré dans la base orthonormée directe i"', j"'. k"' par la transformation WO 91/04711 Q 9 _ 30 - PCf/FR90/00714 - -~XV, YV, ZV~ = V * ~XW, YW, ZW
La sous-routine 3023 est elle-même suivie d'une v.3, -a sous-routine 3024 d'affichage du plan i"', j"', les deux sous-routines 3023 et 3024 étant alors appelées pour chaque point, ainsi que symbolisé par le retour par la flèche au bloc 3022 d'appel de la routine précitée.
Lorsque tous les points ont été traités, un sous-module de sortie 3025 permet le retour au menu général.
Bien entendu, l'ensemble des programmes. sous programmes, modules, sous-modules et routines précédemment décrits sont gérés par un programme général de type "menu" afin de permettre la conduite interactive du système par dialogue sur écran avec le praticien intervenant, par pages-écrans spécifiques.
Une description plus spécifique d'un organigramme général illustrant ce programme général sera maintenant donnée en liaison avec les figures l0a et lOb.
Ainsi, sur ta figure 10a, on a représenté
successivement une page écran 4000 relatW e au chargement des données à partir du fichier numérisé 10, suivie d'une page écran 4001 permettant d'assurer le paramétrage des - échelles de gris de l'affichage sur les moyens d'affichage dynamique 1 et de calibrage de l'image, par exemp7.e.
ha page écran 4001 est suivie d'une page écran , 4002 permettant d'effectuer la génération d'une vue globale puis une étape ou page écran 4003 permet d'effectuer une répartition automatique des coupes sur l'écran de la station de travail.
Une page écran 4004 permet d'effectuer une sélection manuelle des coupes puis une page écran 4005 .
permet d'effectuer le choix de la stratégie (recherche des points d'entrée et des directions d°intervention .
possibles, première localisation de la cible (tumeur...) à traiter...), ainsi que défini précédemment, et de ~~~~1?~~

choisir la position et la répartition des coupes horizontale, sagittale et frontale.
Une page écran 4006 permet également d'effectuer un affichage des réglages d'un éventuel cadre -stéréotaxique.
On rappellera que la structure de référence SR
remplace avantageusement les cadres stéréotaxiques utïlisés antérieurement pour effectuer le repérage de position à l'intérieur du cr~ne du patient.
Peuvent en outre étre prévus une page écran 4007 de sélection des coupes stratégiques en vision tridimensionnelle au choix du praticien puis en 4008 le recalage des références des périphériques (outil, organes de visée, etc.) à l'aide du palpeur 30.
LJne page écran 4009 est également prévue pour effectuer la recherche des points de base sur le patient à l'aide dudit palpeur, à la suite de quoi tes étapes de construction des outils de transfert de référentiel et de transfert de référentiel à proprement-parler sont effectués, de façon préférentiellement transparente pour l'utilisateur.
IJne autre page écran 4010 est alors prévue, afin d'effectuer la localisation de la cible sur la représentation (par exemple une tumeur à observer ou traiter dans le cas d'une intervention de neurochirurgie), pour déterminer ensuite un trajet simulé
d'intervention.
Puis une nouvelle page écran 4011 permet d'effectuer le réglage des guides de l'outil à partir de ce trajet simulé avant ouverture des volets cutanés et osseux sur le crâne du patient.
Puis une nouvelle étape 4012 de localisation permet de vérifâer que la position des guides correspond bien au trajet d'intervention simulé.

WO 91/04ï 11 ~ ~ ~ ~ ~ ~ ~ PCT/FR90/00714 La page écran 4012 est suivie d'une page écran dite d'inte::~vention, l'intervention étant effectuée conformément à l'étape 1110 de la figure 5b.
Une description plus détaillée du dialogue interactif entre le praticien et le système au cours d'une intervention chirurgicale et en particulier de neurochirurgie, va suivre en référence à la figure lOc et à l'ensemble de la description qui précède.
Les étapes de la figure lOc sont également intégrées au programme général précédemment mentionné;
sont successivement déroulées une première phase I
(préparation de l'intervention), puis une deuxième phase II, (préalablement à l'intervention proprement-dite, le patient est placé en condition d'intervention. la structure de référence SR étant liée au deuxième référentiel Rz), puis une troisième phase III
(intervention) et enfin une phase IV postérieure à
l'intervention.
En vue de préparer l'intervention, le système 20..demande au praticien (étape 5000) d'effectuer une sélection des structure élémentaires d'intérêt (par exemple os du cr2ne, ventricules, zones vasculaires, la tumeur à explorer ou à traiter, ainsi que l.es images des marques constituant dans le premier référentiel la représentation RSR).
La sélection des structures élémentaires d'intérêt est effectuée sur l'affichage des images de tomographie par exemple, appelées à partir du fichier numérisé 10.
Le système effectue ensuite, à l'étape 5001, une modélisation des structures d'intérét, ainsi que décrit précédemment. Puis, la structure non homogène ayant été
ainsi constituée en un modèle tridimensionnel RSNH
affiché sur l'écran, le praticien intervenant est alors amené à effectuer une simulation en imagerie tridimensionnelle, à l'étape 5002, en vue de définir le trajet d'intervention de l'outil 50.

l~~i'~1~~~

Au cours de la phase II, le patient étant placé en condition d'intervention et sa tête et la structure de référence SR étant liées au deuxième référentiel Rz, le praticien effectue à l'étape 5003 une recherche de la position des marques M1 à M4 constituant des points de base de la structure de référence dans le deuxième référentiel Rz, puis au cours d'une étape 5004, effectue une recherche de la position des systèmes de visée, organe de visualisation 0V. ou des outils et instruments d'intervention 50, toujours dans le deuxième référentiel Rx, afin le cas échéant de recaler ces appareils par rapport à Rz .
Puis le système effectue la validation des espaces intervention/patient et représentation en imagerie tridimensionnelle pour déterminer ensuite l'origine commune d'intervention ORI. En d'autres termes, le transfert matriciel de référentiel décrit plus haut est complété par les translations d'origines nécessaires (origines 01 et 02 recalées sur ORI).
Cette opération est effectuée comme décrit précédemment.
La phase III correspond à l'intervention, au cours de laquelle le système effectue à l'étape 5006 un couplage permanent et en temps réel entre la direction de 2S pointage de l'organe actif 50, et ou de la direction de pointage de l'organe de visée OV (et le cas échéant du faisceau Laser), avec la direction de pointage td'observation) simulée en imagerie tridi.mensi.onnelle sur le moyen d'affichage t, et réciproquement.
A l'étape suivante 5007, on effectue le couplage des déplacements et mouvements de l'instrument d'intervention avec leurs déplacements simulés en imagerie tridimensionnelle. avec conduite de l'intervention en automatique ou en manuel.
Ainsi que noté en 5008, on peut fournir au praticien un affichage permanent des images d'origine en WO 91/04711 ,~ . . ;, y ~ ~ _ 34 - P~/FR90/00714 coupe bidimensionnelle dans des plans déterminés par rapport à l'origine ORI et à la direction d'intervention. Un tel affichage permet au praticien de suivre à tout moment le déroulement de l'intervention en temps réel et de s'assurer de la conformité de l'exécution de l'intervention par rapport à
l'intervention si7.mulée. Dans la phase IV se déroulant après l'intervention. le système effectue une sauvegarde des données, acquises au cours de l'intervention, cette sauvegarde permettant d'effectuer ensuite une comparaison en temps réel au en différé en cas d'interventions successives sur le même patient.
Par ailleurs, les données sauvegardées permettent d'effectuer une relecture des opérations réalisées avec possibilité de détailler et compléter les zones traversées par l'organe actif 50.
On a ainsi décrit un système interactif d'intervention locale particulièrement performant.
Ainsi, te système, objet de la présente invention, permet-il de représenter un modèle ne comportant que les structures essentielles de la structure non homogène, ce qui facilite le travail de préparation et de contrôle de l' i.nterventi.on par le praticien.
De plus, le système. gréce aux alorithmes utilisés et en particulier en minimisant la distorsion entre les points de base réels et leurs images dans les coupes 2D
ou les atlas, permet d'établir un couplage bidirectionnel entre l'univers réel et l'univers informatique par lequel les erreurs de-transfert sont minimisées, permettant une exploitation concrète des données d'imagerie pour asservir l'outil d'intervention.
En résumé, le système permet une utilisation médicale ineractive non seulement pour créer un modèle tridimensionnel de la structure non homogène mais également pour permettre un repérage en temps réel par raport aux structures internes et guider le praticien dans la phase d'intervention.
Plus généralement, l'invention permet d'aboutir à
un système cohérent entre : .
- les données d'imagerie bidimensionnelle (coupes scanner, atlas,...);
- la base de données tridimensionnelles;
- les données fournies par les moyens de repérage

3 dans le référentiel Rm;
- les données de coordonnées des systèmes de visée et outils d'intervention:
- l'univers réel du patient sur la table d'opération.
En c<anséquence, les possibilités offertes par le système sont, de façon non limitative, les suivantes:
- on peut représenter les outils et de leur position sur l'écran:
- la position d'un point sur l'écran peut être matérialisée sur le patient par exemple à l'aide du dispositif d'émission laser EL:
- l'orientation et le trajet d'un outil tel qu'une aiguille peut être représentée sur l'écran et matérialisée sur le patient de façon optique (émission laser) ou mécanique (positionnement du bras-guide dans lequel l'outil est guidé en translati.on):
- une image du patient, donnée par exemple par un système de prise de vues le cas échéant en relief , peut »tre superposée à la représentation tridiménsionnelle modélisée sur l'écran: on peut ainsi visualiser toute modification des parties molles externes du patient par rapport à la saisie au scanner;
- le champ de visée du chirurgien donné par un organe de visée (tel que microscope chirurgical) pouvant être référencé par rapport à Ra, la direction de v~~sualisation du modèle à l'écran peut être rendue identique à la vision réelle par l'organe de visée:

- enfin, les images tridimensionnelles, normalement affichées sur l'écran dans la description qui précède, peuvent en variante être injectées dans le microscope du praticien de manière à obtenir la superposition entre l'image réelle et la représentation du modèle.

Claims (18)

REVENDICATIONS

1. Système interactif d'intervention locale à
l'intérieur d'une zone d'une structure non homogène (SNH) à laquelle est liée une structure de référence comportant une pluralité de points de base, caractérisé en ce qu'il comprend:
- des moyens d'affichage dynamique en imagerie tridimensionnelle d'une représentation de la structure non homogène et d'une structure de référence liée à la structure non homogène, incluant des images des points de base, - des moyens pour délivrer les coordonnées des images des points de base dans le premier référentiel (Ri), - des moyens (2) de mise en position liée, par rapport à un deuxième référentiel (R2), de la structure non homogène et de la structure de référence, des moyens (3) de repérage pour délivrer les coordonnées des points de base dans le deuxième référentiel, - des moyens d'intervention (5) comportant un organe actif dont la position est déterminée par rapport au deuxième référentiel, - des moyens (9) d'élaboration d'outils de transfert de référentiel (M, N) du premier référentiel vers le deuxième référentiel et réciproquement, à partir des coordonnées des images des points de base dans le premier référentiel et des coordonnées des points de base dans le deuxième référentiel, de manière à réduire à un minimum les écarts entre les coordonnées des images des points de base dans le premier référentiel et les coordonnées des points de base exprimées dans ledit premier référentiel à l'aide desdits outils de transfert de référentiel, - des moyens pour définir par rapport au premier référentiel une origine d'intervention et une direction d'intervention simulées (ORI, ), et - des moyens de transfert de référentiel (11) utilisant lesdits outils de transfert de référentiel pour établir un couplage bi-directionnel entre l'origine d'intervention et la direction d'intervention simulées et la position de l'organe actif.

2. Système selon la revendication 1, caractérisé
en ce que les moyens d'élaboration d'outils de transfert de référentiel comprennent :
- un moyen (1002) pour créer une matrice (M) de transfert entre le premier référentiel et un premier référentiel intermédiaire basé sur les positions des images de trois points de base de la structure de référence, - un moyen (1004) pour créer une matrice (N) de transfert entre le deuxième référentiel et un deuxième référentiel intermédiaire basé sur les positions desdits trois points de base de la structure de référence, et - un moyen de validation (1005) de matrices (M, N) basées sur trois points de base et leurs images et tels que les écarts entre l'expression d'au moins un point de base additionnel dans le deuxième référentiel intermédiaire et l'expression d'au moins un point image de point de base additionnel dans le premier référentiel intermédiaire soient réduits à un minimum.

3. Système selon la revendication 1 ou 2, caractérisé en ce que les moyens d'élaboration des outils de transfert de référentiel créent en association avec les outils de transfert de référentiel des outils de prise en compte d'une incertitude résiduelle, basés sur lesdits écarts réduits au minimum, lesdits outils de prise en compte d'incertitude étant utilisables pour afficher dans la représentation au moins certains contours en tenant compte desdites incertitudes.

4. Système selon l'une des revendications 1 à 3, caractérisé en ce que lesdits moyens (1) d'affichage dynamique en imagerie tridimensionnelle comportent:
- un fichier (10) de données numérisées d'images bidimensionnelles constituées par des coupes tomographiques successives non invasives et/ou des atlas de ladite structure non homogène (SNH), - des premiers moyens de calcul (110) et de reconstitution de ladite pluralité d'images tridimensionnelles à partir des données d'images bidimensionnelles, - un écran d'affichage haute résolution (12).

5. Système selon l'une des revendications précédentes. caractérisé en ce que les moyens (3) de repérage par rapport au deuxième référentiel (R2) comprennent un palpeur tridimensionnel muni d'une pointe de touche (30), et délivrant les coordonnées (X2, Y2, Z2) de ladite pointe de touche dans ledit deuxième référentiel (R2).

6. Système selon l'une des revendications précédentes, caractérisé en ce que les moyens de repérage par rapport au deuxième référentiel comprennent un jeu de capteurs optiques ou électromagnétiques.

7. Système selon l'une des revendications 1 à 6, caractérisé en ce qu'au moins une partie des points de base de la structure de référence (SR) consistent en une pluralité de marques (M1 à Mi) positionnées sur une surface latérale de la structure non homogène.

8. Système selon la revendication 7, caractérisé
en ce que lesdites marques sont au nombre de quatre et sont distribuées sur ladite surface latérale de façon à
définir un tétraèdre sensiblement symétrique.

9. Système selon la revendication 1, caractérisé
en ce que lesdits moyens d'intervention sont constitués par:

- un bras guide (51) susceptible d'assurer l'intervention dans la zone de la structure non homogène, ledit bras étant repéré en position instantanée par rapport audit deuxième référentiel (R2), et - un organe actif d'intervention (50) dont la position est repérée par rapport audit deuxième référentiel.

10. Système selon la revendication 9, caractérisé
en ce que, dans le cas d'une intervention chirurgicale intracranienne sur le cerveau, ledit organe actif d'intervention (50) est amovible et choisi dans le groupe comprenant:
- les outils de trépanation, - les aiguilles et implants, - les têtes d'émission laser ou de radioéléments, - les systèmes de visée et de vision.

11. Système selon l'une des revendications 9 et 10, caractérisé en ce que ledit bras (51) est asservi en position par rapport au deuxième référentiel, l'organe actif d'intervention étant guidé en translation sur ledit bras par couplage via les outils de transfert de référentiel avec l'origine d'intervention (ORI) et la direction d'intervention (.DELTA.) simulées.

12. Système selon l'une des revendications 10 à
12, caractérisé en ce qu'il comprend un programme général permettant, dans le cas d'une intervention chirurgicale, d'effectuer les opérations suivantes :
- en vue de préparer l'intervention, à partir de ladite représentation en imagerie tridimensionnelle :
_ sélection par le praticien des structures élémentaires d'intérêt de la structure non homogène telles que os, ventricules, zones vasculaires, tumeur à
observer ou traiter, et des images des points de base, - modélisation des structures élémentaires d'intérêt pour définir la représentation de la structure non homogène et de la structure de référence, . simulation en imagerie tridimensionnelle des directions de pointage, trajectoires et déplacements des outils et instruments pour atteindre et assurer l'intervention sur l'une des structures élémentaires d'intérêt déterminée, - préalablement à l'intervention, le patient étant placé en condition d'intervention et la structure de référence (SR) étant liée audit deuxième référentiel (R2):
. recherche, à l'aide des moyens de repérage (3), de la position des points de base (M1 à M4) de la structure de référence (SR) dans ledit deuxième référentiel (R2), . recherche, à l'aide des moyens de repérage (3). de la position des systèmes de visée (OV) ou outils et de l'organe actif (50) dans ledit deuxième référentiel (R2), . élaboration des outils de transfert de référentiel (M, N), - pendant l'intervention, à l'aide des moyens (11) de transfert de référentiel:
couplage de la direction de pointage (.DELTA.) de l'instrument d'intervention avec la direction de pointage simulée en imagerie tridimensionnelle sur les moyens d'affichage (1), . couplage des déplacements et mouvements de l'instrument d'intervention avec leurs déplacements simulés en imagerie tridimensionnelle, . création et affichage d'images bidimensionnelles dans des plans déterminés par rapport à l'origine et à la direction d'intervention simulées, - après l'intervention:
. sauvegarde pour comparaison en temps réel ou en différé en cas d'interventions successives sur 1e même patient, relecture des opérations réalisées avec possibilité de détailler et compléter les zones traversées par l'instrument d'intervention.

13. Système selon la revendication 4, caractérisé
en ce que lesdits premiers moyens de calcul (110) et de reconstitution de ladite pluralité d'images tridimensionnelles à partir de données d'images bidimensionnelles comportent un programme constitué par un logiciel de type CAO.

14. Système selon la revendication 2, caractérisé
en ce que les moyens de transfert de référentiel comprennent:
- un premier sous-module (201) de transfert de coordonnées représentation/structure non homogène, et - un deuxième sous-module (202) de transfert de coordonnées structure non homogène/représentation.

15. Système selon la revendication 14, caractérisé
en ce que ledit premier sous-module (201) de transfert comprend:
- une procédure (2010) d'acquisition des coordonnées (XM, YM, ZM), exprimées dans le premier référentiel (R1), du point de la représentation à
transférer, par sélection sur la représentation, - une procédure (2011) de calcul des coordonnées (XP, YP, ZP) correspondantes, exprimées dans le deuxième référentiel (R2), sur la structure non homogènes par la transformation:
{YP, YP, ZP} = M * N-1 * {XM, YM, ZM}
où M * N-1 représente le produit de ta matrice M et de la matrice N inverse, et - une procédure (2012) de traitement à l'aide des coordonnées (YP, YP, ZP) par le système d'intervention pour afficher le point correspondant sur la surface de la structure non homogène (SNH) ou pour assurer l'intervention.

16. Système selon la revendication 14 ou 15, caractérisé en ce que ledit deuxième sous-module (202) de transfert comprend:
- une procédure (2020) d'acquisition des coordonnées (XP, YP, ZP), exprimées dans le deuxième référentiel (R2), du point de la structure non homogène à
transférer, - une procédure (2021) de calcul des coordonnées (XP, YP, ZP) correspondantes, exprimées dans le premier référentiel (R1), sur la représentation par la transformation:
{YM, YM, ZM} = N * M-1 * {XP, YP, ZP}
où N * M-1 représente le produit de la matrice N et de la matrice M inverse, et - une procédure (2022) d'affichage à l'aide des des coordonnées (YM, YM, ZM) dans la représentation par les moyens (1) d'affichage dynamique.

17. Système selon la revendication 1, caractérisé
en ce que les moyens de transfert de référentiel sont utilisés pour établir un couplage entre la direction de visualisation de la représentation de la structure non homogène (RSNH) sur les moyens d'affichage et la direction d'observation de la structure non homogène et de la structure de référence par l'organe actif.

18. Système selon la revendication 17, caractérisé
en ce qu'il est prévu:
- un premier module (301) de visualisation de la représentation dans une direction donnée par deux points, - un deuxième module (302) de visualisation de la représentation dans une direction donnée par un angle de site et un angle d'azimut.