Wissenschaftler am NCT/UCC und am CeTI der TU Dresden haben mithilfe Künstlicher Intelligenz erstmals eine Methode entwickelt, mit der Computer die Nutzung chirurgischer Instrumente vor deren Einsatz vorhersehen können.
Autonome Robotersysteme und weitere intelligente Assistenzsysteme sollen das OP-Team in Zukunft verstärkt unterstützen.
(Bild: NCT/UCC/André Wirsig)
Forscher entwickeln Methode, mit der Computer lernen können, den Einsatz chirurgischer Instrumente situationsbezogen vorherzusagen
Intelligenten Systeme als helfende Hand und Entlastung für den Arzt und das gesamte OP-Team
Im Operationssaal der Zukunft werden computerbasierte Assistenzsysteme eine deutlich größere Rolle spielen als heute. Sie sollen Arbeitsabläufe einfacher und sicherer machen. „Möglich sind solche Unterstützungsfunktionen allerdings nur, wenn Computer in der Lage sind, wichtige Ereignisse im OP zu antizipieren und zur richtigen Zeit die richtigen Informationen bereit zu stellen“, erklärt Prof. Stefanie Speidel, Leiterin der Abteilung Translationale Chirurgische Onkologie am Nationalen Centrum für Tumorerkrankungen Dresden (NCT/UCC).
Ein System, das die Nutzung bestimmter chirurgischer Instrumente vorhersehen kann, ist beispielsweise eine wichtige Voraussetzung für den Einsatz autonomer Robotersysteme, die einfache Teilaufgaben im OP wie das Absaugen von Blut übernehmen könnten. Zudem könnte es früh vor Komplikationen warnen, wenn diese mit dem Einsatz eines bestimmten Instruments verknüpft sind oder die Effizienz bei der Vorbereitung von Instrumenten erhöhen. „Wir verfolgen allerdings nicht die Vision, den Chirurgen durch einen Roboter oder andere Assistenzen zu ersetzen. Die intelligenten Systeme sollen lediglich eine helfende Hand sein und den Arzt und das gesamte OP-Team entlasten“, sagt Prof. Jürgen Weitz, geschäftsführender Direktor am NCT/UCC und Direktor der Klinik für Viszeral-, Thorax- und Gefäßchirurgie des Universitätsklinikums Dresden.
Wissenschaftlern am NCT/UCC und am Zentrum für taktiles Internet mit Mensch-Maschine-Interaktion (CeTI) ist es nun erstmals gelungen, eine Methode zu entwickeln, mit der Computer lernen können, den Einsatz chirurgischer Instrumente situationsbezogen wenige Minuten vor deren tatsächlichem Gebrauch vorherzusagen. Sie nutzten hierfür ein künstliches neuronales Netz, das als Teilgebiet der Künstlichen Intelligenz die Fähigkeit des Menschen nachahmt, anhand von Beispielen zu lernen. Den intelligenten Algorithmus versahen sie mit folgender mathematisch formulierten Aufgabenstellung: Ausgehend von der kontinuierlichen Analyse der Videobilder einer Operation soll die Nutzung bestimmter Instrumente wenige Minuten vor deren Einsatz angezeigt werden. In den dazwischenliegenden Zeitintervallen, in denen das jeweilige Instrument nicht genutzt wird, soll das neuronale Netz lernen, nicht zu reagieren. Anschließend trainierten sie das neuronale Netz mit 60 Videos von Gallenblasenentfernungen, die standardmäßig über ein optisches Instrument (Laparoskop) im Bauchraum aufgenommen wurden. In diesen Videos war das Auftreten von fünf verschiedenen Instrumenten markiert.
Geringer Aufwand verspricht Praxistauglichkeit
An 20 weiteren Videos musste das neuronale Netz dann sein Wissen ohne entsprechende Markierungen unter Beweis stellen. Die Wissenschaftler konnten hierbei zeigen, dass das System wichtige Lernfortschritte erzielt hatte und die Instrumentennutzung vielfach korrekt vorhersagen konnte. Auch im Vergleich mit anderen Herangehensweisen zeigte die Methode vielversprechende Resultate. Dies ist auch deshalb bemerkenswert, da der gewählte Ansatz im Vergleich zu anderen Herangehensweisen deutlich anwendungstauglicher ist und zugleich die Lösung komplexer Aufgaben ermöglicht.
So setzen bereits bestehende Forschungsansätze zur Vorhersage von Ereignissen aus Videodaten vielfach auf engmaschige manuelle Markierungen in den Trainingsdaten. Ein Aufwand, der bei langen Operationsvideos in der Praxis nicht leistbar wäre. Andere Methoden nehmen den Zeitpunkt des Ereignisses als gegeben an. Das Netz hat dann lediglich die Aufgabe, zwischen verschiedenen möglichen Ereignissen zu entscheiden. „Wir konnten hingegen zeigen, dass ein künstliches neuronales Netz mit spezifischen Anpassungen und einer geeignet formulierten mathematischen Aufgabenstellung in der Lage ist, mit geringem Markierungs-Aufwand sinnvolle Aussagen über die Art des zu wählenden Instruments und den zeitlichen Horizont der Anwendung zu treffen“, sagt Erstautor Dominik Rivoir von der Abteilung Translationale Chirurgische Onkologie am NCT/UCC.
Künstliche neuronale Netze in der Medizin
In vielen Bereichen unseres Lebens zählen Leistungen künstlicher neuronaler Netze heute schon selbstverständlich zu unserem Alltag, beispielsweise bei Produktempfehlungen auf Online-Verkaufsplattformen oder automatischer Bilderkennung auf Social Media. Die Netze sind in der Lage, Informationen aus Bilddaten zu extrahieren. Durch das Training mit großen Bild- oder Videomengen lernen sie, Muster in Bildern zu erkennen, um eine vorgegebene Aufgabe zu lösen.
Die Entscheidungsfindung innerhalb des mathematischen Systems ist hierbei jedoch häufig so komplex, dass sie sich vom Menschen kaum noch nachvollziehen lässt. Gerade bei medizinischen Anwendungen sollen die Entscheidungen des Computers aber möglichst transparent sein, um mögliche Fehler und potenzielle Auslöser für die Entscheidungsfindung nachvollziehen zu können.
Stand: 08.12.2025
Es ist für uns eine Selbstverständlichkeit, dass wir verantwortungsvoll mit Ihren personenbezogenen Daten umgehen. Sofern wir personenbezogene Daten von Ihnen erheben, verarbeiten wir diese unter Beachtung der geltenden Datenschutzvorschriften. Detaillierte Informationen finden Sie in unserer Datenschutzerklärung.
Einwilligung in die Verwendung von Daten zu Werbezwecken
Ich bin damit einverstanden, dass die Vogel Communications Group GmbH & Co. KG, Max-Planckstr. 7-9, 97082 Würzburg einschließlich aller mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen (im weiteren: Vogel Communications Group) meine E-Mail-Adresse für die Zusendung von redaktionellen Newslettern nutzt. Auflistungen der jeweils zugehörigen Unternehmen können hier abgerufen werden.
Der Newsletterinhalt erstreckt sich dabei auf Produkte und Dienstleistungen aller zuvor genannten Unternehmen, darunter beispielsweise Fachzeitschriften und Fachbücher, Veranstaltungen und Messen sowie veranstaltungsbezogene Produkte und Dienstleistungen, Print- und Digital-Mediaangebote und Services wie weitere (redaktionelle) Newsletter, Gewinnspiele, Lead-Kampagnen, Marktforschung im Online- und Offline-Bereich, fachspezifische Webportale und E-Learning-Angebote. Wenn auch meine persönliche Telefonnummer erhoben wurde, darf diese für die Unterbreitung von Angeboten der vorgenannten Produkte und Dienstleistungen der vorgenannten Unternehmen und Marktforschung genutzt werden.
Meine Einwilligung umfasst zudem die Verarbeitung meiner E-Mail-Adresse und Telefonnummer für den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern wie z.B. LinkedIN, Google und Meta. Hierfür darf die Vogel Communications Group die genannten Daten gehasht an Werbepartner übermitteln, die diese Daten dann nutzen, um feststellen zu können, ob ich ebenfalls Mitglied auf den besagten Werbepartnerportalen bin. Die Vogel Communications Group nutzt diese Funktion zu Zwecken des Retargeting (Upselling, Crossselling und Kundenbindung), der Generierung von sog. Lookalike Audiences zur Neukundengewinnung und als Ausschlussgrundlage für laufende Werbekampagnen. Weitere Informationen kann ich dem Abschnitt „Datenabgleich zu Marketingzwecken“ in der Datenschutzerklärung entnehmen.
Falls ich im Internet auf Portalen der Vogel Communications Group einschließlich deren mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen geschützte Inhalte abrufe, muss ich mich mit weiteren Daten für den Zugang zu diesen Inhalten registrieren. Im Gegenzug für diesen gebührenlosen Zugang zu redaktionellen Inhalten dürfen meine Daten im Sinne dieser Einwilligung für die hier genannten Zwecke verwendet werden. Dies gilt nicht für den Datenabgleich zu Marketingzwecken.
Recht auf Widerruf
Mir ist bewusst, dass ich diese Einwilligung jederzeit für die Zukunft widerrufen kann. Durch meinen Widerruf wird die Rechtmäßigkeit der aufgrund meiner Einwilligung bis zum Widerruf erfolgten Verarbeitung nicht berührt. Um meinen Widerruf zu erklären, kann ich als eine Möglichkeit das unter https://contact.vogel.de abrufbare Kontaktformular nutzen. Sofern ich einzelne von mir abonnierte Newsletter nicht mehr erhalten möchte, kann ich darüber hinaus auch den am Ende eines Newsletters eingebundenen Abmeldelink anklicken. Weitere Informationen zu meinem Widerrufsrecht und dessen Ausübung sowie zu den Folgen meines Widerrufs finde ich in der Datenschutzerklärung, Abschnitt Redaktionelle Newsletter.
Die Wissenschaftler wählten daher ein so genanntes Bayessches Netz, das es ermöglicht, für jede Teilentscheidung zu messen, mit welchem Grad an Unsicherheit das Netz die jeweilige Aussage trifft. Das ermöglicht es, Bildmerkmale zu identifizieren, die ein Netz mit so hoher Sicherheit erkennen kann, dass diese zum Beispiel als Ausgangspunkt für eine Assistenzfunktion genutzt werden können. In der vorliegenden Untersuchung interpretierte das Netz beispielsweise das Auftauchen eines Clips zum Abklemmen eines Blutgefäßes mit hoher Sicherheit als Merkmal, um den kurz darauf erfolgenden Einsatz einer Schere vorherzusagen.
Die Wissenschaftler wollen die Methode nun verfeinern und das neuronale Netz mit weiteren Datensätzen füttern. Ein Fokus liegt auf Operationsvideos, in denen vermehrt stärkere Blutungen zu sehen sind. Anhand der Bilddaten soll das Netz noch besser lernen, wann Blutungen mittels eines speziellen Instruments abgesaugt werden müssen. Dies könnte künftig als Basis dienen, um den Einsatz eines robotergeführten Sauginstruments zeitlich zu steuern oder Komplikationen vorherzusagen.
Das Nationale Centrum für Tumorerkrankungen Dresden (NCT/UCC) ist eine gemeinsame Einrichtung des Deutschen Krebsforschungszentrums (DKFZ), des Universitätsklinikums Carl Gustav Carus Dresden, der Medizinischen Fakultät Carl Gustav Carus der TU Dresden und des Helmholtz-Zentrums Dresden-Rossendorf (HZDR).