Forensische Bildgebung Sensorfusion soll innere und äußere Befunde zusammenführen

Anbieter zum Thema

Universität Zürich

Fraunhofer Institut für Graphischen Datenverarbeitung

KUMAVISION AG

Prosmap · Medical Product Platform

Codialist GmbH

Eine Wunde auf der Haut, darunter im CT ein möglicher Verletzungskanal: Gehören beide Befunde zusammen? Was der Rechtsmediziner bislang durch Untersuchung und Abgleich klären muss, will ICON VirtoFusion unterstützen. Fraunhofer IGD und Universität Zürich wollen CT-, optische 3D- und multispektrale Bilddaten automatisiert verknüpfen, ihre Übereinstimmung prüfen und Unsicherheiten sichtbar machen – für eine nachvollziehbare und überprüfbare forensische Dokumentation.

Am Sektionstisch lassen sich äußere und innere Befunde direkt miteinander in Beziehung setzen. Der Rechtsmediziner sieht die Wunde auf der Haut, öffnet den Körper und kann einem Verletzungskanal ins Gewebe folgen. Bei einer virtuellen Autopsie ist das anders: Die postmortale Computertomographie (CT) zeigt Strukturen im Körperinneren, optische 3D-Verfahren erfassen die Körperoberfläche, multispektrale Bildgebung liefert zusätzliche Informationen über Gewebeveränderungen – jedes Verfahren zunächst in seinem eigenen Koordinatensystem. Was sich bei der Sektion räumlich zuordnen lässt, müssen Rechner erst zusammenführen.

Genau hier setzt ICON VirtoFusion – Correlation-Validated Sensor Fusion for Reliable Forensic Findings – an. Das Fraunhofer-Institut für Graphische Datenverarbeitung (IGD) und das Virtopsy Research Lab der Universität Zürich entwickeln eine Plattform, die Bilddaten automatisiert erfassen, kalibrieren, registrieren und miteinander verknüpfen soll. Das auf 36 Monate angelegte Projekt startete am 1. Juli 2026. Auf Zürcher Seite leitet Prof. Dr. Michael Thali das Vorhaben. VirtoFusion wird über das Fraunhofer-Programm ICON („International Cooperation and Networking“) gefördert.

Nicht noch ein Bildgebungsverfahren

Neu ist nicht die Technik, wohl aber ihre Verknüpfung. „Der wesentliche Ansatz von VirtoFusion liegt nicht in einer zusätzlichen Einzelmodalität, sondern in der automatisierten und qualitätsgesicherten Verknüpfung bestehender Verfahren“, erklärt Pedro Santos vom Fraunhofer IGD. Santos koordiniert dort den Institutsbeitrag und die technische Zusammenarbeit mit der Universität Zürich. CT-, optische 3D- und multispektrale Daten sollen nicht nur gemeinsam dargestellt, sondern auch darauf geprüft werden, ob sich ihre Informationen bestätigen, ergänzen oder widersprechen.

Vorgesehen ist dafür eine modulare Architektur mit gemeinsamer Software- und Datenplattform. Sie soll vorhandene Bildgebungssysteme koordinieren, Daten übernehmen und Verarbeitungsschritte dokumentieren. Hinzu kommen Komponenten für Integration, Kalibrierung und Erfassung. Ein neues CT-System entsteht nicht.

Für die räumliche Zuordnung setzt das Fraunhofer IGD auf einen kombinierten Ansatz aus referenzgestützter Kalibrierung und bild- bzw. oberflächenbasierter Registrierung; gemeint ist die rechnerische Überführung unterschiedlicher Datensätze in ein gemeinsames räumliches Bezugssystem. Hasan Kutlu vom Fraunhofer IGD verantwortet im Projekt wesentliche Arbeiten zur technischen Systemintegration sowie zur automatisierten Erfassung und Kalibrierung der Bilddaten. Die Datensätze sollen dabei nicht nur räumlich zusammengeführt werden: „Vorgesehen ist auch eine rechnerische Prüfung auf Übereinstimmungen, Ergänzungen und mögliche Widersprüche zwischen den Modalitäten“, sagt Kutlu.

Das ist technisch anspruchsvoll: Die Verfahren unterscheiden sich in Auflösung, Blickwinkel, Beleuchtung und physikalischer Bildinformation. Hinzu kommen Verdeckungen, schwierige Oberflächen und Veränderungen des Gewebes. Entsprechend wichtig sind eine stabile Kalibrierung und eine nachvollziehbare Qualitätskontrolle.

Genauigkeit allein reicht nicht

Wie genau zwei Datensätze übereinanderliegen müssen, lässt sich nicht mit einem universellen Grenzwert beantworten. Die Anforderungen hängen von der Größe eines Befunds und von der rechtsmedizinischen Fragestellung ab.

„Für die Zuordnung sehr kleiner Verletzungen sollte die Registrierungsgenauigkeit im Millimeterbereich liegen, damit deren räumliche Lage noch sinnvoll beurteilt und vermessen werden kann. Abweichungen im Zentimeterbereich wären für viele Anwendungen zu groß“, bemerkt Dominic Gascho vom Virtopsy Research Lab, der als Principal Investigator im Projekt zentrale Arbeiten zur Validierung der multimodalen Registrierung und zur Korrelation der Bilddaten verantwortet. Zugleich verweist er darauf, dass auch die Geometrie einer Verletzung keine feste Referenz darstellt. Haut und darunterliegendes Gewebe können schon während der Verletzungsentstehung gedehnt oder verschoben werden. Später kommen Einblutungen, postmortale Veränderungen, Lagewechsel oder eine Kompression auf der CT-Unterlage hinzu.

Damit genügt ein einzelner Genauigkeitswert nicht. Entscheidend ist auch, wie sicher die Zuordnung an einer bestimmten Stelle tatsächlich ist. „Das System sollte möglichst nicht nur zeigen, wo Datensätze übereinstimmen, sondern auch, wie zuverlässig diese Zuordnung ist“, erläutert Gascho.

Unsicherheiten werden sichtbar

VirtoFusion soll deshalb Unsicherheiten aus Aufnahme, Kalibrierung und Registrierung berücksichtigen. Hinzu kommen mögliche Abweichungen durch Sensorgrenzen, unvollständig erfasste Bereiche oder widersprüchliche Hinweise unterschiedlicher Modalitäten. Diese Informationen sollen als regionale Qualitäts- und Vertrauenshinweise dargestellt werden.

Für die automatische Qualitätsbewertung nennt Kutlu globale Fehlerkennwerte, räumlich aufgelöste Unsicherheitsinformationen und Prüfungen der modalitätsübergreifenden Konsistenz. Vorgesehen sind u. a. Unsicherheitskarten und Hinweise auf auffällige Bereiche. Das System soll außerdem auf unvollständige oder qualitativ eingeschränkte Aufnahmen hinweisen und gegebenenfalls Nachbearbeitungen anstoßen. Die fachliche Grenze bleibt jedoch eindeutig: VirtoFusion soll die Beurteilung unterstützen, nicht ersetzen. Befundung und abschließende forensische Bewertung bleiben bei den zuständigen Fachleuten.

Auch die Nachvollziehbarkeit der Verarbeitung gehört zum Konzept. Das Fraunhofer IGD und die Universität Zürich nennen als Ziel reproduzierbare und gerichtlich nachvollziehbare Grundlagen für Dokumentation und Befundung; vorgesehen sind Dokumentations- und Prüfpfade, über die sich die verwendeten Ausgangsdaten und die einzelnen Verarbeitungsschritte nachvollziehen und überprüfen lassen. Eine nachgewiesene gerichtliche Verwertbarkeit lässt sich daraus jedoch noch nicht ableiten, wird aber angestrebt.

Von der Hautwunde zum Verletzungskanal

Welchen zusätzlichen Informationswert die Verknüpfung liefern kann, erklärt Gascho am Beispiel einer penetrierenden Verletzung. Die optische 3D-Dokumentation erfasst Position, Form und Farbe der äußeren Verletzung. Multispektrale Aufnahmen können zusätzliche Informationen über Gewebeveränderungen liefern. Das CT zeigt innere Verletzungen, Frakturen, Fremdkörper oder gegebenenfalls den weiteren Verlauf eines Verletzungskanals.

In einem gemeinsamen Bezugssystem kann der untersuchende Arzt erkennen, welche äußeren und inneren Befunde zusammengehören.

Drei Bildwelten in einem Bezugssystem

Postmortale CT: Die Computertomographie bildet innere Strukturen dreidimensional ab und kann unter anderem Verletzungen, Frakturen oder Fremdkörper sichtbar machen.
Optische 3D-Dokumentation: Aus (im vorliegenden Fall) farbkalibrierten optischen Aufnahmen entsteht ein dreidimensionales Modell der Körperoberfläche. Äußere Befunde lassen sich damit räumlich dokumentieren.
Multispektrale Bildgebung: Sie liefert zusätzliche Informationen über Gewebeveränderungen aus mehreren Spektralbereichen.
Registrierung: Rechnerische Zuordnung unterschiedlicher Datensätze zu einem gemeinsamen räumlichen Koordinatensystem.
Sensorfusion: Gemeinsame Verarbeitung mehrerer Modalitäten. Bei VirtoFusion sollen deren Informationen zusätzlich auf Übereinstimmungen, Ergänzungen und mögliche Widersprüche geprüft werden.
 

Kalibrierung und Verarbeitung automatisieren

Statt die beteiligten Sensoren überwiegend einzeln zu kalibrieren, strebt VirtoFusion einen vollautomatisierten, ganzheitlichen Kalibrierprozess an. Die dafür erforderlichen Daten sollen möglichst in einem gemeinsamen Erfassungsvorgang gewonnen und anschließend gemeinsam verarbeitet werden. So können räumliche Beziehungen zwischen den Systemen von Beginn an berücksichtigt werden.

Auch die übrige technische Prozesskette soll weitgehend automatisiert werden, angefangen bei der Planung und Überwachung der Erfassung über Registrierung und Datenfusion bis zu Qualitätskontrolle, Visualisierung und Dokumentation. Heute entstehen CT-, photogrammetrische 3D- und weitere optische Daten zunächst in getrennten Systemen und Koordinatensystemen. Um sie gemeinsam auswerten zu können, müssen sie vorbereitet, importiert, ausgerichtet und kontrolliert werden.

Die Frage, ob und wie viel Zeit die Automatisierung einsparen kann, lässt sich bislang nicht gesichert beantworten. Der neue Workflow soll später quantitativ mit dem bisherigen manuellen Vorgehen hinsichtlich Bearbeitungszeit, Genauigkeit und Reproduzierbarkeit verglichen werden.

Phantome liefern die erste Referenz

Die Registrierung soll zunächst an definierten Testobjekten, sogenannten Phantomen, geprüft werden. Deren Strukturen oder Marker liegen an bekannten Positionen, sodass sich genau messen lässt, wie weit die vom System berechnete Lage von der tatsächlichen Position abweicht. Bei realen Fällen ist eine solche eindeutige Referenz meist nicht verfügbar. Dann können anatomische Landmarken, andere markante Referenzpunkte oder eine von Experten überprüfte Registrierung als Vergleich herangezogen werden. Auf diese Weise will das Team untersuchen, wie genau und robust die Methode auch unter realistischen rechtsmedizinischen Bedingungen arbeitet.

Wie viele Fälle in die praktische Validierung in Zürich eingehen werden, steht noch nicht fest. Vorgesehen sind als Kriterien räumliche Genauigkeit, Robustheit und Reproduzierbarkeit der Registrierung, die Darstellung von Unsicherheiten sowie der rechtsmedizinische Mehrwert gegenüber einer getrennten Betrachtung der Modalitäten.

Ein interdisziplinäres Advisory Board begleitet die Entwicklung. Vertreten sind unter anderem Rechtsmedizin, Radiologie, Physik, Bildgebungs- und Röntgentechnologie sowie Innovation und Technologietransfer.

Forschungsdemonstrator statt fertiges Produkt

Ziel ist es, nach 36 Monaten einen integrierten, anwendungsnahen Forschungsdemonstrator mit belastbarer Referenzarchitektur vorzulegen. Dieser soll unter praxisnahen Bedingungen erprobt und anhand forensischer Fallserien bewertet werden.

Von einem serienreifen Produkt ist VirtoFusion damit noch entfernt. Santos beschreibt das Ergebnis ausdrücklich als technische Grundlage für weitere Transfer- und Produktentwicklungsschritte. Es gehe jedoch darum, fusionierte Daten in wiederholbar hoher Qualität ohne manuelle Nachbearbeitung zu erzeugen.

Ob daraus später ein praxistaugliches System entsteht, hängt nicht allein von der Genauigkeit einzelner Registrierungen ab. Das Projekt muss auch zeigen, wie reproduzierbar sich unterschiedliche Bilddaten unter realistischen Bedingungen zusammenführen lassen und wie verlässlich Unsicherheiten der Zuordnung erfasst werden.