TU Berlin/HHI

Künstliche Intelligenz schummelt öfter als gedacht

| Redakteur: Julia Engelke

„Künstliche Intelligenz“ ist das Buzzword schlechthin. Aber was steckt eigentlich hinter den intelligenten Lernalgorithmen?
„Künstliche Intelligenz“ ist das Buzzword schlechthin. Aber was steckt eigentlich hinter den intelligenten Lernalgorithmen? (Bild: Pete Linforth/pixabay.com)

Wissenschaftler untersuchen, wie künstliche Intelligenz eigentlich funktioniert und kommen zu der Kenntnis, dass KI gar nicht immer so intelligent ist, wie sie tut. Und das kann, vor allem im medizinischen Einsatzbereich, durchaus gefährlich werden.

  • Analyse der Entscheidungskriterien von KI-Systemen
  • Fehlerhafte Lösungsstrategien sind risikoreich
  • Mit automatisierter Technik KI-Systeme erklärbar und sicher machen

Mithilfe von künstlicher Intelligenz werden Fabriken smart und Fahrzeuge lernen, autonom zu fahren. Mit KI werden digitale Sprachassistenten möglich und sie verbessern sogar die medizinische Diagnostik. Das Problem: Wie künstliche Intelligenzen zu ihren Entscheidungen kommen, bleibt vielen Wissenschaftlern verborgen. Das hat zur Folge, dass es oft unklar bleibt, ob es sich wirklich um intelligente Entscheidungen handelt oder nur um statistisch erfolgreiche Verfahren – die keineswegs intelligent sind.

KI-Schummel-Systeme zielsicher entlarven

Forscher der TU Berlin, des Fraunhofer Heinrich-Hertz-Instituts (HHI) und der Singapore University of Technology and Design sind dieser Frage nachgegangen und haben in einer bei Nature Communications veröffentlichten Arbeit das ganze „Intelligenz“-Spektrum bestehender KI-Systeme mit einer speziellen, automatisierten Technologie analysiert und quantifiziert (siehe Kastentext).

Ergänzendes zum Thema
 
Die neu entwickelte Verfahren

„Diese sogenannte ,explainable AI‘ (erklärbare Künstliche Intelligenz) ist einer der wichtigsten Schritte für die praktische Anwendung und Verbreitung von KI“, erklärt Dr. Klaus-Robert Müller, Professor für Maschinelles Lernen an der TU Berlin. „Insbesondere in der medizinischen Diagnostik oder in sicherheitskritischen Systemen dürfen wir keine KI-Algorithmen mit unsicheren Problemlösungsstrategien oder sonstige KI-Schummel-Kandidaten einführen.“

Mit dem jetzt entwickelten Verfahren wurden nicht nur bestehende KI-Systeme auf die Probe gestellt, sondern diese Systeme auch quantifiziert: Vom naiven Problemlösungsverhalten, über Schummel-Strategien bis hin zu hochelaborierten „intelligenten“ strategischen Lösungsansätzen.

Der Kluge Hans: das Pferd, das rechnen konnte

Dr. Wojciech Samek, Gruppenleiter am Fraunhofer HHI: „Wir waren sehr erstaunt über die große Bandbreite der gelernten Problemlösungsstrategien. Selbst moderne KI-Systeme haben nicht immer einen aus menschlicher Perspektive sinnvollen Lösungsweg gefunden, sondern nutzten bisweilen sogenannte ‚Clever-Hans-Strategien‘.“

Der Kluge Hans war ein Pferd, das angeblich rechnen und zählen konnte und in den Jahren um 1900 als wissenschaftliche Sensation galt. Wie sich später herausstellte, beherrschte Hans nicht die Mathematik, sondern konnte in etwa 90 Prozent der Fälle die richtige Antwort aus der Reaktion des Fragestellers ableiten.

Detaillierter erklärt folgendes Video das Phänomen des Klugen Hans:

Ähnliche „Clever Hans“-Lösungsstrategien konnten Klaus-Robert Müller und Wojciech Samek mit ihren Kollegen auch bei verschiedenen KI-Systemen finden. So verfolgte ein KI-System, das vor einigen Jahren mehrere internationale Wettbewerbe zur Klassifikation von Bildern gewonnen hat, eine aus menschlicher Sicht naive Lösungsstrategie: Es klassifizierte Bilder vorwiegend anhand des Kontextes. Dabei wurden Bilder der Kategorie „Schiff“ zugeordnet, wenn viel Wasser im Bild zu sehen war. Andere Bilder wurden als „Zug“ klassifiziert, wenn Schienen vorhanden waren. Wieder andere Bilder wurden anhand des Copyright-Schriftzuges der richtigen Kategorie zugeordnet. Die eigentliche Aufgabe, nämlich Schiffe oder Züge zu erkennen, hat dieses KI-System nicht gelöst – auch wenn es die Mehrzahl der Bilder im Endeffekt korrekt klassifiziert hat.

Fehlerhafte Lösungsstrategien sind gefährlich

Diese Art von fehlerhaften Lösungsstrategien fanden sich auch bei einigen der neuesten KI-Algorithmen, den sogenannten tiefen neuronalen Netzwerken. Diese stützen ihre Klassifikationsentscheidung zum Teil auf Artefakte, die während der Präparation der Bilder entstanden und mit dem eigentlichen Bildinhalt gar nichts zu tun haben.

„Solche KI-Systeme sind für den praktischen Einsatz völlig unbrauchbar. Ihr Einsatz in der medizinischen Diagnostik oder in sicherheitskritischen Bereichen birgt sogar enorme Gefahren“, erklärt Müller. „Es ist durchaus denkbar, dass ungefähr die Hälfte der aktuell eingesetzten KI-Systeme implizit oder explizit solche ‚Clever Hans‘-Strategien nutzen. Es ist Zeit, das systematisch zu überprüfen, damit sichere KI-Systeme entwickelt werden können.“

KI-Systeme sicherer machen

Doch mit der neuen Technik wurden auch KI-Systeme identifiziert, die unerwartet „intelligente“ Strategien gelernt haben. Als Beispiele dienen unter anderem die Systeme, die gelernt haben, die Atari-Spiele „Breakout“ und „Pinball“ zu spielen. „Hier haben die KI-Systeme ganz klar das Konzept des Spiels ‚verstanden‘ und einen intelligenten Weg gefunden, zielgerichtet und risikoarm sehr viele Punkte zu sammeln. Dabei schlägt das System bisweilen Wege ein, die ein echter Spieler nicht nutzen würde“, so Wojciech Samek.

„Unsere automatisierte Technik ist Open Source und steht allen Wissenschaftlern zur Verfügung. Wir sehen unsere Arbeit als einen wichtigen ersten Schritt, KI-Systeme in Zukunft robuster, erklärbar und sicher zu machen. Denn das ist die wesentliche Voraussetzung für den Einsatz von KI überhaupt“, so Klaus-Robert Müller.

Lesen Sie auch

Künstliche Intelligenz – Medtech-Hersteller entlasten den Arzt

Nürnberg Messe / Medtec Live

Künstliche Intelligenz – Medtech-Hersteller entlasten den Arzt

06.02.19 - Wissenschaftler beschäftigen sich schon seit Jahrzehnten mit Künstlicher Intelligenz. Doch erst heute scheint die Schwelle zur weitläufigen Nutzung überschritten. Aber ist Künstliche Intelligenz in der Medizin tatsächlich der so medienwirksam gepriesene Heilsbringer für die Zukunft? Eine Bestandsaufnahme mit Beispielen aus der Praxis. lesen

Künstliche Intelligenz: Gefahr oder Heilsbringer?

Pro & Kontra

Künstliche Intelligenz: Gefahr oder Heilsbringer?

24.09.18 - Künstliche Intelligenz ist autark und lernfähig – und sie ist bereits heute nicht mehr aus der Medizin wegzudenken. Wer würde allein die riesigen Datenmengen auswerten können, die beispielsweise in der medizinischen Bildgebung anfallen? Dennoch: Viele nehmen Künstliche Intelligenz eher als Bedrohung denn als Arbeitserleichterung wahr. lesen

Weitere Meldungen aus der Medizintechnik-Branche und über Medizintechnik-Unternehmen finden Sie in unserem Themenkanal Szene.

Dieser Artikel ist zuerst erschienen auf unserem Schwesterportal www.konstruktionspraxis.vogel.de.

Kommentare werden geladen....

Diesen Artikel kommentieren

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

DER COMMUNITY-NEWSLETTER Newsletter abonnieren.
* Ich bin mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung einverstanden.
Spamschutz:
Bitte geben Sie das Ergebnis der Rechenaufgabe (Addition) ein.
copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 45810981 / Szene)