France

Qualitätsmanagement Wirksamkeit auf dem Prüfstand – wie misst man ein QM-System?

Ein Gastbeitrag von Hannes Mühlenberg und Milena Sprysz*

Im Rahmen der MDR sind Medizinprodukte-Hersteller verpflichtet, ihr QM-System zu zertifizieren und einen Nachweis der Konformität zu erbringen. Doch wie überprüft man, ob das System die normativen Forderungen der ISO 13485 abdeckt? Das erklären Hannes Mühlenberg und Milena Sprysz von Adesso in einem Gastbeitrag.

Anbieter zum Thema

Bei der Datenanalyse müssen mehrere Quellen mit einbezogen werden. Viele dieser Kategorien sind je nach Unternehmen und Produkt aber nicht immer anwendbar.
Bei der Datenanalyse müssen mehrere Quellen mit einbezogen werden. Viele dieser Kategorien sind je nach Unternehmen und Produkt aber nicht immer anwendbar.
(Bild: Adesso SE)

Die Einführung und Aufrechterhaltung eines Qualitätsmanagement (QM)-Systems gehört zu den zentralen Aufgaben eines jeden Medizinprodukte-Herstellers. Besonders herausfordernd kann sich dabei die Messung und Quantifizierung von Prozessen und Produkten gestalten, gestützt auf eine umfangreiche Datenanalyse. Deshalb ist es von zentraler Bedeutung, Zweck und Machbarkeit der gesteckten Ziele zu überprüfen. Aufschluss darüber geben Qualitätskennzahlen (KPI – Key Performance Indicators). Ein KPI sollte dabei aussagekräftig, leicht zu erheben und messbar sein.

Updates zu MDR & IVDR – Expert Talks Regulatory Affairs

Wie Sie die Zulassung Ihrer medizintechnischen Produkte sicher und reibungslos umsetzen können, erfahren Sie bei den Regulatory Affairs Expert Talks. RA-Experten berichten über ihre Erfahrung bei der Umsetzung der MDR und IVDR und unterstützen Sie bei der rechtskonformen Zulassung Ihrer medizintechnischen Geräte mit wertvollen Praxis-Tipps.

Jetzt informieren

Regulatorische Anforderungen

Jeder Hersteller von Medizinprodukten muss eine Datenanalyse vorweisen – dies ist Teil der Anforderungen der ISO 13485. In Kapitel 8 der Norm findet sich konkret, welche Dateninputs dabei mindestens zu beachten sind. Neben Rückmeldungen über im Markt befindliche Produkte gehören dazu beispielsweise auch die Konformität zu Produktanforderungen. Mit der ISO 13485:2016 kamen einige neue Anforderungen wie beispielsweise die Einbeziehung von Audit-Ergebnissen hinzu.

Die Pflicht zur Datenanalyse ist Teil der ISO 13485.
Die Pflicht zur Datenanalyse ist Teil der ISO 13485.
(Bild: Adesso SE)

Entsprechend Kapitel 5.6 der Norm ist zudem die Datenanalyse von Prozessen und Produkten ein Beschäftigungsfeld des QM-Managementreviews. Somit liegt die Verantwortung für die Zahlen – oder deren Fehlen – letztendlich bei der Geschäftsleitung.

Beides sind Punkte, die routinemäßig im Rahmen von QM-System-Audits geprüft werden. Dabei werden sowohl Prozessfestlegungen zur Datenanalyse als auch die obligatorischen Aufzeichnungen begutachtet. Entsprechend der Norm soll sich zudem die Datenanalyse vorwiegend in Form dokumentierter Verbesserungs- und Korrekturmaßnahmen (CAPAs) niederschlagen.

Was ist der Gedanke dahinter? Kernidee der ISO 13485 ist bekanntlich, die Wirksamkeit des QM-Systems sicherzustellen, und das vor allem im Sinne der Produktsicherheit. Es unterscheidet sich also die Grundphilosophie erheblich von denen der auf Kundenzufriedenheit und stetige Verbesserung zugeschnittenen Ansätzen der ISO 9001 und anderer Managementsysteme.

Somit sind besonders jene Prozesse und Kenngrößen, die in Zusammenhang mit dem Produktrisikomanagement stehen, unter besonderer Beobachtung. Selbstverständlich sind damit auch weitere Berichtspflichten verknüpft – beispielsweise bei Herstellern von Medizinprodukten ab Klasse IIa des Periodic Safety Update Report (PSUR), der die Analyseergebnisse für das jeweilige Produkt mit beinhaltet.

Eine weitere Forderung der ISO 13485, die Analyse von Trends im Rahmen der Datenanalyse, entspringt ebenfalls dieser Verantwortung. Sie findet sich so nicht in anderen QM-Normen wie der ISO 9001, denn sie entstand unter anderem nach Erfahrungswerten mit vermeintlich fortschrittlichen Vollmetall-Implantaten, die erst in der langfristigen Beobachtung besonders hohe Komplikationsraten aufgrund von Metallabrieb aufwiesen. [1] Bei genauer Marktbeobachtung wären die hochschnellenden Fallzahlen früh als statistisch signifikant aufgefallen, dennoch wurden die betroffenen Hersteller erst viel zu spät auf das Dilemma aufmerksam. Ein systematisches Problem, dem die Norm in der jetzigen Form entgegenwirken soll.

Umsetzung der Norm in die Praxis

Insbesondere Start-ups, aber auch Hersteller mit sehr individuellen Projekten und Produkten, tun sich mit der Umsetzung der Norm schwer. In vielen Fällen erscheinen die Anforderungen schwierig anzuwenden: Wenige Rückmeldungen, oft ohne Sicherheitsbezug, Produkte mit niedrigem Risikoprofil (z. B. Apps) oder gar Dienstleister ganz ohne Produkte, die dennoch die ISO 13485 einführen und von Projekt zu Projekt und Kunde zu Kunde denken. Die Datenanalyse wird folglich als notwendiges Übel angesehen – mit wenig substanziellem Output.

Bei größeren Herstellern mischen Datenschutz- und Arbeitsrecht-Bedenken mit: Für Teilprozesse und Produkte sind schließlich Menschen verantwortlich, deren Leistung man an den erhobenen Zahlen bewerten könnte. In einigen Unternehmen selbstverständlich, in anderen ein Tabu. Natürlich darf dies genauso wenig eine Rolle spielen wie Kostenabwägungen, wenn es auf der anderen Seite um Leben und Tod geht. Aber es erklärt hier und dort die Zähigkeit und unerklärliche Widerstände, auf die Change-Prozesse stoßen.

Einige der Abteilungen, die aus Gewohnheit Zahlen liefern könnten – wie Sales, Marketing und Buchhaltung – interessieren wiederum den Auditor denkbar wenig. Regelmäßig entlässt die recht großzügig bemessene Audit-Session zur Datenanalyse die Beteiligten daher mit gemischten Gefühlen.

Risikobasiert denken, pragmatisch Handeln

Es sollte klar sein: Ein QM-System, das keine messbaren Aussagen über seine Wirksamkeit zulässt, befindet sich im Blindflug und wird, vor allem wenn die in Verkehr gebrachten Produkte alles andere als ungefährlich sind, der damit verbundenen Verantwortung nicht gerecht. Bestenfalls nicht erst dann ist es im Managementreview Aufgabe der Leitung, die Notbremse zu ziehen und mit der gebotenen Ernsthaftigkeit an die Analyse heranzugehen. Oder die der Auditoren, darauf hinzuwirken.

Auch wenn in der Praxis nur wenige Korrektur- und Verbesserungsmaßnahmen aus einem Datenanalyseprozess resultieren sollten, so ist er zudem nicht ohne Impact: Aufgrund der Messung und Analyse herrscht, ähnlich wie bei den Audits, eine Verbindlichkeit, ein wirksamer Druck zu konformer Handhabung der Prozesse und zur Verbesserung der Qualität und Sicherheit.

Leicht schießt man dabei auch über das Ziel hinaus: Welche Aussage über die Wirksamkeit eines QM-Systems könnte man zum Beispiel aus der Anzahl der Dokumente oder der Anforderungen eines Produktes für sich alleinstehend ableiten? Eine umfassendere Datenanalyse ist nicht verboten, doch die Wirksamkeit des QM-Systems im Sinne der ISO 13485 zeigt sich in der Leistung und Sicherheit der Produkte und in der Fähigkeit der Prozesse, dazu beizutragen. Dies kann viele Ausprägungen haben und die Norm gibt am Ende nur Kategorien vor, die mindestens betrachtet werden müssen, nicht die Granularität oder die konkreten KPIs.

Aber solange nicht noch weitere, parallel eingeführte Managementsysteme eine Analyse anderer Daten verlangen, ist eine Konzentration auf diese sicherheitsbezogenen Aspekte und die für die Produktsicherheit relevanten Prozesse zunächst empfehlenswert.

Diese Quellen sollten unbedingt einbezogen werden

Die Norm nennt einige Muss-Kategorien, die, sofern anwendbar, auf jeden Fall zu analysieren sind: Rückmeldungen aus dem Markt zum Beispiel. Das sollten nicht nur offiziell gemeldete Vorkommnisse sein, sondern Produktreklamationen oder bei Software auch App-Store-Rezensionen. Auch direkt aus der Nutzung der Produkte (datenschutzkonform) ermittelte Daten können dazu zählen. Im Sinne des Risikomanagements sollten auch Vorkommnisse möglicher Wettbewerber analysiert werden. Je näher diese technisch dem eigenen Produkt sind, umso wichtiger ist dies.

Konformität mit den Produktanforderungen heißt: Testergebnisse und aufgefallene Mängel, sowohl in der eigenen Produktprüfung als auch wiederum im Feld. Lieferanten und deren Qualität – wie die Ergebnisse von Lieferantenbewertungen, Lieferantenaudits oder Eingangsprüfungen – sind ebenfalls zu berücksichtigen, ebenso Service-Berichte, wie sie bei Wartungen oder Instandsetzungen anfallen können. Viele dieser Kategorien sind je nach Unternehmen und Produkt nicht immer anwendbar – wo sie es aber sind, ist es obligatorisch, sie zu durchleuchten.

Besonders schwierig ist die Bewertung der Wirksamkeit der Prozesse. Dabei sollten die internen Audits bereits genau dies tun. Was lange Zeit eine Best Practice war, ist nun kaum noch zu umgehen: Die Quantifizierung der jeweiligen Auditergebnisse, auch wenn sie nur Stichproben darstellen.

So sollten mögliche Nichtkonformitäten sich negativ in der prozentualen Prozesskonformität als Ergebnis des Audits niederschlagen – besonders solche, die sich auf die Qualität und Sicherheit des Produktes auswirken könnten. Dies gilt sowohl für Entwicklung als auch für Produktion und Service, aber auch für das Management der notwendigen Mitarbeiterqualifikationen.

Dennoch sind die Quellen, die für die Datenanalyse herangezogen werden sollten, stark von den Produkten und Eigenheiten des Unternehmens abhängig: Große Unternehmen können oft auf ausgefeilte Prozesse und Manpower zugreifen und sollten schon daher für ihre Medizinprodukte schnell eine Routine für die Beobachtung kritischer Prozess- und Produkteigenschaften etablieren können. Oftmals setzen sie auch auf Auswertung jahrelanger Produkt- und Vorgängerprodukt-Historien auf und beziehen hieraus neue Erkenntnisse. Allerdings fällt es ihnen oft schwer, Einschätzungen aus verschiedenen Quellen zu ihrer umfangreichen und inhomogenen Projekt- und Produktwelt zu einer Gesamtbewertung des QM-Systems zu aggregieren. Start-ups, die ihr erstes Produkt erst noch entwickeln, sollten dagegen umso stärker auf Kennzahlen aus der Entwicklung achten.

Insbesondere bei Software sind die Möglichkeiten zahlreich: Metriken über die Codequalität und technische Schulden können moderne Entwicklungsumgebungen oder Dev-Ops-Tools problemlos automatisiert ermitteln. Und gerade kleine Unternehmen können auch leichter direktes, persönliches Feedback aus dem Team, aber auch von potenziellen Benutzern mit in die QM-Analysen einbeziehen, als dies in großen Unternehmen der Fall ist.

Über Compliance hinaus

Darin liegt oft auch der Wert der Datenanalysen, insbesondere bei Low-Risk-Produkten: Agile Ausrichtung an Erkenntnissen, die ohne den vermeintlichen QM-Overhead nicht möglich gewesen wären. Mehrwert aus intelligenten, zielführenden Analysen ziehen und dabei nicht nur die Wirksamkeit und die Sicherheit, sondern nebenbei auch die Kundenzufriedenheit und die User Experience, aber auch die Effizienz ins Auge fassen.

Diese Faktoren sollten im Zentrum stehen, wenn über die Anforderungen der Norm hinaus analysiert wird. Das mag im nächsten Audit keine Extra-Punkte bringen, dennoch verbindet es das Notwendige mit dem Nützlichen.

Referenz

[1] FDA: Metal-on-Metal Hip Implants. Abgerufen am 25. Januar 2022.

Weitere Artikel zu regulatorischen Angelegenheiten finden Sie in unserem Themenkanal Regulatory Affairs.

* Die Autoren: Hannes Mühlenberg ist Senior Consultant bei Adesso. Neben Zulassungs- und Qualitätsthemen berät er zu Risikomanagement und Medical Device Security. Milena Sprysz ist Senior Consultant bei Adesso und beschäftigt sich mit der Planung und Durchführung von Validierungs- und Zertifizierungsstrategien für den Medtech- und Pharma-Bereich.

(ID:47956222)