Vom Assistenzsystem zum autonomen Agenten

In den letzten Jahren haben große Sprachmodelle (Large Language Models, LLMs) und andere Formen generativer KI (GenAI) im Gesundheitswesen an Bedeutung gewonnen. Aufgrund ihres medizinischen Zwecks gelten sie häufig als Medizinprodukte und unterliegen damit spezifischen regulatorischen Anforderungen. Bisherige Entscheidungen zeigen: Systeme mit klar definierten Aufgaben sind prinzipiell zulassungsfähig.

Doch die nächste Generation von KI-Systemen – autonome Agenten – geht weit über Assistenzfunktionen hinaus. Sie sind darauf ausgelegt, komplexe, zielgerichtete Arbeitsabläufe eigenständig auszuführen. Bestehend aus mehreren vernetzten Komponenten wie Datenbanken, Bildanalyse-Tools, klinischen Leitlinien und Patientendatenmanagement, übernehmen LLMs in diesen Systemen Aufgaben wie Entscheidungsfindung, Fehlerbehandlung und die Überwachung abgeschlossener Prozesse.

„Wir erleben einen grundlegenden Wandel darin, wie KI-Tools in der Medizin eingesetzt werden können“, sagt Jakob N. Kather, Professor für Clinical Artificial Intelligence am EKFZ für Digitale Gesundheit der TUD und Onkologe am Universitätsklinikum Dresden. „Im Gegensatz zu früheren Systemen sind KI-Agenten in der Lage, komplexe klinische Arbeitsabläufe selbständig durchzuführen. Das eröffnet große Chancen für die Medizin – wirft aber auch ganz neue Fragen zu Sicherheit, Verantwortlichkeit und Regulierung auf, die wir adressieren müssen“, ergänzt er.

Neue Technologien – alte Regulierungen?

Die bestehenden regulatorischen Vorgaben für Medizinprodukte basieren auf statischen Technologien, die nach ihrer Zulassung unverändert bleiben und unter menschlicher Aufsicht agieren. Autonome KI-Agenten hingegen sind anpassungsfähig, vielseitig einsetzbar und in hohem Maße selbstständig – Eigenschaften, die sie schwer in bestehende Zulassungsmechanismen einordnen lassen.

„Um die sichere und effektive Einführung autonomer KI-Agenten im Gesundheitswesen zu ermöglichen, müssen sich regulatorische Rahmenbedingungen weiterentwickeln – weg von statischen Paradigmen. Wir benötigen eine anpassungsfähige regulatorische Aufsicht und flexible, alternative Zulassungswege“, sagt Oscar Freyer, Erstautor der Publikation und wissenschaftlicher Mitarbeiter im Team von Professor Stephen Gilbert, Leiter der Gruppe Medical Device Regulatory Science am EKFZ.

Regulatorische Innovationen: Lösungsansätze aus Dresden

Um die bestehenden Hürden zu überwinden, schlagen die Dresdner Forschenden kurz-, mittel- und langfristige Lösungen vor: Kurzfristig könnte die Ausweitung von Enforcement Discretion-Regelungen Abhilfe schaffen – dabei erkennen Behörden ein Produkt als Medizinprodukt an, verzichten aber auf bestimmte Anforderungen. Auch eine explizite Nicht-Medizinprodukt-Klassifizierung für bestimmte Systeme wäre denkbar.

Mittelfristig sehen die Autoren großes Potenzial in Voluntary Alternative Pathways (VAPs) und adaptiven regulatorischen Rahmenbedingungen. Diese würden eine dynamischere Überwachung anhand realer Leistungsdaten ermöglichen, ergänzt durch kontinuierliche Anpassung in Zusammenarbeit mit relevanten Akteuren. Auffällige Systeme könnten dabei jederzeit wieder konventionellen Zulassungsverfahren zugeführt werden.

Langfristig denken die Forschenden sogar über eine Qualifizierung analog zur ärztlichen Ausbildung nach: KI-Agenten würden eine strukturierte „Ausbildung“ durchlaufen und ihre Autonomie stufenweise nachgewiesen bekommen – je nach nachgewiesener Sicherheit und Effektivität.

Reallabore (Regulatory Sandboxes) werden ebenfalls als Testumgebung genannt, gelten jedoch aufgrund ihres hohen Ressourcenbedarfs nicht als skalierbare Lösung.

Die Autor:innen betonen, dass ohne tiefgreifende regulatorische Reformen die breite Einführung autonomer KI-Agenten kaum möglich sein wird. VAPs und adaptive Rahmenbedingungen erscheinen ihnen als vielversprechendste Wege, um die Balance zwischen Innovation und Patientensicherheit zu wahren.

Zusammenarbeit als Schlüssel

„Um das volle Potenzial autonomer KI-Agenten im Gesundheitswesen zu realisieren, sind mutige und zukunftsorientierte Reformen nötig“, sagt Stephen Gilbert, Professor für Medical Device Regulatory Science am EKFZ und Letztautor der Publikation. „Die Regulierungsbehörden müssen jetzt mit den Vorbereitungen beginnen, um in Zukunft die Patientensicherheit zu gewährleisten und klare Bedingungen zu schaffen, die sichere Innovationen ermöglichen“, fügt er hinzu.

Über das EKFZ für Digitale Gesundheit

Das Else Kröner Fresenius Zentrum für Digitale Gesundheit wurde im September 2019 an der TU Dresden und dem Universitätsklinikum Carl Gustav Carus gegründet. Gefördert mit 40 Millionen Euro durch die Else Kröner-Fresenius-Stiftung für zehn Jahre, verfolgt das EKFZ das Ziel, digitale Technologien an der Schnittstelle zwischen Forschung, Klinik und Patient:innen zu entwickeln. Im Fokus steht dabei die nachhaltige Verbesserung von Gesundheitsversorgung, medizinischer Forschung und klinischer Praxis durch Digitalisierung.

Originalpublikation:
Freyer, O., Jayabalan, S., Kather, J. N., & Gilbert, S. (2025). Overcoming regulatory barriers to the implementation of AI agents in healthcare. Nature Medicine. DOI: 10.1038/s41591-025-03841-1

Quelle: Technische Universität Dresden