Leitlinie „International consensus guideline for trustworthy and deployable artificial intelligence in healthcare“ des FUTURE-AI Consortium

veröffentlichende Fachgesellschaft: FUTURE-AI Consortium
Klassifikation gemäß AWMF:
Datum der Veröffentlichung: 05.02.2025
Ablaufdatum:
Quelle/Quelllink: https://doi.org/10.1136/bmj-2024-081554

Grundsätzliches

• klinische Einführung neuer KI-Lösungen aufgrund mangelnden Vertrauens und ethischer Bedenken, auch trotz großer Fortschritte in der medizinischen Forschung im Bereich der künstlichen Intelligenz, immer noch eine Herausforderung
• FUTURE-AI-Konsortium besteht aus 117 Experten aus 50 Ländern mit dem Ziel internationale Richtlinien für vertrauenswürdige KI im Gesundheitswesen zu definieren
• FUTURE-AI-Framework befasst sich mit dem gesamten KI-Lebenszyklus, vom Design & der Entwicklung bis hin zu Validierung und dem Einsatz
• kontinuierliche Risikobewertung und -minderung sind von grundlegender Bedeutung und berücksichtigen Verzerrungen, Datenvariationen und sich entwickelnde Herausforderungen während des KI-Lebenszyklus

Das FUTURE-Akronym

Anforderungscluster an vertrauenswürdige künstliche Intelligenz (KI) und Auswahl der FUTURE-AI-Leitprinzipien

Anforderungscluster	Grundprinzipien
Fairness, Vielfalt, Inklusion, Nichtdiskriminierung, unvoreingenommene KI, Gerechtigkeit	Fairness
Verallgemeinerbarkeit, Anpassungsfähigkeit, Interoperabilität, Anwendbarkeit, Universalität	Universalität
Überwachung, kontinuierliches Lernen, Rückverfolgbarkeit, Prüfung, Rechenschaftspflicht/Verantwortlichkeit	Rückverfolgbarkeit
menschenzentrierte KI, Nutzereinbindung, Benutzerfreundlichkeit, Zugänglichkeit, Effizienz	Benutzerfreundlichkeit
Robustheit, Zuverlässigkeit, Ausfallsicherheit, Sicherheit	Robustheit
Transparenz, Erklärbarkeit, Interpretierbarkeit, Verständlichkeit	Erklärbarkeit

Empfehlungen

• F – Fairness
  • mögliche Bias-Quellen in einem frühen Stadium definieren
  • Sammeln Sie Informationen über Personen- und Datenmerkmale
  • Bewertung potenzieller Biases und, falls erforderlich, Maßnahmen zur Korrektur von Verzerrungen
• U – Universalität
  • Definition der vorgesehenen klinischen Umgebungen und der umgebungsübergreifenden Variationen
  • Verwendung gemeinschaftlich definierter Standards (z. B. klinische Definitionen, technische Standards)
  • Evaluierung unter Verwendung externer Datensätze und/oder mehrerer Standorte
  • Bewertung und Nachweis der lokalen klinischen Validität
• T – Traceability (Rückverfolgbarkeit)
  • Implementierung eines Risikomanagementprozesses für den gesamten KI-Lebenszyklus
  • Dokumentation (z.B. technisch, klinisch) bereitstellen
  • Festlegung von Mechanismen zur Qualitätskontrolle der KI-Inputs und -Outputs
  • Einführung eines Systems für regelmäßige Audits und Aktualisierungen
  • Einführung eines Protokollierungssystems für die Aufzeichnung der Nutzung
  • Einrichtung von Mechanismen für die KI-Governance
• U – Usability (Benutzerfreundlichkeit)
  • frühzeitige Definition des Verwendungszwecks und der Benutzeranforderungen
  • Einrichtung von Mechanismen für die Interaktion zwischen Mensch und KI und deren Überwachung
  • Bereitstellung von Schulungsmaterialien und -aktivitäten (z. B. Tutorials, praktische Übungen)
  • Bewertung der Benutzererfahrung und -akzeptanz durch unabhängige Endbenutzer
  • Bewertung des klinischen Nutzens und der Sicherheit (z. B. Wirksamkeit, Schaden, Kosten-Nutzen-Verhältnis)
• R – Robustheit
  • frühzeitige Definition der Quellen von Datenvariationen
  • Trainieren Sie mit repräsentativen Daten aus der realen Welt
  • Bewertung und Optimierung der Robustheit gegenüber Abweichungen in der realen Welt
• E – Erklärbarkeit
  • Bedarf und Anforderungen an die Erklärbarkeit mit Endnutzer*innen definieren
  • Bewertung der Erklärbarkeit mit den Endnutzern (z. B. Korrektheit, Auswirkungen auf die Nutzer)
• weitere allgemeine Empfehlungen
  • interdisziplinäre Stakeholder während des gesamten AI-Lebenszyklus einbeziehen
  • Umsetzung von Maßnahmen zum Datenschutz und zur Datensicherheit
  • Umsetzung von Maßnahmen zur Bewältigung identifizierter KI-Risiken
  • Festlegung eines angemessenen Bewertungsplans (z. B. Datensätze, Messgrößen, Referenzmethoden)
  • Identifizierung und Einhaltung der geltenden AI-Vorschriften
  • Untersuchung und Behandlung anwendungsspezifischer ethischer Fragen
  • Untersuchung und Behandlung sozialer und gesellschaftlicher Fragen

Einbettung der FUTURE-AI Best Practices im Prozess während des gesamten Lebenszyklus der künstlichen Intelligenz (KI)