Künstliche Intelligenz wird durch TÜV Austria künftig zertifiziert

Eine Herausforderung für wirklich gute und funktionierende KI-Systeme ist immer noch das Vorhandensein von optimalen Trainingsdaten. Thomas Doms, Principal Consultant & Head of New Digital Business Development bei TÜV Austria Group

Herr Doms, wir schreiben das Jahr 2022. Welche Akzeptanz erfährt KI inzwischen im Arbeitsalltag?

KI ist heutzutage nichts Neues mehr, es gibt sie eigentlich auch schon seit Jahrzehnten. Was sich jedoch seit einigen Jahren strikt geändert hat, ist die Tatsache, dass wir diese Technologie im Grunde genommen „demokratisieren“. Das bedeutet, KI ist nicht mehr ausschließlich irgendwo an Superrechnern einsetzbar, sondern auch im Alltag – beruflich und privat. KI ist somit breiter anwendbar.

Künstliche Intelligenz hält immer mehr Einzug in den Arbeitsalltag und muss daher entsprechend zertifiziert werden, um qualitativ hochwertiges Arbeiten zu ermöglichen. (Bild: Shutterstock, CDL Consort)

Das Whitepaper

Gemeinsam mit dem Institut für Machine Learning der Johannes Kepler Universität (JKU) Linz entwickelt TÜV Austria ein Zertifikat für Künstliche Intelligenz. Was KI alles beinhaltet und was sich mit ihr alles vereinbaren lässt, ist u. a. im neuen Whitepaper namens Trusted Artificial Intelligence: Towards Certification of Machine Learning Applications zusammengefasst.

Bild: Figure: © Shutterstock, CDL Consort

Datensätze formen KI. Je besser diese sind, umso besser ist das Ergebnis. Nun stellt sich die Frage, woher Unternehmen die für die KI benötigten korrekten Daten nehmen sollen. Nicht jeder Datensatz ist hilfreich.

Richtig ist, dass für gute KI-Systeme immer noch sehr viele Trainingsdaten zur Verfügung gestellt werden müssen, die dann wiederum Muster etc. erkennen und stetig dazulernen. Inwiefern eine KI schlussendlich differenzieren und entscheiden kann, ist vom zur Verfügung gestellten Daten-Know-how abhängig.

Es reicht daher nicht aus, dass ich beispielsweise in Papierform 20.000 Prüfberichte von einer technischen Anlage vorliegen habe. Diese Datensätze sind keineswegs in meinem Anliegen unterstützend. Was ich als Unternehmen brauche, sind die extrahierten Informationen, um das Modell zu trainieren. Das muss bei den Unternehmen intern gelöst werden.

Wie gut sind die Unternehmen in diesem Prozess?

Viele Betriebe tun sich schwer damit, Informationen strukturiert und konsistent für ein Training zur Verfügung zu stellen. Daher ist es wichtig zu verstehen, dass man eine hohe Anzahl von qualitativ guten Datensätzen benötigt, um zu verlässlichen Ergebnissen zu kommen.

Wenn man KI sinnvoll nutzen möchte und diese sich auch monetär rechnen soll, muss man sich ja auch fragen, wofür sie innerhalb der eigenen Strukturen geeignet wäre. Es stellen sich dann Fragen wie: Will ich intern etwas optimieren und falls ja, was? Will ich effizienter in meinen Verwaltungsprozessen arbeiten? Kann mich KI bei den Produktionsprozessen unterstützen? Wo kann ich etwa via Predictive Maintenance Instandhaltungskosten senken? Ohne eine klare Definition meiner Ziele bekomme ich schwer eine Antwort.

TÜV Austria arbeitet an Zertifizierungsmethoden, um Hersteller bei der Entwicklung sicherer, verlässlicher und qualitativ hochwertiger Machine-Learning-Modelle zu unterstützen und Nutzern ein Qualitätssiegel für vertrauenswürdige KI-Systeme zu bieten. Worum geht es im Detail?

Wir wollen mit unserer Zertifizierung eine verlässliche Aussage darüber treffen, wie robust und zuverlässig die jeweilige KI in der Anwendung im Betrieb arbeitet. Es handelt sich im Grunde genommen um ein Gütesiegel, welches das zu zertifizierende Unternehmen erhält und sich dadurch auch ein Stück weit am Markt absichert. Gleichzeitig kann dieser Prozess auch bedeuten, dass durch zahlreiche Updates der Softwareanwendung(en), die üblich sind, eine erneute Überprüfung notwendig ist – einerseits durch jährliche Monitoring-Audits, andererseits gegebenenfalls auch unterjährig bei größeren Updates mit anderen Trainingsdaten oder Funktionserweiterungen.

Das heißt, dass Zertifizierungen für KI schlussendlich „nie abgeschlossen“ wären?

KI-Systeme müssen regelmäßig und oft überprüft werden. Aufgrund dessen arbeiten wir auch intensiv mit Forschungs- und Wissenschaftseinrichtungen wie dem Institut für Machine Learning der Johannes Kepler Universität Linz (JKU) an entsprechenden Zertifizierungsmethoden zusammen, um Hersteller bei der Entwicklung sicherer, verlässlicher und qualitativ hochwertiger Machine-Learning-Modelle zu unterstützen.

Sie werden dabei von Prof. Sepp Hochreiter, einem renommierten Wissenschaftler und Pionier der modernen Künstlichen Intelligenz, unterstützt. Er sieht KI als richtungsweisend für die Zukunft. In welcher Phase befinden Sie sich innerhalb der erwähnten Zusammenarbeit?

Die erste Erfolgsstufe wurde erreicht. Sogenannte Supervised-Learning-Anwendungen im niedrigen bis mittelhohen Risikobereich werden heute schon zertifiziert. Wir führen bereits erste Zertifizierungsprojekte durch, wobei sich die Anwendungen vor allem im industriellen Umfeld, aber auch im Consumer-Bereich wiederfinden.

In den nächsten Phasen der Entwicklungskooperation werden die jetzigen Ansätze erweitert, um auch sicherheitskritischere Anwendungen basierend auf einem breiteren Spektrum von Machine-Learning-Methoden zertifizieren zu können. Das heißt, wir prüfen auch in Zusammenarbeit mit der JKU, ob man Zertifizierungen während eines laufenden Betriebes künftig durchführen könnte, so dass keine Anlagenstopps notwendig wären.

Werfen wir bitte noch einmal einen Blick auf die zu zertifizierenden Betriebe. Was bedeutet ein Zertifizierungsprozess des TÜV Austria für einen Applikator im Konkreten? Hätten Sie laufend Einblicke in seine internen Abläufe bzw. Daten? Wird er als Betrieb gläsern?

Wenn sich die Datenverteilung ändert und das aktuelle Machine-Learning-Modell damit nicht ordnungsgemäß funktioniert, muss ein neues Modell trainiert werden. Für dieses neue Modell ist dann eine Rezertifizierung notwendig. Hier gibt es keine Alternativen. Das ist bei Softwareprodukten üblich, dass sie sich weiterentwickeln. Als TÜV Austria prüfen wir künftig weit weg von festen Prüfrhythmen, die kontinuierliche Überwachung ist dann voraussetzend.

Wie hoch ist die Akzeptanz für diesen Prozess?

Es ist sicherlich eine Herausforderung, genauso wie den Trainingsdatensatz offenzulegen, denn in mögliche Betriebsinterna könnten somit Einblicke gewährt werden – das stimmt. Jedoch sind wir als TÜV Austria ein unabhängiger Dritter, der mit diesen Daten und Informationen vertraulich und treuhändisch umgeht.

Allerdings ist es doch so, auch wenn Betriebe lieber ohne Einblicke agieren würden, dass KI enorme Chancen bietet und Arbeitsprozesse im positiven Sinne verändert. Dass auch Zertifizierungen gewisse „neue“ Voraussetzungen benötigen, gehört zur Entwicklung der KI dazu. Wir überlegen daher laufend und gemeinsam mit der JKU, welche weiteren, optimierten Ansätze es hier gäbe.

Wann startete die Zusammenarbeit mit der JKU?

Die Zusammenarbeit begann vor eineinhalb Jahren im Rahmen einer Doktorarbeit und sie wurde jetzt erweitert. Wir brauchen bei KI die Wissenschaft, um den Stand der Technik laufend einfließen zu lassen.

Derzeit sind sogenannte Unsupervised-Learning-Modelle (unüberwachte Lernmodelle) das Ziel. Hierbei handelt es sich um eine Art von Machine Learning, die eigenständig Muster und Zusammenhänge in den Daten findet. Wir möchten damit schneller zu mehr Wissen und Erkenntnissen kommen, auch wieder im Rahmen von Dissertationen an der JKU.

Nun drängt die Zeit, denn die EU hat angekündigt, eine Regulierung der KI zu forcieren. Hierbei sollen KI-kritische Systeme definiert werden, und zwar in relativ kurzer Zeit. Inwiefern beeinflusst dies die Zertifizierungsmethoden?

In zwei Jahren brauchen wir in diesem Zusammenhang dringend Prüfgrundlagen, denn die Entscheidung der EU betrifft etwa 15 % der Anwendungen. Einen „Vorteil“, wenn man es so formulieren möchte, gibt es jedoch für Industriebetriebe. Im normalen industriellen Produktionsprozess entfallen die ethischen Komponenten, die sonst bei KI-Anwendungen mitberücksichtigt werden müssen. Das meiste ist hier durch die funktionale Sicherheit abgedeckt.

Wie läuft ein Zertifizierungsprozess ab?

Will man eine Anwendung im Unternehmen haben, in der KI eingesetzt wird und die geprüft werden soll, dann schicken wir zunächst einen Anforderungskatalog aus, in dem unsere Prüfkriterien aufgelistet werden. Dabei werden generelle Nachweise, die funktionelle Ausgestaltung des KI-Prozesses sowie auch datenschutztechnische Aspekte berücksichtigt. Zu Beginn des Prüfungsprozesses erfolgt dann ein Workshop, indem wir den Geltungsbereich mit dem KI-Anwender gemeinsam definieren – und zwar vom Aspekt des „Sollens“ bis zum „Können“. Es wäre beim Zertifizierungsprozess auch möglich das Ziel festzulegen, das die Güte der KI-Applikation in einem Prozentwert zum Ausdruck bringt.

Gibt es Unternehmen, die an den Zertifizierungs-Zugangsvoraussetzungen mangels notwendiger Unterlagen scheitern?

Es gibt einen kleinen Prozentteil, der früh feststellt, dass ihm wesentliche Grundvoraussetzungen noch fehlen und dass erst einmal an diesen Prozessen gearbeitet werden muss. Teilweise muss mehr Transparenz am Entwicklungsprozess geschaffen werden, oft fehlen Nachweise. Das Nachreichen der Unterlagen bzw. Beheben der offenen Punkte kann bis zu einige Monate andauern und erst dann gehen die Unternehmen mit uns in das Audit.

Brechen Unternehmen einen Zertifizierungsprozess auch ab?

Es gibt Betriebe, die feststellen, dass sie für einen Zertifizierungsprozess doch noch nicht so weit sind. Zudem muss man auch klar sagen, dass es – wenn auch wenige – Unternehmen gibt, die das Audit nicht schaffen, zumindest im ersten Durchlauf. Immerhin sprechen wir von über 200 Anforderungen in unserem TÜV Austria-Prüfkatalog, die erfüllt werden müssen.

Zusammenfassend könnte man festhalten: Es führt kein Weg an KI-Zertifizierungen mehr vorbei.

Der Druck wird größer, auch in Anbetracht dessen, dass die KI-Entwicklung ja bei Zuliefererunternehmen stattfindet, die oftmals kleiner aufgestellt sind. Wir sprechen hier teilweise auch von Startups, die KI-Entwicklungen liefern. Die Abnehmer dieser KI-Anwendungen möchten sich natürlich auch im Vorfeld absichern, ob der Einsatz dieser eben zertifiziert ist und Qualität liefert. Ein ähnliches Prozedere gibt es aber schon lange bei mechanischen Produkten, nun folgen eben virtuelle.

Und der Standard für die funktionale Sicherheit von Maschinen, der Maschinen eine Bauartzulassung erteilt, sieht im neuesten Entwurf bereits vor, dass Maschinen, die ein KI-Modul bereits integriert haben, auch eine Überprüfung dieser KI-Module mit berücksichtigen müssen. Das bedeutet, es wird von den Normen her schon eine Überprüfung gefordert. KI gehört eben zum Arbeitsalltag dazu.

Vielen Dank für das Gespräch!