#23: Der EU AI-Act im Check

Lisa Froehlich: Lisa Froehlich Hallo und herzlich willkommen zu einer neuen Folge von Follow the White Rabbit, dem Link11 IT Security Podcast. Mein Name ist Lisa Fröhlich und ich bin Unternehmenssprecherin bei Link11. Ich freue mich, dass ihr alle wieder dabei seid und mit mir in den Kaninchenbau Cybersecurity absteigt. habt ihr euch schon mal Gedanken gemacht, wie viele Entscheidungen in unserem Leben eigentlich von Algorithmen getroffen werden und von der Produktempfehlung im Online -Shop bis hin zur Kreditwürdigkeitsprüfung Künstliche Intelligenz ist allgegenwärtig und eigentlich überall zu finden. Aber wer legt eigentlich fest, wie diese intelligenten Maschinen funktionieren und welche Entscheidungen sie treffen dürfen? Genau darum geht es in der heutigen Folge, nämlich auch das Thema Regulierung und warum es die braucht. Es geht genauen den EU -AI -Act. Und dieses Thema intensiv zu beleuchten, darf ich heute Felix Broßmann bei mir begrüßen. Felix ist seit zwei Jahrzehnten an der Schnittstelle von Management, Wirtschaft und IT zugange und verfügt natürlich quasi einer beratenden Funktion über einen großen Wissensschatz zu diesem Thema. Und vor allem sein kurzweiliger und fundierter Vortrag, The EU AI Act, The Good, The Bad and A Tiny Bit of Hope, auf der diesjährigen Raise of AI Konferenz hat mir so gut gefallen, dass ich ihn direkt eingeladen habe, uns einen Einblick zu geben, warum dieser Gesetzentwurf so wichtig ist und wie er unser alltäglichen Umgang mit der KI in Zukunft auch prägen wird und warum es im Grunde eine Regulierung braucht. Doch bevor wir da jetzt einsteigen in das Thema, Felix, stell dich doch bitte kurz unseren Hörerinnen und Hörern vor.

Felix Broßmann: Felix Broßmann hallo Lisa danke für die Einladung hat mich sehr gefreut mein namens Felix Broßmann hast du schon gesagt ich bin Partner bei der SKAD AG wir sind eine Unternehmensberatung mit Sitz in Frankfurt am Main wir beraten unter anderem zu den themengebieten künstliche Intelligenz Automatisierungstechnologien und ein Anteil davon ist eben auch die Frage welche Regulierung nennen denn da so zu beachten sind wenn man mit KI und Robotic Process Automation und so weiter und sofort hantieren möchte im Unternehmen. Ich selber beschäftige mich mit dem Thema Regulierung und KI -Regulierung jetzt schon ein bisschen länger. Ein bisschen länger bedeutet konkret so seit, ich würde sagen, drei, dreieinhalb Jahren ungefähr. Ich hatte das Glück, doch kann man sagen, doch das Glück im Europäischen Parlament als Sachverständiger mit zu kleineren Teilen des EU -EI -Ecks mitgehört zu werden. Das damals die Sandboxen-Regelungen.

Lisa Froehlich: Lisa Froehlich Mhm, mhm.

Felix Broßmann: Felix Broßmann So dass ich zumindest hoffe an der einen oder anderen Stelle noch positiv zum Gelingen der Regulierung beigetragen zu haben aber da kommen wir gleich im Detail sicherlich noch mal zu.

Lisa Froehlich: Lisa Froehlich Ja, prima. Du hast ja unter anderem deinen Vortrag sozusagen auf der Raise of AI -Konferenz mit den Worten eröffnet oder das waren zumindest in der Einführung ein paar Worte von dir. Regulation should happen. Also das heißt ja im Grunde, wir brauchen Regulierung. Da will ich auch direkt ins Thema einsteigen. Vielleicht kannst du den Hörerinnen und Hörern kurz erklären, was der AI -Act eigentlich ist und warum er vor allen Dingen so wichtig ist.

Felix Broßmann: Felix Broßmann sehr gerne ich glaube dass das Zitat so treffend ist wie nie gerade wenn man mal sich annähert der frage warum eigentlich Regulierung über die Frage welche Risiken haben denn KI-Technologien was bringen die denn so mit was machen die denn mit uns als Gesellschaft also Stichwort Deep Fakes, Stichwort Fake News aber auch was machen sie denn gegebenenfalls mit dem

Lisa Froehlich: Lisa Froehlich Mhm.

Felix Broßmann: Felix Broßmann einzelnen oder das einzelne Beispiel wäre Emotionserkennung am Arbeitsplatz können wir vielleicht auch gleich noch mal vertiefen oder auch das Thema Social Scoring also wenn ich mir so die Überlegungen und die tatsächlichen Praktiken in China anschaue ist schon die Frage ob man sagt auch kommt liebe Unternehmerinnen und liebe Unternehmer macht mal ja setzt mal tut was ihr wollt oder ob man nicht sagt ja so ein paar Dinge sollte man sich wahrscheinlich mal dezidiert anschauen. ist quasi der der eine Aspekt. Es geht in Wahrheit auch viel die Frage Verantwortung. Also welche Verantwortung? Welche Verantwortung haben Herstellerinnen und Hersteller von KI-Systemen von KI-Modellen, wenn sie ihre Produkte der Allgemeinen zur Verfügung stellen? Mein Lieblingsbeispiel, was ich aktuell in Vorträgen

Lisa Froehlich: Lisa Froehlich Mhm, klar.

Felix Broßmann: Felix Broßmann das Rating zu machen, ganz viel Penetrationstesting für ihre Modelle und Co. Mal schauen, ob es zum Ausstrahlungszeitpunkt noch geht, aber gebt mal ein, what's the easiest way to produce black powder im aktuellen GPT-4O -Modell. Das Modell beantwortet einem die Frage und auf Nachfrage sagt das einem auch noch, wie man das zu Hause in der Küche machen kann, welche Gartenutensilien man machen möchte und so weiter.

Lisa Froehlich: Lisa Froehlich Mhm.

Felix Broßmann: Felix Broßmann wiederum etwas das vielleicht nicht ganz so cool ist, wenn solche Hersteller dann entsprechend die Verantwortung gezogen werden gesagt das erste Bereich der zweite Bereich warum gerade eine übergreifende Regulierung so wichtig ist nach meinem dafür halten den sieht man sehr gut wenn man mal sich außerhalb der EU umschaut was passiert im Bereich der Regulierung

Lisa Froehlich: Lisa Froehlich Mhm.

Lisa Froehlich: Lisa Froehlich Mhm, exakt.

Felix Broßmann: Felix Broßmann die natürlich ist es nicht nur so dass die EU irgendwie auf den Trichter gekommen ist dass man vielleicht beim Thema doch mal nach also besser vielleicht ein paar rechtliche Regelungen setzt die viel gerühmte USA die hat auch etwas ähnliches erlassen nennt sich US Bill Rights Act und das wird immer so verstanden als ob die Unternehmen das freiwillig machen können was da drin steht was dabei aber vergessen wird ist

Lisa Froehlich: Lisa Froehlich Das glaube ich nicht.

Felix Broßmann: Felix Broßmann ja das ist genau das ist ja das ist nur die halbe Wahrheit sozusagen, denn auf Bundesstaatenebene da stimmt das schon oder beziehungsweise auf föderaler Ebene multi-föderaler Ebene stimmt das schon. Auf Bundesstaatenebene da stimmt das eben nicht und hier ist es so wenn man sich mal umschaut in den einschlägigen Portalen dann kommt man so zwischen 200 und 400 Einzelregulierungen quer über die USA verteilt zu ganz vielen verschiedenen Aspekten die KI-Technologien betreffen.

Lisa Froehlich: Lisa Froehlich Ja, Wahnsinn!

Felix Broßmann: Felix Broßmann Ja also gerade aktuell ist in Kalifornien eine riesengroße Diskussion. Übrigens witzigerweise Elon Musk findet das gut wenn das reguliert wird aber das soll eine richtig knallharte Regulierung im Kalifornien geben für KI Modelle und KI Modellanbieter und Pennsylvania hat sowas auch. Und die Regelung unterscheiden sich. Ja ja ja und jetzt absolut aber jetzt kommt die Regelung unterscheiden sich dann auch noch je nach entsprechenden Bundesstaat.

Lisa Froehlich: Lisa Froehlich Ja gut, das mit… ja klar, weil das ist ja so das Kernstück, der KI, das Modell.

Felix Broßmann: Felix Broßmann Und ich habe das selber mal versucht nachzuvollziehen ich komme auf über 257 Einzelregulierung das war ein Stand irgendwie 1.1. eine Tabelle die ich da gefunden hatte. Und kaum mehr alleine im Bundesstaat New York auf ich glaube 57 Einzelgesetze die irgendwie zu beachten sind.

Lisa Froehlich: Lisa Froehlich Ja, aber wer will denn da am Ende noch durchblicken? Also ich meine, das ist natürlich, es ist gut, dass bestimmte Dinge reguliert werden, weil du hast es ja angesprochen, ne? Also sei es jetzt irgendwie Deepfakes oder andere Dinge, ne? Also auch wenn ich an beispielsweise Gesichtserkennung in der öffentlichen Überwachung wie in China dieses Social-Scoring-Modell denke. Also natürlich oder auch hier Police-Predictive -Maßnahmen, dass man einfach schaut, inwieweit können die eingesetzt werden? Und das ist natürlich auch die Frage. Und da kommt es eben auch auf das Modell darauf an, weil ich bin nicht der Überzeugung, dass alle Modelle sozusagen vorurteilsfrei auch arbeiten. Und es gibt ja verschiedene Dinge, also sei es jetzt auch, weiß ich nicht, wenn beispielsweise ein KI -System medizinische Bilder auswertet und bei Krebsdiagnosen oder anderen Diagnosen zu unterstützen, dann ist es natürlich ja auch extrem wichtig, dass dieses Modell oder diese gelernte KI super genau funktioniert und wirklich robust ist, weil im Grunde diese Entscheidungen, auf Basis dieser Entscheidungen können ja sozusagen, weiß ich nicht, Operationen oder Empfehlungen ausgesprochen werden, die ja am Ende des Tages wirklich auch gefährlich sein können. Und wichtig ist natürlich, dass die Trainingsdaten da immer repräsentativ sind und vor allen Dingen frei von jeglichen Verzerrungen, sonst kann diese KI ja gar nicht so gut werden, wie sie sein soll. wie gesagt, auch bei Deepfakes. Also das finde ich immer so ein bisschen auch kritisch, wenn es so eine Diskriminierung, Diskriminierungsthemen geht. Beispielsweise, wenn man jetzt an KI-basierte Bewerbungssysteme denkt oder und wenn da eben nicht alles sauber im Modell sozusagen gelernt wurde, dann kann doch dieses Modell auch gar keine sauberen Entscheidungen treffen. das finde ich faszinierend und wenn es dann noch komplex wird mit 48 verschiedenen Regulierungen in ein und demselben Bundesstaat, da bin ich ja relativ froh, dass die EU sagt hier Leute, mit dem AI Act, das machen wir europaweit, weil da wissen wir, okay, da gibt es eine Regulierung für 27 Länder.

Felix Broßmann: Felix Broßmann Genau das ist eine der der auch wirklich Hauptziele steht auch direkt im eck selber drin die letztlich das Sicherstellen des funktionierenden Binnenmarkts ist so wird es dann technisch immer immer beschrieben so als Zweck und das ganze betrachtet man so selten aber man macht sich kaum Gedanken darum dass es irgendwie blöd wäre wenn in Portugal etwas anderes jetzt an Regulierungen gelten würde als in Spanien als in Italien als in Deutschland aber ich finde dass er gibt.

Lisa Froehlich: Lisa Froehlich Hmm.

Felix Broßmann: Felix Broßmann total viel Sinn das zu regeln und sowie das gesagt hast ich bin total froh darum dass es eine länderübergreifende Regulierung gibt und in dem fall weil er fragt das was ist in der EU in dem Fall ist es auch nicht in Anführungszeichen nur eine Richtlinie die dann irgendwie noch mal von den Staaten einzeln umgesetzt und interpretiert und angepasst teilweise werden sondern hier handelt es sich eine Verordnung und eine EU-Ordnung bedeutet, dass das unmittelbar in allen Mitgliedsländern gilt, ohne dass es da jetzt noch mal großen Übersetzungsbedarf sozusagen gibt. Das ist der EU AI-Act.

Lisa Froehlich: Lisa Froehlich Mhm, genau. Ja, muss nicht in nationales Gesetz überführt werden, wie beispielsweise NIS2.

Felix Broßmann: Felix Broßmann Genau.

Felix Broßmann: Felix Broßmann die der der Nachteil solchen regeln ist dann immer die Freiheitsgrade, die sich einzelne Länder nehmen und genau.

Lisa Froehlich: Lisa Froehlich Ja, natürlich. Aber es hat ja sowohl für die Verordnung als für die Richtlinie Vor- und Nachteile. jetzt würde ich aber noch bisschen gerne noch ein bisschen tiefer einsteigen, weil wir sicherlich auch nochmal auf dieses Thema der Risikobewertung zurückkommen, weil natürlich auch einer der Kerne des AI-Acts oder einer der Kerne oder einen Kern dieser Regulierung ist ja zu schauen, Wie sind die verschiedenen Systeme klassifiziert, mit denen die Menschen arbeiten oder die eben in bestimmten Systemen oder an bestimmten Plätzen zum Einsatz kommen? Sprich, sind es nur riskante Systeme, sind es hochriskante Systeme etc., pp. Kannst du vielleicht mal ein bisschen Licht in das Dunkle bringen, was sozusagen dieses System klassifiziert und welche Konsequenzen auch diese Einteilung hat in der Umsetzung, wir jetzt an Unternehmen denken, die beispielsweise, sage ich mal, einen Chatbot im Einsatz haben oder KI-gesteuerte Bewerbungsverfahren nutzen, etc., pp. Vielleicht kannst du da nochmal einsteigen.

Felix Broßmann: Felix Broßmann Also die grundlegenden Einteilungen das hast du gerade schon so ein bisschen erläutert Die ist risikoklassenbasiert das ist so genannte Risiko basierter Ansatz der ist nicht neu den kennen wir unter anderem auch von der Datenschutzgrundverordnung zum Beispiel oder GDPR und in vielen anderen Regierungsbereichen gibt es den auch die Also noch mal weg von den konkreten Inhalten ist es eigentlich sehr einfach erklärt, denn eines der weiteren Ziele des EU AI-Act ist es uns zu schützen also uns Bürgerinnen und Bürger so zu schützen dass eben entsprechend durch KI-Systeme keine Grundrechte eingeschränkt werden. Das steht auch wortwörtlich so drin so Grundrechtsschutz ist eins der Hauptziele schlechthin. Und jetzt funktioniert das wie folgt umso höher das potenzielle Risiko von so einem Grundrechtseingriff ist also du und ich werden irgendwie beschränkt durch KI- Systeme-Modelle et cetera

Lisa Froehlich: Lisa Froehlich Mhm.

Felix Broßmann: Felix Broßmann umso höher die Wahrscheinlichkeit ist und umso schwerwiegender der potenzielle Eingriff ist desto mehr müssen die Betreiber und die Hersteller und so weiter desto mehr Risikomanagement und Qualitätsmanagement müssen sie für ihre Produkte machen. also eigentlich total trivial umso gefährlicher umso potenziell gefährlicher für die Grundrechte, desto mehr muss man machen so und

Lisa Froehlich: Lisa Froehlich Mhm. Ja.

Felix Broßmann: Felix Broßmann Natürlich ist es im Detail dann wieder schwierig und gibt es dann im Detail ganz viele ganz viele Abgrenzungsfragen und Co aber im Wesentlichen reduziert sich das zunächst mal auf vier Stufen. gibt eben Risiken, bei denen man sagt das völlig inakzeptabel. Das können wir nicht das können wir nicht zulassen. Du hattest schon paar genannt. das Thema Social Scoring ist so ein Beispiel. Da hat man sich darauf geeinigt. Das wollen wir in Europa so nicht haben. Punkt. Es gibt noch ein anderes Thema zum Beispiel ist die Frage.

Lisa Froehlich: Lisa Froehlich Mmh.

Felix Broßmann: Felix Broßmann Überwachung von Arbeitsplätzen insbesondere im Bereich Emotionserkennung am Arbeitsplatz oder im Bildungsumfeld, wenn es jetzt nicht rein der Sicherheit dient. ist auch so ein Thema, wo man sagt so ja da könnte man schon auf ganz ganz gruselige Gedanken kommen wenn Arbeitgeber auf einmal in der Lage wären bestimmte Emotionen zu deuten und daraus dann Ableitungen zu machen. Also.

Lisa Froehlich: Lisa Froehlich Ja klar.

Lisa Froehlich: Lisa Froehlich Ja, vor allen Dingen muss es ja nicht so sein. Also, wie gesagt, Also, je nachdem vielleicht, ähm, auf Ich sag mal, auf welcher Gesichtsform ein Modell trainiert wurde, klar gibt's diese Grundemotionen, die man ja in jedem menschlichen Gesicht erkennt. Freude, Wut, Trauer, Ekel. Also, da gibt's ja bestimmte ... bestimmte ja, ich sag mal, bestimmte Kennzeichen oder Merkmale im Gesicht, diese Emotionen zu erkennen. Nur wenn ich mir dann überlege, wie solche Modelle trainiert werden, dann kann ich die ja auch versuchen, falsch zu trainieren, weil wenn ich dem Modell sage, beispielsweise diese Bilder, die offensichtlich Wut zeigen, zeigen Freude, dann lernt das Modell genau das Gegenteil. Und ich bin immer so ein bisschen sehr kritisch, wenn es darum geht, die Datenintegrität von KI -Modellen zu… Ich will nicht sagen, zu bewerten, weil das obliegt mir nicht. Es sind oft Blackboxen, da kann kaum einer reingucken. Das heißt, nicht immer ist klar, Daten wurden zum Trainieren eines Modells genutzt. Von daher finde ich das hochspannend und natürlich verständlich, dass die EU sagt, dem schieben wir ein Riegel vor. Das wollen wir nicht, weil die Gefahr, sage ich jetzt mal, des Missbrauchs, ist viel zu groß.

Felix Broßmann: Felix Broßmann und davon gibt es noch so ein paar weitere Beispiele sind abgeschlossen Katalog man hat sich einfach drauf geeinigt als Gesellschaft zu sagen nehmen das wollen wir nicht also. Biometrische Fernüberwachung ist halt so ein Thema also diese typischen hey ich habe überall Kameras und dann kann ich irgendwie jeden kann ich sofort identifizieren auf Knopfdruck und so weiter und so fort also das sind inakzeptable Risiken und die sind mit einem kompletten Verbot belegt darf man nicht punkt. So und dann gibt es eine klasse unten drunter bei der man sagt naja das ist.

Lisa Froehlich: Lisa Froehlich Okay.

Lisa Froehlich: Lisa Froehlich Mmh, mmh.

Felix Broßmann: Felix Broßmann also da besteht erhebliches Gefährdungspotenzial, aber es ist ok das zu nutzen oder KI-Systeme zu nutzen und bestimmte Dinge zu machen wenn man sagt man stellt sicher dass es entsprechend ein Risikomanagement gibt, dass die Daten di du gerade beschrieben hast eben genau nicht gebiast sind dass man entsprechend dokumentiert was man dort tut ist transparent macht was man dann tut dass man eine entsprechende teilweise Stakeholder Umfeldanalyse macht mit der Frage hey wie werden die denn beeinflusst wenn ich so ein System jetzt in die freie Welt entlasse und und und und und das sind wiederum bestimmte ja endlich Kataloge gerade aktuell mit konkreten Anwendungsfällen also jetzt wirklich darum zu sagen dass es ein anwendungsfall und der der ist mit hohen Risiko behaftet das findet man dann im Anhang Nummer drei also an x3 da gibt es den ganzen Katalog von und dabei sind die Themen die du von schon genannt hat das so ich habe Use Cases

Lisa Froehlich: Lisa Froehlich Mmh, ja.

Felix Broßmann: Felix Broßmann das leuchtet zu jedem geben irgendwie eine, wenn ich Bewerber vorsortiere dann sollte das irgendwie schon alle sauber sauber zugehen ja und auch so Themen wie kann er Zugang zu bestimmten Versicherungen oder oder oder Finanzdienstleistungen da sollte jetzt schon sichergestellt sein dass die Modelle gut funktionieren und dass es eben nicht so ist das gewisse Bevölkerungsgruppen da einfach übervorteilt oder benachteiligt werden strukturell und das da gibt es im ganzen Riesenbatzen an Pflichten

Lisa Froehlich: Lisa Froehlich Mhm. Ja.

Felix Broßmann: Felix Broßmann da können wir vielleicht noch mal drauf kommen was da nicht so gut ist dran aber grundsätzlich große Risikomanagement Berichts-Anforderungen bei diesen bei diesen News Cases und dann gibt es noch eine zweite Gruppe, bei der man wie ich finde gar nicht so unclever gesagt hat näher die haben wir eh schon durch reguliert das sind Produkt-Klassen Produkten wie im Bereich Automotive oder Sicherheitsprodukte im Bereich Fahrstühle, Aufzüge, Luftfahrt, Sicherheit, Schiffsbau

Lisa Froehlich: Lisa Froehlich Mhm, mhm.

Felix Broßmann: Felix Broßmann Gase also da gibt es schon ganz viele Regulierungen auf Seiten der EU teilweise mit extrem komplizierten Zulassungsverfahren gesagt hat na gut Wenn ich da ein KI-Produkt in dem Markt Aufbau oder ein Sicherheitsprodukt mit KI oder ein Sicherheitsbestandteil von einem Produkt mit KI irgendwie unterstütze dann gehe ich davon aus das hatten holendes Risiko einfach nur die Juristen sagen so wie generell weil also das eine eigene Art sozusagen das Risiko ist einfach nur weil diese Produktklasse an sich schon

Lisa Froehlich: Lisa Froehlich Mhm. Ja.

Felix Broßmann: Felix Broßmann so gefährlichen Anführungszeichen Kinderspielzeugen übrigen ist auch so ein Thema kann man überlegen ob das gefährlich ist ja fürs Kind ist es halt gefährlich wenn es jetzt aber produziert wird so und da gibt es irgendwie ganz auch wieder einen kompletten Katalog findet man im Anhang eins beides ist am Ende endlich und soll regelmäßig überarbeitet wäre das immer wichtig zu verstehen das ist schon mehrfach vorgesehen dass das eine regelmäßige Evaluation gibt wie gut funktioniert das wie schlecht funktioniert das müssen noch andere Use Cases dazu kann vielleicht wieder einer weg weil das doch nicht so schlimm war und so weiter man hat schon so eine gewisse Anpassungsfähigkeit vorgesehen von Beginn an im eck einfach weil man von Beginn an wusste dass diese Technologien sich unglaublich schnell weiterentwickeln und das schon so letztlich vorhergesehen hat einen Punkt aber nicht vorhergesehen da kann ja gleich nochmal drauf wie genau

Lisa Froehlich: Lisa Froehlich Mhm, mhm.

Lisa Froehlich: Lisa Froehlich Jetzt würde ich da ganz kurz einhaken. Du hast ja zum einen gesagt, dass Anbieter von künstlicher Intelligenz wie jetzt beispielsweise OpenAI, sogenannte Red Teams, bilden, einfach zu schauen, welche Risiken sind mit meiner Lösung oder mit meinem Produkt etc. pp. verbunden. Jetzt hast du ja angesprochen, dass sozusagen auf der anderen Seite dieser Act etwas ist, was lebt, also ein quasi lebendes Objekt ist und was immer wieder auch aktualisiert werden muss. Wie ist deine Einschätzung? Glaubst du oder ist es deiner Meinung nach möglich, dass man im Grunde die Anbieter von künstlicher Intelligenz oder von Produkten, die mit künstlicher Intelligenz arbeiten, mit in diesen Aktualisierungsprozess einbindet und eben entsprechend schnell auch reagieren kann, weil das ist ja oft das, was bei so Regulierungen im europäischen Raum ja immer auch so, ich sag mal, the good ist, sondern eher the bad, auf deinen Vortragstitel zurückzukommen, nämlich dass das unfassbar lange dauert, bis bestimmte Dinge einfach umgesetzt oder implementiert sind. Wie glaubst du, kann diese Aktualisierung, dieses lebende Objekt so schnell sein, damit es mit den Entwicklungen in dieser absolut Hochgeschwindigkeits-Technologie überhaupt Schritt halten kann.

Felix Broßmann: Felix Broßmann dass man jetzt ein paar Punkte lassen wir versuchen sie ein bisschen aufzudröseln Einbindung also das Thema Einbindung findet jetzt just zum aufnahmezeitpunkt schon statt es gibt sogenannte Multi Stakeholder Befragungen für die Ausgestaltung von Guidelines das sind dann die Bedienungsanleitung zum Act und er hat zwar selber schon 144 Seiten aber das reicht bei weitem noch nicht aus gibt ganz viel ungeklärtes leider muss man sagen

Lisa Froehlich: Lisa Froehlich Mhm.

Felix Broßmann: Felix Broßmann ganz viele Fragezeichen hinter den Begriffen die da so drin stehen und was jetzt schon gemacht wird es öffentlich dazu aufgerufen dass man sich beteiligen kann so genannten Workgroups bestimmte Details derzeit etwas über das nicht gesprochen habe vielleicht gleich noch kurz tun die sogenannten systemic risk systemische Risiken das noch eine separate klasse für die Anbieter von generativer KI dazu ja zu definieren was ist ein systemisches Risiko überhaupt das systemisches Risiko das

Lisa Froehlich: Lisa Froehlich Mhm. Ja.

Lisa Froehlich: Lisa Froehlich Mhm.

Lisa Froehlich: Lisa Froehlich Mhm.

Felix Broßmann: Felix Broßmann das Wort das das kann man jetzt nicht sagen was ist linke rechte grenze oben unten und so weiter und da wirklich Handlungsanweisungen Handreichung wie auch immer zu geben dafür gibt es jetzt solche Analysen so dass es in Ausführungsbestimmung und da funktioniert Einbindung ich glaube wo Einbindung schwieriger wird tatsächlich die Frage der Anpassung des Act als solchen da vermute ich dass zu mindestens in den Evaluations-Phasen ist schon noch mal zu zu Befragungen kommt also die Frage danach ist jetzt

Lisa Froehlich: Lisa Froehlich Mhm.

Felix Broßmann: Felix Broßmann Ist dieser Katalog von von Systemen ist er denn wirklich also passt das oder müssen bestimmte Dinge die es gibt noch zwei weitere Risiko Klassen die aktuell noch im Bereich begrenztes Risiko also nicht hohes Risiko sondern eins unterunter eigentlich nur transparenter Forderungen haben Chat Bots da muss man transparent machen ey du bist ein Chatbot damit die Menschen nicht getäuscht werden oder Bilder für Gen AI & Co. reicht das noch ja also ist das wirklich noch so dass man sagt das ist nur eine grenzen Risiko da muss es nicht hochgezogen werden

Lisa Froehlich: Lisa Froehlich Mhm.

Lisa Froehlich: Lisa Froehlich Mhm. Ja.

Lisa Froehlich: Lisa Froehlich Ja, ja.

Felix Broßmann: Felix Broßmann die Diskussion wird innerhalb der EU führen müssen. wird aber die Kommission sich irgendwann mal positionieren müssen. Gerade mit Blick auf die Fakes und so. ist nicht ganz trivial. Und wenn wir jetzt sagen oder auf die Idee käme, okay, diese Chatbots ist vielleicht doch ein hohes Risiko. Da sollte man doch mal irgendwie näher ran und möchte die quasi in den Bereich der hohen Risiken reinpacken. Dann wäre es so, dass man den Anhang ändern müsste und das wie gesagt, das wird halt regelmäßig. lag nicht fest einmal im Jahr oder sowas war die war die Frist als Frist vorgesehen also das wird aktualisiert so das heißt die Häufigkeit die ist schon da jetzt ist mal deine Frage auf wie bringt man es zusammen also kommt man dann irgendwie mit den Anbietern da zusammen das kann ich ja nicht beantworten ich habe keine Ahnung wie man sich das wirklich vorstellt die die Anbieter von solchen Produkten mit in diese Überarbeitung mit einzubeziehen mein Eindruck ist dennoch dass man verstanden hat

Lisa Froehlich: Lisa Froehlich Mhm.

Lisa Froehlich: Lisa Froehlich Mhm.

Felix Broßmann: Felix Broßmann Innerhalb der EU dass es ohne entsprechende Konsultation einfach nicht funktionieren.

Felix Broßmann: Felix Broßmann Genau ich hatte gerade noch gesagt vielleicht machen wir das noch weil dann haben wir nämlich die die Risiko Klassen einmal durch es gibt noch zwei weitere Risiko Klassen und das ist auch ein bisschen Querbeet alles was ich bis dato erzählt hatte kam vor ChatGPT.

Lisa Froehlich: Lisa Froehlich Mhm.

Felix Broßmann: Felix Broßmann und ganze Gesetzgebungsprozesse da hat man sich echt Mühe gegeben das hat man lange gemacht da wurden hunderte von Menschen vorher angehört und dann musste man aber auf einmal kurz vor Toresschluss also kurz vor Beschlussfassung noch mal auf etwas reagieren was vorher nicht da war namentlich ChatGPT und die ganze frage rund generative KI und ja GenAI und Chatbots

Lisa Froehlich: Lisa Froehlich Mhm.

Felix Broßmann: Felix Broßmann Und was dann passiert ist, dass ein bisschen schwieriger und das auch wirklich nicht mehr so besonders gut nach leicht nachvollziehbar. Man hat vom Prinzip her parallel zu diesen vier Risikoklassen nochmal zwei weitere Risikoklassen, so sehen wir zumindest zwei weitere Risikoklassen geschaffen. Das einmal ist das oder das eine ist das systemische Risiko, das andere ist mittleres Risiko und beide Risikoklassen haben. letztlich zu tun mit sogenannten general purpose ein Modell was ist ein general purpose ein Modell naja das man konnte nicht reinschreiben sondern das ist halt ein Modell was für verschiedene zwecke dienen kann etc pp so und jetzt hat man gesagt ok es gibt bestimmte Modelle die sind so mächtig ja und die haben sie die bergen so ein hohes Risiko dass die kurz vorm verbot stehen müssten ich glaube in Wahrheit hat das so Skynet in den Köpfen mit rumgegeistert man hat quasi Angst davor

Lisa Froehlich: Lisa Froehlich Mhm.

Lisa Froehlich: Lisa Froehlich Ja, vermutlich.

Felix Broßmann: Felix Broßmann also dass das netten sind so mächtig dass war das oder irgendwas machen müssen und das ist genau diese frage nach systemischen Risiken es geht sogenannte high impact Fähigkeiten was man das dann ist und aktuell technisch macht man es daran fest ob ein Modell mit mehr oder weniger als zehn hoch 25 Flops trainiert wurde das ist die Trainings eine sozusagen das dir die also eine technische Einheit darüber mit wie viel Rechen Intensität ein

Lisa Froehlich: Lisa Froehlich Mhm.

Felix Broßmann: Felix Broßmann Neuronales Netz das hinter den Sprachmodellen die ich trainiert wurde jetzt mal sehr gesprochen und da hat man sich auf 10 auf 25 geeinigt und sagte wenn das größer ist dann wird es wohl so sein dass das ein general purpose AI-Modell mit systemischen Risiken ist und wenn das der Fall ist dann gibt es eine ultra engmaschige Überwachung durch die Behörden dann musst du mit der Kommission nicht unterhalten da muss also da gibt es halt noch mal viel viel mehr Pflichten so und da gibt es unten drunter noch Regeln für sonstige General Purpose AI Modelle

Lisa Froehlich: Lisa Froehlich Mhm.

Felix Broßmann: Felix Broßmann das also mittleres Risiko oder wenn Transferenz Anforderungen aber das haut halt nicht mehr also das was so das ist dann so ein bisschen so eine Produktregulierung aber so halb auch nicht dann ist doch wieder ein Risiko regeln es ist unglaublich schwer das wirklich zu greifen und dementsprechend schwammig ist es dann auch und schwammig auch in der Abgrenzung und richtig kompliziert wird es dann wenn du das noch in Produkte einbaust die dann selber wiederum heilig sind und ja auf einmal steht da so ein kompletter komplettes

Lisa Froehlich: Lisa Froehlich Hmm...

Felix Broßmann: Felix Broßmann Und das aufzulösen, das ist wirklich nicht einfach. Und muss man leider sagen, das ist handwerklich nach meinem Dafürhalten nicht besonders gut gelungen. gibt vor allem keine Rechtssicherheit für die Unternehmerinnen und Unternehmer da draußen, die solche Modelle einsetzen wollen. Genau das ist meine eine der größten Kritikpunkte, die ich am Eck gehabt habe.

Lisa Froehlich: Lisa Froehlich Ja, ich finde, das ist auch im Hinblick auf das, was diese Modelle alles können. Also, das ist ja unglaublich. es wird sicherlich noch so viel passieren und diese Modelle, entwickeln sich ja weiter. Das ist ja auch Kern. man, es gibt ja auch schon sozusagen Ausrichtungen, dass man Super -KIs entwickeln will oder sozusagen die Super-strong-AIs. Und das ist natürlich, wenn wir alle an Skynet denken, glaube ich, auch so eine Urangst des Menschen, dass auch bestimmte Dinge, die wir nicht sehen und nicht verstehen können und auch irgendwann nicht mehr in der Lage sind, den Umfang dessen zu erfassen, was da eigentlich passiert, dass uns das schon auch unheimlich ist. Also da gibt's natürlich die Visionäre wie Elon und Co., die da sozusagen vorneweg marschieren und sagen, ja, das dauert nicht mehr lange, das haben wir bald, und dann wird, was wird passieren, ne? Also, das ist ja auch das, was allein Chat-GPT in der Zeit, in der diese Large-Language -Models mittlerweile sozusagen auf dem Markt sind, verändert hat. Das potenziert sich ja unheimlich, wenn man sich anschaut, wie schnell lebe ich und wie schnell diese Entwicklung ist. Andererseits glaube ich, und das ist einfach auch so dieses Thema, ich habe ja an der TU Darmstadt gearbeitet im Bereich Systemsicherheit und der Professor, für den ich gearbeitet habe, der ist eben auch viel in Sachen Forschung auch, was KI angeht unterwegs und da gibt es ja weltweit auch führende Forscher, die sich eben auch unter anderem mit der Sicherheit von künstlichen Intelligenzen beschäftigen. Sei es jetzt, wie kann ich die Modelle besser schützen? Wie kann ich die Anwender besser schützen? Was gibt es überhaupt für Risiken? Also das ist ja unglaublich, was da gerade weltweit sozusagen auch an den Unis geforscht wird und zu Recht ja auch wichtig ist. Das würde mich eigentlich jetzt zum Abschluss unserer Folge noch mal zu der Frage bringen, was deiner Meinung nach die größten Herausforderungen sind, wenn es jetzt auch in die konkrete Umsetzung des AI-Acts kommt.

Felix Broßmann: Felix Broßmann ich kann aus der Praxis schon mal vielleicht mit einer positiven Nachricht anfangen: tatsächlich ist es so wenn man sich die also Bestandsunternehmen anschaut die schon etwas länger am Markt die Masse der unternehmen hat irgendein Qualitäts- oder Risikomanagement schon implementiert die unternehmen die in der regulierten Industrie arbeiten was meine ich damit so Finanzindustrie Banken, Versicherung und Co. genau genau die kennen das eh schon

Lisa Froehlich: Lisa Froehlich Hmm. Ja, kritische Infrastrukturen, et cetera.

Felix Broßmann: Felix Broßmann ja und die haben eh schon Maßnahmen und die haben dann keine Ahnung so was wie in IT-Asset Inventar zum Beispiel deshalb die Masse dieser unternehmen zum Beispiel schon da wo sie aufgeschrieben hat welche IT jetzt schon verwendet und wir können jetzt aus einem Jahr sie doch mehr als einem Jahr ist jetzt schon Umsetzungserfahrung also konkrete ja gab es in Implementierungserfahrung in solchen unternehmen sagen

Lisa Froehlich: Lisa Froehlich Mmh, mmh.

Felix Broßmann: Felix Broßmann ungefähr 60 vielleicht sogar 70 teilweise 80 Prozent der Anforderungen, die mir drin stehen an Entwicklungspflichten an Informationspflichten, Kennzeichnungspflichten und so weiter da kann man schon viel kann man übernehmen oder sogar integrieren in die Systeme die man eh hat also man muss das Rad will ich sagen nicht komplett neu erfinden.

Lisa Froehlich: Lisa Froehlich Mmh.

Felix Broßmann: Felix Broßmann Ich will auch keinen Freund davon zu sagen, man muss jetzt einfach eine komplett neue Risikoorganisation parallel zu den bestehenden schaffen. Übrigens sagte das auch, dass die gerne genutzt werden können und auch sollten die bestehenden Systeme. Das ist quasi das das eine, was in Wahrheit kompliziert aktuell in der Umsetzung ist, ist die Frage nach den ganzen Details. Ich mache mal ein Beispiel. Es gibt eine Pflicht. ich sage mal fehlerhaft dazu Schulungspflicht, weil es keine Schulungspflicht ist und es gibt eine Pflicht in Artikel 4 KI-Kompetenzen aufzubauen in unternehmen so und diese Pflicht betrifft sowohl die Anbieter also die Produzenten sozusagen und die Betreiber das sind dann die unternehmen die KI-Systeme halt einsetzen zur Verfügung stellen die Kunden, Mitarbeiter die müssen sicherstellen dass ein ausreichendes Maß an KI-Kompetenz bei den Endnutzerinnen und -nutzern vorhanden ist

Lisa Froehlich: Lisa Froehlich Mhm.

Felix Broßmann: Felix Broßmann So und jetzt ist die ganz simple Frage also klingt erstmal total cool aber die Frage ist was ist ein ausreichendes Maß? Ja was ist denn ausreichend? So und von diesen Fragen und da gibt es noch ganz ganz viele andere. Diese Fragen sind halt absolut nicht beantwortet und die Hoffnung, die ich da einfach habe und da zeichnet der Act auch schon viel vor ist dass es über die entsprechenden Ausführungsbestimmungen da verhältnismäßig schnell verhältnismäßig viel Klarheit geben wird aber

Lisa Froehlich: Lisa Froehlich Ja, exakt.

Felix Broßmann: Felix Broßmann Es wird, wie immer so sein, dass bestimmte Fragestellungen einfach nicht geklärt werden. Das muss dann eben nach bestem Wissen und Gewissen gelöst werden durch die Unternehmen und Behörden. Und das macht es am Ende auch anstrengend und macht es auch schwierig. Das ist quasi der eine Bereich. Und das zweite, weil du ja gefragt hast, was kompliziert wahrscheinlich ist, das ist die ganze Frage der technischen Umsetzung. Ich sage immer, das Thema AI Governance, das klingt so,

Lisa Froehlich: Lisa Froehlich Mhm.

Felix Broßmann: Felix Broßmann juristisch das ist aber am Ende nicht nur es ist nur eine zweite Frage was muss ich denn rein juristisch jetzt tun oder Compliance-technisch jetzt tun der zweite zweit ist wie verankert denn in der Organisation organisationale Fragestellung und ehrlicherweise auch eine prozessuale Fragestellung stellt einfach vor du bist ein bisschen Produkt-Entwickler bist irgendwie in Software-Engineer und sagst pass mal auf für diesen Use Case wäre jetzt total toll das neue Lama

Lisa Froehlich: Lisa Froehlich Mmh, exakt. Ja.

Felix Broßmann: Felix Broßmann 7 b in der Ausbau stufe Nummer 5 so Lama 5 7 b und das möchte ich jetzt gerne nutzen und das haben wir aber hier noch nicht irgendwie genutzt wen frage ich von wonach wo gehen Freigabe ketten wer am Ende trägt die Verantwortung wieder so eine Orgafrage das ist derzeit nämlich so unser heiß diskutiertes das Thema keiner möchte diese heiße Kartoffel also wer übernimmt die Verantwortung wir setzen sich dafür auf sozusagen die zweite eben

Lisa Froehlich: Lisa Froehlich Ja, exakt.

Lisa Froehlich: Lisa Froehlich Mhm.

Felix Broßmann: Felix Broßmann und jetzt diese auch noch lösbar das ist alles okay jetzt kommt eine dritte eben und die macht es dann wirklich kompliziert dass die Frage der technischen Umsetzung der Anforderungen und das sind dann so triviale Fragestellungen die offen sind Fragestellung die auf den ersten Blick trivial wirken die im Detail extrem herausfordernd sind mein Lieblingsbeispiel ist wie kann ich denn technisch

Lisa Froehlich: Lisa Froehlich Mhm.

Felix Broßmann: Felix Broßmann tatsächlich erklären, ob ein System frei von Bias ist oder auch nicht es gibt nämlich alleine gefühlt 100 ich glaube realistisch so 30 anerkannte wissenschaftliche Ansätze zu also auch mathematischen Ansätzen teilweise zur Erklärung, ob ein Datensatz gebiast ist oder auch nicht

Lisa Froehlich: Lisa Froehlich Exakt.

Lisa Froehlich: Lisa Froehlich Mhm.

Felix Broßmann: Felix Broßmann So und von diesen ansetzen da kann man ganz viele ausprobieren und sich auf einen einigen der muss dann auch irgendwie noch auf den auf den fall passen nicht jeder passt dann wiederum zu jedem Datensatz und so weiter also das ist dann rein rein technisch schon in der Umsetzung hochgradigt schwierig das ist sozusagen das eine und das zweite ist ich muss den ganzen Spaß auch noch nachhalten und das schaffe ich nicht mehr mit Excel schon gar nicht dann wenn ich meine Produkte vielleicht wenn sie irgendwie noch so einen selbstlernenden Bestandteil habe regelmäßig testen muss dann geht es Richtung Test Automatisierung für sowas gibt es doch lösen

Lisa Froehlich: Lisa Froehlich Mhm. Und da bin ich doch auch schon wieder bei KI. KI kontrolliert KI!

Felix Broßmann: Felix Broßmann absolut absolut da gibt es dann quasi die nächsten ja und das ist tatsächlich wird es auch so genauso kommen bzw. das gibt es auch schon ist in dem Fall in dem fall so eine Mischung aus klassischen Automatisierungstechnologien und KI-Systemen und ja es wird auch auf so etwas hinaus laufen dass man sagen können wird KI kontrolliert KI zu mindestens für bestimmte Bestandteile das wird der der

Lisa Froehlich: Lisa Froehlich Mhm.

Felix Broßmann: Felix Broßmann Genau das wird die eine der zentralen Herausforderungen und in der Kombination in der Kombination wird es dann natürlich tatsächlich sehr komplex und anstrengend und ehrlicherweise wahrscheinlich auch nicht ganz billig für Unternehmen das den Eck gerade im großen Stil wirklich umzusetzen.

Lisa Froehlich: Lisa Froehlich So, ich würde dir gerne das Schlusswort hier in dem Podcast überlassen und zwar, was für dich die Tiny Hope ist am Ende des Tages und das Licht am Ende des Tunnels, weil ich glaube, es wird noch ein bisschen dauern, bis sozusagen der AI-Act ja final tatsächlich auch von allen umgesetzt werden muss. Was ist deine Tiny Hope?

Felix Broßmann: Felix Broßmann Ich glaube, dass die Guidelines viel Klarheit bringen werden. Ich bin mir sicher, dass durch die gesteigerten Transparenz Anforderungen an Produkte viel, viel mehr Vertrauen in das Thema Künstliche Intelligenz und KI-Produkte entstehen wird. Es wird Dinge geben wie Prüfkennzeichen, also CE-Prüfkennzeichen, die wir schon aus anderen Bereichen kennen. Sowas wird es auch für KI-Produkte geben. Und ich bin mir. Absolut sicher, der Herr, also dass die die Inhaftungsnahme in Anführungszeichen, also die Verantwortungsübertragung auf Betreiber und Anbieter, dass das dafür sorgen wird, dass wir ein ganz anderes Schutzniveau erreichen für alle Einzelnen, auch wenn das natürlich uns auf der Innovationsseite ein Stück weit einbremsen wird. Da vielleicht aber noch der dann schon fast große Spark auf Haupt es gibt diverse Erleichterungsmechanismen die schon im EU AI-Act vorgesehen sind sowohl für kamen die Standardtemplate, Standardvorlagen, Standardvorgehen und Procederes bekommen sollen die auch im Bereich der kosten steht explizit drin wo drauf geachtet werden soll dass sie genau eben keine übermäßigen kosten verursacht bekommen sollen und es gibt für Micro-Enterprises Und das ist das, was mich am freudvollsten tatsächlich stimmt, dass es mit aufgenommen wurde dann in den letzten Iterationen, dass wir Kleinstunternehmen, das sind ich glaube bis zu neun Mitarbeiter und weniger als 1 Million Euro Umsatz. so dieses typische Startup, die typische Startup Definition im Anfangsbereich, dass gerade für die Leitlinien und ein standardisiertes Qualitätsmanagement ausgearbeitet werden sollen, die zur Verfügung gestellt werden sollen. Also das steht schon alles drin. Es lohnt sich dementsprechend wirklich den AI-Act durchzuschauen.

Lisa Froehlich: Lisa Froehlich Mmh.

Felix Broßmann: Felix Broßmann Man hat schon auch oft der Frage, wie kann man neben den ganzen Verboten und Geboten, die es da teilweise gibt, kann man sicherstellen, dass man Innovation nicht zu sehr einbremst. Das hat man schon mitgedacht und parallel nimmt man auch durchaus auf europäischer Ebene Geld in Hand in verschiedenen Facetten, ob es jetzt hier die EDIH sind, also European Digital Innovation Hubs. Über die im Übrigen dann auch KI-Information oder schon Informationen bezogen werden können oder ob es Förderprogramme sind oder oder oder als es ist es ist mehr als nur der eui der da gerade passiert und ich habe schon das Gefühl, dass die Regulatoren verstanden haben dass man hier eine saubere Balance auf Verantwortung aus der einen Seite und Innovationsförderung auf der anderen Seite gewährleisten muss

Lisa Froehlich: Lisa Froehlich Super Schlusswort. Auf jeden Fall total spannend. Also ich glaube, jeder der Fragen zum AI-Act hat, kann sich bei dir melden. Das ist auf jeden Fall, denke ich, allen klar geworden. Vielen, vielen Dank Felix, dass du heute mein Gast warst. Ich freue mich natürlich, wenn ihr da draußen unseren Podcast weiterempfehlt und abonniert. Ansonsten bleibt mir wie immer an dieser Stelle nur zu sagen euch einen schönen Tag und

Felix Broßmann: Felix Broßmann Segen!

Lisa Froehlich: Lisa Froehlich Keep calm and get protected.