In letzter Zeit gab es viel Aufsehen um künstliche Intelligenz, und manche spekulieren, dass wir uns der lang ersehnten KI-Revolution nähern. Dieser Hype wurde vor allem durch die jüngsten fortschrittlichen Algorithmen ausgelöst, die ChatGPT und andere sprachbezogene Modelle antreiben. Auch wenn ich der Meinung bin, dass diese Modelle noch weit von einer allgemeinen KI entfernt sind (also einer KI, die in der Lage ist, für jede Aufgabe oder jedes Problem zu lernen), steckt hinter den auf künstlicher Intelligenz basierenden Algorithmen zweifellos viel Potenzial.
Obwohl es dieses Fachgebiet schon seit langem gibt, haben sich Ansätze des Deep Machine Learning erst in jüngster Zeit (im letzten Jahrzehnt) durchgesetzt. Diese Fortschritte sind auf einige entscheidende Faktoren zurückzuführen.
In diesem Blogbeitrag geht es darum, wie man KI speziell für das Verständnis von Benutzeroberflächen im Rahmen von Barrierefreiheitstests einsetzen kann, welche Bedeutung die Integrität von Algorithmen und Daten für die Barrierefreiheit hat und wie maschinelles Lernen (maschinelles Lernen ist ein Teilgebiet der künstlichen Intelligenz, das eine Vielzahl statistischer und mathematischer Methoden nutzt) zur Vereinfachung von Barrierefreiheitstests eingesetzt werden kann.
Fortschritte im Bereich des maschinellen Lernens
Erstens hat die Zeit es den Forschern ermöglicht, Daten zu sammeln und sich dabei auch auf qualitativ hochwertige Daten zu konzentrieren. Das war einer der Schwerpunkte, auf die wir uns bei „ Deque “ konzentriert haben. Größere Datensätze erfordern eine Konsolidierung der Datenmanagementpraktiken. Im Gegenzug führen größere Datensätze und bessere Datenerhebungsmethoden zu einer besseren Leistung der Algorithmen, die auf diesen Daten trainiert werden.
Wenn Sie Ihre Datensätze erweitern, ist es wichtig, darauf zu achten, dass Sie kein Rauschen einbringen und Ihre Datenerfassung gezielt auf Bereiche ausrichten, die tatsächlich zu Verbesserungen Ihrer Algorithmen für künstliche Intelligenz (KI) führen.
Zweitens werden die Algorithmen immer ausgefeilter. Wie bereits erwähnt, gibt es das grundlegende konvolutionelle neuronale Netzwerk bereits seit den 1980er Jahren, und es handelt sich dabei, relativ gesehen, um eine recht primitive Technologie. Seitdem sind deutlich fortschrittlichere Ansätze im Bereich der Bildverarbeitung entstanden, die maßgeblich zur Leistungssteigerung der KI beigetragen haben.
Schließlich gibt es immer leistungsfähigere Hardware, auf der die neuronalen Netze trainiert werden können. Die heutigen GPUs sind sehr gut darin, große Datenmengen parallel und sehr schnell zu verarbeiten. Dank ihnen ist es sehr einfach geworden, Modelle anhand großer Datensätze zu trainieren und enorme Fortschritte zu erzielen.
ChatGPT hat in letzter Zeit für viel Aufsehen rund um das Thema KI gesorgt. Für diejenigen, die noch nichts von ChatGPT gehört haben: Es handelt sich dabei um ein sogenanntes Large Language Model (LLM). LLMs werden anhand eines unglaublich großen Datenkorpus trainiert und können daher nachfolgende Text- und Code-Sequenzen sehr effektiv vorhersagen. Sie basieren auf denselben probabilistischen Prinzipien wie andere Algorithmen. LLMs sind sehr leistungsfähig, wenn es darum geht, schnell leicht verständliche Antworten auf Eingabeaufforderungen, Code-Vervollständigungen und vieles mehr zu generieren.
Es ist wichtig zu beachten, dass ChatGPT im Hinblick auf Barrierefreiheit eigentlich nicht besonders gut funktioniert. Das liegt daran, dass es auf einem allgemeinen Korpus aus Code und Informationen aus dem Internet trainiert wurde, der – wie wir wissen – aus Sicht der Barrierefreiheit nicht besonders zuverlässig ist.
Spezialisierung auf maschinelles Lernen für Barrierefreiheit
Um das Thema Barrierefreiheit mit KI und ML anzugehen, benötigen wir ein spezielles Modell, das anhand spezieller Daten trainiert wurde. Maschinelles Lernen eignet sich besonders gut für Fälle, in denen man etwas etwas tiefer verstehen möchte, als es die Programmierung allein zulässt.
Maschinelles Lernen kann beispielsweise hilfreich sein, wenn Sie verstehen möchten, welche Funktion ein Objekt hat oder welche Bedeutung es in einer Benutzeroberfläche einnimmt. Wir nutzen maschinelles Lernen, um die Funktion eines Objekts in einer Benutzeroberfläche zu ermitteln. Dies wiederum kann uns dabei helfen, zu überprüfen, ob dessen Programmierung im Markup bestimmte Bedingungen erfüllt.
Dies ist aus verschiedenen Gründen hilfreich, da dadurch der Aufwand für vollständig manuelle Tests sowie der Wissensbedarf für das Testen reduziert und gleichzeitig die Effizienz gesteigert wird. Bei Deque gehen wir dieses spezielle Problem mithilfe verschiedener ML-Techniken an: optische Zeichenerkennung, Computer Vision und menschenzentrierte KI.
Vor einigen Jahren haben wir es uns zur Aufgabe gemacht, einen umfangreichen, qualitativ hochwertigen und auf Barrierefreiheit ausgerichteten Datensatz zu erstellen, dessen Algorithmen darauf ausgelegt sind, das Design von Benutzeroberflächen zu interpretieren. Dabei ist zu beachten, dass maschinelles Lernen eine statistische Annäherung an reale Daten darstellt. Sofern man kein sehr einfaches, sehr grundlegendes Beispiel heranziehen kann, ist es unmöglich, alles richtig zu machen.
In der obigen Grafik habe ich eine sogenannte Entscheidungsgrenze eingezeichnet. Die Entscheidungsgrenze trennt die blauen und orangefarbenen Punkte recht gut in ihre jeweiligen Klassen. Alles auf der einen Seite der Entscheidungsgrenze wird als eine Klasse betrachtet, und alles auf der anderen Seite gehört zur anderen Klasse. Sofern man jedoch keine willkürlich komplexe Entscheidungsgrenze modelliert – was die Leistung bei realen Daten, die nicht zu den Trainingsdaten gehören, tatsächlich beeinträchtigen würde –, werden einige Elemente falsch klassifiziert. Die Algorithmen und Tests, auf denen Machine-Learning-Modelle basieren, sind so konzipiert, dass sie ein gewisses Maß an Fehleranfälligkeit der Modelle berücksichtigen. Anstatt ML-Modelle als „Quelle der Wahrheit“ zu betrachten, nutzen wir sie, um Nutzer zu barrierefreiem Design zu führen.
Computer Vision und Barrierefreiheit
Bei Deque nutzen wir Computer Vision, um das Problem der semantischen Rolle anzugehen. Computer Vision ist ein Bereich der KI, der es Computern und Systemen ermöglicht, aus digitalen Bildern, Videos und anderen visuellen Eingaben aussagekräftige Informationen abzuleiten und auf der Grundlage dieser Informationen Maßnahmen zu ergreifen oder Empfehlungen auszusprechen.
DequeDie ML-Modelle des Unternehmens untersuchen eine Webseite und analysieren das visuelle Erscheinungsbild aller Elemente auf der Seite. Außerdem vergleichen sie die Elemente miteinander, um mehr Kontext zu berücksichtigen, und ermitteln so, welche Funktion die einzelnen Elemente auf einer Webseite haben und ob sie interaktiv oder strukturell sind.
Zu den strukturellen Komponenten zählen beispielsweise Überschriften, Navigationsbereiche, Listen, Tabellen usw. Zu den interaktiven Komponenten gehören Schaltflächen, Symbole, Registerkarten, Listenfelder und Eingabefelder. Da wir unsere große Nutzerbasis zur Erfassung von Daten für das maschinelle Lernen nutzen, verfügen wir über eine enorme Anzahl von Kunden und damit auch über eine enorme Anzahl von Bildschirmansichten, mit denen wir unsere Modelle trainieren können.
Hier ist ein Beispiel dafür, wofür wir Computer Vision einsetzen: Oben sehen Sie einen Screenshot einer Flugbuchungsseite mit einem Listenfeld zur Auswahl zwischen Hin- und Rückflug, Einfachflug oder Mehrstadtflug. Außerdem gibt es eine Datumsauswahl, eine Popup-Schaltfläche, ein weiteres Listenfeld zur Auswahl der Anzahl der Tickets, ein Absenden-Symbol, zwei Kontrollkästchen und ein weiteres Listenfeld für die erweiterte Suche.
DequeDas ML-System analysiert diese Webseite und generiert für jedes einzelne Element auf dieser Seite einen Begrenzungsrahmen sowie eine Einschätzung seiner Rolle. Unsere „Intelligent Guided Tests“ (IGT) in der Browser-Erweiterung „axe DevTools“ vergleichen diese Vorhersage mit dem tatsächlichen Markup. So können wir die Elemente weiter testen und sicherstellen, dass sie mit der richtigen Rolle programmiert wurden.
Die Bedeutung zuverlässiger Daten für die Barrierefreiheit
Wir setzen ein Team aus qualifizierten Experten ein, um unsere Daten zu kennzeichnen und so sicherzustellen, dass die Trainingsdaten, die wir für unsere Algorithmen verwenden, korrekt und zuverlässig sind. Dies ist besonders wichtig für die Barrierefreiheit, da man sich nicht einfach auf die Angaben im Markup verlassen kann, da diese oft Probleme hinsichtlich der semantischen Rollen enthalten. In diesem Fall setzen wir tatsächlich Mitarbeiter ein, die in Designmustern für Benutzeroberflächen geschult sind, um die Genauigkeit und Integrität unserer Daten zu überprüfen.
Menschliche Experten stellen sicher, dass die Beschriftungen und Eingaben in unsere neuronalen Netze mit dem übereinstimmen, was semantisch tatsächlich auf der Seite steht – und nicht mit dem, was im Markup enthalten ist. Dies gewährleistet eine höhere Genauigkeit unserer ML-Modelle, auch wenn die Erfassung dieser Daten oft zeitaufwändiger und kostspieliger ist. Wir möchten die Richtigkeit und Zuverlässigkeit der Datenausgaben gewährleisten.
Einsatz von KI zur Suche nach interaktiven Elementen
Eines der ersten Beispiele dafür, wie „ Deque “ dies in der Praxis einsetzt, findet sich in unserem IGT-Tool für interaktive Elemente. Unsere ML-basierten Tests für interaktive Elemente analysieren Webseiten hinsichtlich ihres visuellen Erscheinungsbilds und überprüfen, ob die semantische Rolle eines Objekts auf der Webseite mit der Einschätzung des ML übereinstimmt.
Unsere ML-Algorithmen können beispielsweise einen Screenshot einer Webseite analysieren und die Schaltflächen, Eingabefelder und andere Steuerelemente identifizieren, genau wie es ein sehender Nutzer tun würde. Anschließend wird diese Schlussfolgerung mit dem Markup verglichen, um zu überprüfen, ob die Rolle sinnvoll ist. Sobald wir glauben zu wissen, welche Rolle ein Element hat, können wir weitere Tests durchführen.
Nachfolgend finden Sie eine Liste der interaktiven Elemente, die unser Machine-Learning-System zuverlässig erkennen kann:
- Akkordeon, Anzeige, Karte, Karussell, Kontrollkästchen, Aktueller Navigationspunkt, Datumsauswahl, Symbol, Eingabefeld, Link, Listenelement, Listenfeld, Karte, Modalfenster, Navigationsleiste, Popup-Schaltfläche, Optionsfeld, Ausgewählte Registerkarte, Schieberegler, Umschalter, Registerkartenliste, Text-Schaltfläche, Nicht ausgewählter Navigationspunkt, Nicht ausgewählte Registerkarte, Video
Zu den gängigsten Objekten zählen Navigationselemente, Listenfelder, Eingabefelder, Optionsfelder, Kontrollkästchen und Textfelder.
Oben sehen Sie ein Beispiel auf der Anmeldeseite von Amazon Web Services. Oben befindet sich die Überschrift „Als IAM-Benutzer anmelden“. Anhand der Rahmen auf dem Screenshot können Sie erkennen, dass unser Machine-Learning-System alle Elemente auf dieser Seite identifiziert hat. Alle Eingabefelder, die Anmeldeschaltfläche, die Links und die Logos wurden identifiziert und korrekt klassifiziert. Beachten Sie, dass wir auch alle Eingabefelder und die ihnen zugeordneten Beschriftungen identifiziert haben.
Unser ML-Modell kann Eingaben und Eingabe-Bezeichnungen visuell miteinander verknüpfen. Mit anderen Worten: Wir müssen uns nicht auf die Angaben im Markup verlassen, um zu wissen, welche Eingaben mit welchen Eingabe-Bezeichnungen verknüpft sind.
Oben sehen Sie einen Screenshot der Walmart-Startseite. Wie Sie erkennen können, gibt es auf dieser Seite viele verschiedene interaktive und strukturelle Elemente. Unser ML hat sie alle identifiziert. Oben befindet sich ein Navigationsmenü mit mehreren Symbolen und Navigationselementen. Der Übersichtlichkeit halber wurden einige Beschriftungen weggelassen.
Interessant ist, dass es auf dieser Seite mehrere verschachtelte Darstellungstabellen oder Layouttabellen gibt. Innerhalb jeder dieser Tabellen haben wir die Karten, die Überschriften und die Bilder identifiziert. Auf einer komplexen Seite mit verschachtelten Komponenten ist unser ML in der Lage, alle vorhandenen Elemente zu identifizieren.
Oben sehen Sie die OpenSnow-Seite zu meinem persönlichen Lieblingsskigebiet, dem Mammoth Mountain. Diese Webseite enthält ein Navigationsmenü und ein Registerkartenmenü. In vielerlei Hinsicht ähneln sich diese beiden Elemente, weisen jedoch einen wichtigen Unterschied auf, und unser ML-Algorithmus ist tatsächlich in der Lage, diesen Unterschied zu erkennen.
Außerdem haben wir die Schaltfläche zum Anzeigen einer Karte, alle Überschriften, alle Listenelemente, alle Symbole, das Suchfeld oben und den Schalter unten identifiziert.
Das obige Beispiel veranschaulicht unser Tool für interaktive Elemente und zeigt, wie wir die Ergebnisse des ML-Modells konkret nutzen. Dieser Screenshot stammt vom Eastern Sierra Avalanche Center, einer gemeinnützigen Einrichtung, die täglich Lawinengefahrenprognosen veröffentlicht.
Bei der Analyse ihrer Seite mit unserem Tool für interaktive Elemente konnten wir ein kleines Problem feststellen: Es gibt ein Navigationsmenü, in dem man zwischen mehreren Optionen wählen kann. Der analysierte Navigationspunkt trägt die Bezeichnung „Unfälle“. Dieser Punkt wurde als Listenelement markiert, und die vom Tool für interaktive Elemente berechnete Rolle für dieses Element lautet ebenfalls „Listenelement“, doch unsere KI hat erkannt, dass es sich um einen Menüpunkt handelt. Hat unsere KI recht?
Anstatt dem Nutzer mitzuteilen, dass er falsch liegt, stellen wir eine Frage, um ihn zur richtigen, barrierefreien Auszeichnung zu führen. Wir geben ihm die Möglichkeit zu sagen: „Nein, eigentlich liegt Ihre KI hier falsch. Uns gefällt die von uns gewählte Option besser.“ In diesem Fall könnte man argumentieren, dass ein Menüpunkt die korrekteste Markup-Variante ist. Im Bereich der KI wird dies als „Human-Centered AI“ (HCAI) bezeichnet. Human-Centered AI ist ein aufstrebendes Fachgebiet, dessen Ziel es ist, KI-Systeme zu entwickeln, die menschliche Fähigkeiten verstärken und ergänzen, anstatt sie zu ersetzen.
Hier ist ein weiteres Beispiel für eine Seite zur Flugbuchung im Kontext unseres Tools. In diesem Beispiel befinden sich unten zwei Kontrollkästchen mit den dazugehörigen Texten „Flug hinzufügen“ und „Auto hinzufügen“. Auch hier haben wir alle Elemente auf dieser Seite identifiziert. Besonders interessant ist, dass unsere KI allein anhand der unterschiedlichen Textfarbe erkennt, welche Registerkarte ausgewählt ist.
Anstatt Objekte isoliert voneinander zu betrachten, analysiert unser ML-System diese und erweitert unser Objekterkennungsnetzwerk um ein Modul, das die Objekterkennungen im Verhältnis zueinander berücksichtigt. Dadurch können wir einige wirklich raffinierte Dinge tun, wie zum Beispiel festzustellen, welches Element die ausgewählte Registerkarte ist.
Es ist außerdem wichtig zu beachten, dass unser Tool für interaktive Elemente ein potenzielles Problem hinsichtlich der Barrierefreiheit gemeldet hat. Diese Kontrollkästchen wurden mithilfe eines div-Tags programmiert, dem keine Rolle zugewiesen wurde. Unser ML ist in der Lage, diese zu erkennen, festzustellen, dass es sich um Kontrollkästchen handelt, zu erkennen, dass keine Rolle zugewiesen wurde, und dem Nutzer anschließend die Frage zu stellen, ob eine Rolle zugewiesen werden sollte oder nicht. Es wird in diesem Fall auch vorschlagen, dass „checkbox“ die richtige Rolle ist.
Als letztes Beispiel sei die Registerkartenliste am oberen Rand dieser Webseite genannt. Dort stehen die Begriffe „Ontologien“, „Funktionen“, „Metadaten“ und „Funktionen“. Das sind meiner Meinung nach die vier Registerkarten in dieser Liste. Die zugewiesene Rolle der Registerkarte „Funktionen“ ist die einer Schaltfläche. Man könnte argumentieren, dass „Schaltfläche“ eine passende Rolle für diese Registerkarte in dieser speziellen Registerkartenliste ist, aber man könnte auch argumentieren, dass – da zu jedem Zeitpunkt nur eines dieser Elemente ausgewählt werden kann und sich der Fokus je nach Auswahl ändert – unsere KI zu Recht vorschlägt, dass hier die Markup-Rolle „Registerkarte“ verwendet werden sollte.
Auch hier sagen wir dem Nutzer nicht einfach, dass er falsch liegt, sondern stellen ihm eine Frage, die auf den Einschätzungen unserer KI basiert. Wir geben dem Nutzer die Möglichkeit zu sagen: „Nein, eure KI liegt falsch“ oder „Ja, euer Vorschlag ist richtig“. Dieser Ansatz kann euch dabei helfen, effizienter und effektiver zu einem barrierefreieren Design zu gelangen, ohne dass es aufgrund unserer ML-Erkennungen zu potenziellen Fehlalarmen kommt.
Einsatz von ML zum Verständnis der Tabellenstruktur
Maschinelles Lernen ist für Tests der digitalen Barrierefreiheit nicht nur bei interaktiven Komponenten, sondern auch bei strukturellen Komponenten von Vorteil. Wir nutzen maschinelles Lernen, um die Struktur von Tabellen zu analysieren und zu interpretieren. Die Systeme von Dequekönnen erkennen, um welche Überschriften es sich handelt und welche Tabellen-, Zeilen- und Spaltenüberschriften vorhanden sind.
Ähnlich wie bei unserem Tool für interaktive Elemente überprüfen wir, ob die visuelle Semantik der Tabellenstruktur mit der programmierten Struktur übereinstimmt. Dabei betrachten wir beispielsweise Tabellenzellen, Tabellenüberschriften usw. Wir stellen sicher, dass das, was unser ML auf der Seite erkennt, mit unserem Verständnis der programmierten Struktur übereinstimmt. Außerdem identifizieren wir weitere strukturelle Komponenten wie Layout-Tabellen, Listen, Überschriften, Eingabe-Labels und die dazugehörigen Eingabefelder.
Im obigen Beispiel ist eine Vergleichstabelle für verschiedene Skibindungen zu sehen, wobei axe DevTools Pro mit dem Tabellen-Tool geöffnet ist. Es handelt sich um eine komplexe Tabelle mit mehreren Überschriften, sowohl für Spalten als auch für Zeilen. Tatsächlich befinden sich zwei Spaltenüberschriften übereinander. Die erste Spaltenüberschrift ist hier ein Bild der Bindung, die zweite der Name der Bindung. Außerdem gibt es Überschriften wie „Bild“, „Produktbewertung“, „Verfügbarkeit“, „Preis“ usw.
Unser ML-System untersucht einen Screenshot dieser Tabelle und analysiert, um welche Überschriften und Tabellenzellen es sich seiner Meinung nach handelt. In diesem Beispiel wurden die Bilder in der ersten Zeile korrekt als Überschriften gekennzeichnet, und auch alle Spalten auf der linken Seite wurden korrekt als Überschriften gekennzeichnet, doch der Name der Bindung wurde nicht als Überschrift gekennzeichnet. Dieser wurde stattdessen als Datenzelle gekennzeichnet.
Unser ML ist in der Lage, dieses sehr komplexe Tabellenbeispiel mit mehreren Ebenen zu analysieren und festzustellen, dass es sich bei der zweiten Zeile tatsächlich um eine Kopfzeile handelt. Diese wurde zwar als Datenzelle programmiert, aber die KI hat sie als Kopfzeile identifiziert. Unser IGT fragt den Benutzer daraufhin, ob dies korrekt ist.
Besondere Herausforderungen des maschinellen Lernens bei der Interpretation von Benutzeroberflächen
Als wir dieses Projekt vor einigen Jahren starteten, gab es kaum bis gar keine früheren Arbeiten oder Forschungsergebnisse zum Einsatz von maschinellem Lernen oder Computer Vision zur Interpretation von Webseiten und Benutzeroberflächen. Der Einsatz von Computer Vision auf einer Webseite oder in einer Benutzeroberfläche bringt einige spezifische Probleme mit sich.
Beispielsweise können Benutzeroberflächen sehr dicht mit Objekten bestückt sein. Es können viele Objekte übereinander oder direkt nebeneinander angeordnet sein. Es ist wichtig, über ein Netzwerk zu verfügen, das all diese Objekte effizient verarbeiten kann.
Auch in Benutzeroberflächen gibt es Objekte mit sehr großen und sehr kleinen relativen Größen. Ein Beispiel hierfür ist ein Symbol im Vergleich zu einer Fußzeile oder einem Navigationsmenü. Der Größenunterschied zwischen diesen Objekten beträgt das Zehnfache, vielleicht sogar das Hundertfache. Es stellt eine technische Herausforderung dar, so viele Objekte unterschiedlicher Größe in einem einzigen Durchlauf effizient durch unser neuronales Netzwerk zu verarbeiten.
Dann gibt es noch die Herausforderung im Zusammenhang mit den Daten. Die Daten, die es zu Benutzeroberflächen oder zum Internet gibt, wurden nicht unter Berücksichtigung der Barrierefreiheit erhoben. Wir mussten unsere eigenen Daten erheben und sicherstellen, dass diese manuell von Personen beschriftet werden, die in der Semantik von Benutzeroberflächen geschult sind.
Das Beschriften von Trainingsdaten kann tatsächlich recht zeitaufwendig und teuer sein, da sich auf einer Seite viele Objekte befinden können und die Seiten sehr groß sein können. Ein Bildschirm kann bis zu 30 Minuten in Anspruch nehmen, bis einer unserer Experten ihn manuell beschriftet hat. Es hat viele Jahre gedauert, unseren Datensatz auf seine heutige Größe auszubauen. Es ist sehr wichtig sicherzustellen, dass wir mit dem Wachstum unseres Datensatzes keine Abstriche bei der Qualität machen, denn es ist sehr einfach, einfach eine Menge Daten von geringer Qualität hinzuzufügen, darauf zu trainieren und auf das Beste zu hoffen.
Es ist wichtig sicherzustellen, dass die beschrifteten Datenpunkte unseres Datensatzes tatsächlich zur Vielfalt unserer Daten beitragen. Wir haben gezielte Methoden zur Datenerfassung eingeführt, um sicherzustellen, dass die von uns erfassten Daten unsere Modelle verbessern, sodass unsere Investitionen in diesem Bereich zielgerichtet sind.
Ein Blick auf unseren Algorithmus
Unsere Algorithmen für das maschinelle Sehen sind einzigartig, da sie Informationen über die Beziehungen zwischen Objekten implizit kodieren. Dies erreichen wir, indem wir in unser Objekterkennungsnetzwerk ein Modul integrieren, das die erkannten Objekte im Verhältnis zueinander berücksichtigt.
Im Beispiel mit den Registerkarten wäre es unmöglich, allein anhand der Registerkarte selbst zu erkennen, ob eine davon ausgewählt ist oder nicht; dank dieses Moduls in unserem neuronalen Netzwerk können wir jedoch die Beziehungen berücksichtigen, die Objekte untereinander haben können.
In einer Benutzeroberfläche gibt es viele weitere komplexe und nuancierte Beispiele. So befindet sich beispielsweise die Suchfunktion auf dem Symbol neben dem Eingabefeld im Navigationsmenü. Nachdem wir diesen Ansatz umgesetzt hatten, lieferte unser neuronales Netzwerk plötzlich wesentlich konsistentere und sinnvollere Erkennungsergebnisse.
Dieses Projekt befindet sich bereits seit mehreren Jahren in der Entwicklung und begann als Experiment in einem Jupyter-Python-Notebook. Wir wollten herausfinden, welche Möglichkeiten sich im Bereich KI und Barrierefreiheit bieten, da es zu dieser Zeit noch keine entsprechenden Lösungen gab. Selbst im breiteren Bereich der Interpretation von Benutzeroberflächen mithilfe von maschinellem Lernen gab es noch nicht viel.
Unsere Datensätze sind erheblich gewachsen, und unsere Algorithmen haben sich so weit weiterentwickelt, dass maschinelles Lernen mittlerweile unsere Sichtweise auf Barrierefreiheitstests grundlegend verändert. Auch unsere Verfahren zum Datenmanagement und unsere gezielten Bemühungen zur Datenerhebung haben maßgeblich zu unseren Fortschritten beigetragen.
Was „ Deque “ auszeichnet
Bei Deque tragen unsere Kunden dazu bei, unsere ML-Algorithmen zu trainieren. Außerdem verfügen wir über eine komplexe und kontinuierlich arbeitende automatisierte Datenpipeline. Jedes Mal, wenn wir einen Datenpunkt erfassen, wird dieser in unsere Datenpipeline integriert und ermöglicht es uns, daraus zu lernen. Sollten in unseren interaktiven Elementen oder unserem Tabellen-Tool Fehler auftreten, werden uns unsere Nutzer darauf hinweisen. Diese Rückmeldungen nutzen wir als zukünftige Trainingsbeispiele für unsere Algorithmen.
Die Zeitspanne zwischen dem Erkennen eines Fehlers, dem Lernen daraus und der Umsetzung einer Korrektur im produktiv eingesetzten Modell beträgt höchstens zwei Wochen. Schließlich sind unsere Computer-Vision-Algorithmen speziell darauf ausgelegt, den Anforderungen des User-Interface-Designs gerecht zu werden. Wir nutzen dieses Beziehungsmodul in unserem neuronalen Netzwerk, um gezielt auf die Besonderheiten des User-Interface-Designs und die Beziehungen zwischen den Objekten einzugehen. Zudem verfügen wir über ein Team aus erfahrenen menschlichen Labeler*innen, die in der Semantik von Benutzeroberflächen geschult sind und die Genauigkeit sowie Integrität jedes einzelnen Datenpunkts in unserem Bestand überprüfen.
Außerdem nutzen wir einige unüberwachte ML-Verfahren sowie menschliche Eingaben, um eine gezielte Datenerhebung durchzuführen und so sicherzustellen, dass unsere Investitionen in unseren Datensatz nicht umsonst sind und dass alle von uns erfassten Datenpunkte tatsächlich dazu beitragen, unsere Netzwerke zu verbessern.
Datenverwaltung und -erhebung
Deque hat Zugriff auf den weltweit größten ML-Datensatz zum Thema Barrierefreiheit. Wir verfügen über mehrere Hunderttausend Screenshots von Benutzeroberflächen und trainieren unser Modell anhand aller Bilder, die beschriftet und auf ihre Integrität überprüft wurden. Bei jedem Screenshot einer Benutzeroberfläche werden alle Komponenten von diesen Experten hinsichtlich ihrer strukturellen und interaktiven Eigenschaften beschriftet.
Wir ergreifen hier einige Maßnahmen, um die Effizienz unserer Datenkennzeichnung zu steigern. Zunächst werden unsere ML-Modelle dazu verwendet, jeden Datenpunkt vorab zu kennzeichnen, sodass unsere Kennzeichner nicht bei Null anfangen müssen. Sie korrigieren vielmehr die Vorlagenkennzeichnung, die wir ihnen auf Basis unseres ML-Modells zur Verfügung stellen. Wir haben festgestellt, dass sich dadurch die Effizienz während des Kennzeichnungsprozesses um 25 bis 50 % verbessert.
Außerdem nutzen wir Methoden des unüberwachten maschinellen Lernens, um unsere potenziellen Datenpunkte miteinander zu vergleichen. Wenn wir wissen, dass wir bei einer bestimmten Klasse und einem bestimmten Objekt in der Benutzeroberfläche noch Nachholbedarf haben, können wir einige dieser Methoden nutzen, um automatisch zukünftige Datenpunkte als Trainingsbeispiele vorzuschlagen. Dies hilft uns, unsere Datenerfassung zu beschleunigen, gezielter vorzugehen und sicherzustellen, dass unsere Investition sinnvoll eingesetzt wird.
Dadurch konnten wir die Leistung unserer Modelle mit geringerem Zeit- und Finanzaufwand deutlich steigern. Wir sind in der Lage, verbesserte Modelle schnell einzusetzen und so Leistungssteigerungen und Verbesserungen bei unseren ML-Modellen zu erzielen.
DequeDie kontinuierliche KI-Datenpipeline von …
Deque verfügt über eine kontinuierliche und automatisierte KI-Datenpipeline, die in der folgenden Abbildung dargestellt ist.
KI und ML vereinfachen die Barrierefreiheit
Wir setzen maschinelles Lernen ein, um verschiedene Aspekte der Barrierefreiheitstests zu vereinfachen. Dadurch können wir die Einstiegshürden für Barrierefreiheitstests senken. Wir können die Effizienz steigern, indem wir den Aufwand für manuelle Tests reduzieren, und wir können Komponenten bereits vorab weiter testen, bevor sie angepasst werden müssen, um ihr Erscheinungsbild in Einklang zu bringen.
Wenn wir wissen, was eine Komponente ist, muss sie zum Testen nicht feststehen. Wenn wir wissen, dass eine Komponente eine Eingabe ist, muss sie nicht feststehen, um eingabebezogene Elemente dieser Komponente zu testen.
Zusammenfassung
KI und ML gelten in der Barrierefreiheits-Community manchmal als Schimpfwort. Es gibt einige Lösungen, die behaupten, dass der Einsatz von KI alle Probleme der digitalen Barrierefreiheit auf einer Seite wie durch Zauberhand lösen könne. Zudem funktionieren neuronale Netze wie ChatGPT nicht gut genug für die digitale Barrierefreiheit, da sie auf einem sehr großen, allgemeinen Datensatz aus dem gesamten Code im Internet trainiert wurden, der größtenteils nicht barrierefrei ist.
Tatsächlich können KI-gestützte Tools ethisch vertretbar sein, wenn sie von Barrierefreiheitsexperten entwickelt und zur Vereinfachung des Testprozesses eingesetzt werden. KI kann die Möglichkeiten automatisierter Barrierefreiheitstests erheblich erweitern und die Einstiegshürde für Laien bei der Durchführung manueller Tests senken.
