DequeDer „People-First“-Ansatz bei der Computer Vision in axe DevTools

Dylan Barrell

Von Dylan Barrell

9. Januar 2023

Blog zum Thema Computer Vision

Als weltweit führender Anbieter von Tests zur Barrierefreiheit digitaler Inhalte hat sich Deque zum Ziel gesetzt, Tools bereitzustellen, mit denen Entwickler barrierefreie Produkte so schnell wie möglich erstellen können. Gleichzeitig legen wir großen Wert darauf, qualitativ hochwertige Tests nach vollständig skalierbaren und sich ständig weiterentwickelnden Bereitstellungsmodellen durchzuführen. Diese Anforderungen bedeuten, dass wir so viel wie möglich automatisieren müssen – allerdings auf intelligente Weise und mit einem klaren Fokus auf den wichtigsten Aspekt der Barrierefreiheit: die Menschen, die diese Inhalte nutzen.

Die Zusammenarbeit mit unseren internen Entwicklungsteams, um unsere Vision von digitaler Barrierefreiheit Tag für Tag in die Tat umzusetzen, ist für uns nicht nur ein persönliches Ziel. Es geht darum, sicherzustellen, dass wir niemals die Menschen aus den Augen verlieren, die im Mittelpunkt unseres Handelns stehen. Diese Perspektive spiegelt sich deutlich in unserem einzigartigen Ansatz beim maschinellen Lernen wider, insbesondere darin, wie wir unsere Daten und Computer Vision einsetzen.

„Computer Vision“ ist, wie wir den Begriff definieren, eine Bezeichnung für die Art und Weise, wie Computer und Softwaretechnologie Menschen dabei helfen können, digitale Inhalte besser zu verstehen. Wir setzen diese Technologie sehr gezielt ein, um bestimmte Herausforderungen beim manuellen Testen der digitalen Barrierefreiheit zu bewältigen.

In diesem Beitrag werde ich erläutern, wie wir das erreichen.

Einzigartiger Datensatz für Barrierefreiheitstests

Deque Wir haben die weltweit am häufigsten genutzte Bibliothek für Barrierefreiheitstests entwickelt, axe-core, die nach letzter Zählung mehr als 600.000.000 Mal heruntergeladen wurde. Außerdem haben wir Zehntausende von Prüfungen für Tausende von Unternehmen an Hunderttausenden von Benutzeroberflächen durchgeführt. Unsere kostenlosen Produkte werden wöchentlich von Hunderttausenden von Nutzern in Anspruch genommen.

Anhand unserer Datenbank mit früheren Bewertungen ermitteln wir die am häufigsten vorkommenden UI-Muster und die am häufigsten auftretenden Barrierefreiheitsfehler. Die von unseren Nutzern übermittelten Daten fließen in unsere hochmoderne Datenpipeline für maschinelles Lernen ein, um erstklassige Funktionen im Bereich der maschinellen Bildverarbeitung zu erzielen.

Menschenzentrierter Ansatz

Die Daten, die wir zu Barrierefreiheitsproblemen erheben, sind zudem nicht nur reine Rohdaten. Sie gewinnen an Relevanz durch die Einbeziehung echter Testergebnisse, die von echten Nutzern unserer Produkte bestätigt wurden. Unsere Testbibliothek zur digitalen Barrierefreiheit wird ständig verbessert, da Nutzer sich freiwillig bereit erklären, ihre anonymisierten Daten stündlich und rund um die Uhr mit uns zu teilen. Das bedeutet, dass sich unsere Modelle stets an den neuesten Stand der Technik bei UI-Mustern und -Trends anpassen.

Dadurch entsteht eine wirklich intelligente und dynamische Form der künstlichen Intelligenz, die wir zur Unterstützung der Bildverarbeitung nutzen. Die Priorisierung auf der Grundlage realer Daten bedeutet, dass unsere Lösungen echte, praktische Bedürfnisse der Menschen erfüllen.

Um weiterhin den richtigen Weg einzuschlagen, stellen wir uns der Herausforderung, darüber nachzudenken, bei welchen Aspekten der Barrierefreiheitstests tatsächlich menschliches Eingreifen erforderlich ist. Infolgedessen haben wir mehrere Computer-Vision-Modelle entwickelt und setzen diese ein, die in Kombination mit semantischen Informationen und Heuristiken hochmoderne Automatisierungsfunktionen bieten – zusätzlich zu den Möglichkeiten, die „ axe-core “ als Regelbibliothek bereitstellt.

Wir setzen dies in mehreren sehr spezifischen Bereichen der Prüfung der digitalen Barrierefreiheit ein, um schnellere und genauere Ergebnisse bei geringerem manuellem Aufwand zu erzielen. Wir haben diese Bereiche ausgewählt, da sie für manuelle Tester besonders große Herausforderungen darstellen.

Hier sind einige Beispiele dafür, wie unsere Computer-Vision-Lösungen reale Probleme lösen:

1. Problem: Was ist das da auf dem Bildschirm?

Bislang mussten Barrierefreiheitstester in der Regel etwas auf dem Bildschirm betrachten und beispielsweise sagen: „Das ist eine Datentabelle, aber das ähnlich aussehende Element ist eine Layouttabelle.“ Menschen sind sehr gut darin, Unterschiede in Größe, Form und Farbe zu durchschauen und den Zweck eines Objekts zu erkennen. Dies kann jedoch sehr zeitaufwendig sein und entspricht nicht immer genau den Standards.

Deque nutzt also ein von uns entwickeltes Objekterkennungsmodell, um Objekte der Benutzeroberfläche (UI) zu identifizieren und zu klassifizieren. Dieses Modell ist speziell auf die besonderen Anforderungen der UI-Objekterkennung zugeschnitten. Unser Modell wertet unterschiedliche Seitenverhältnisse und Größen von UI-Objekten sowie die hohe Objektdichte in einer Benutzeroberfläche effektiv aus. Zudem analysiert es die Beziehungen, die diese UI-Elemente untereinander aufweisen.

Objekte dieser Art stellen für viele Modelle der Bildverarbeitung eine Herausforderung dar, da sie viele verschiedene Elemente enthalten können, die alle völlig unterschiedlich aussehen. Beispielsweise können sie Layout-Tabellen umfassen, die sich fast über die gesamte Benutzeroberfläche erstrecken, sowie kleine, klecksförmige Objekte – wie Symbole oder Kontrollkästchen. Sie können auch Schieberegler oder Menüleisten enthalten, die kurz und sehr breit sind, oder Objekte wie vertikale Navigationsleisten oder Menüs, die sehr hoch und schmal sind. Wie kann eine Software den Unterschied erkennen?

Anschließend kodiert unser einzigartiger Algorithmus zur Objekterkennung Informationen über die Beziehungen zwischen Objekten und liefert so Kontext für jedes einzelne Element. Schon dieser kleine Schritt verbessert die Erkennungsgenauigkeit der Software erheblich. Wenn beispielsweise bekannt ist, dass eine Navigationsleiste vorhanden ist, liefert dies Hinweise darauf, was sich sonst noch in diesem Objekt befinden könnte – wie beispielsweise weitere Navigationselemente, Suchfelder und vieles mehr.

Unsere Technologie verknüpft diesen Klassifizierungskontext anschließend mit semantischen Informationen, beispielsweise aus dem DOM einer Webanwendung. Schließlich werden diese Informationen mit den von unseren Tools erfassten Benutzereingaben – beispielsweise im Rahmen eines Intelligent Guided Test (IGT) – kombiniert, um festzustellen, ob Probleme bei der Barrierefreiheit vorliegen.

Axe DevTools berücksichtigt zudem, dass ein einzelnes Element mehreren möglichen Bedeutungen zugeordnet werden kann. Wir halten uns stets an das Manifest „ axe-core “, das keine Fehlalarme zulässt. Unser Ziel ist es, den Aufwand zu verringern, der erforderlich ist, um durchgängig barrierefreie Benutzererlebnisse zu schaffen – und nicht, die größtmögliche Anzahl von „vielleicht“-Fällen zu identifizieren.

2. Aufgabe: Was passt zusammen?

Menschliche Tester können in der Regel Texte erkennen, die ihnen sagen, was sie in ein Eingabefeld auf einer Webseite eingeben sollen – aber wie viele dieser Felder müssen getestet werden? Wie lange wird das dauern?

Um ohne Handbuch und ohne mühsames Ausprobieren festzustellen, „was zu was passt“, nutzt „ Deque “ ein Modell zur optischen Zeichenerkennung (OCR), um den zu den Formularbezeichnungen gehörenden Text zu generieren und anhand dieses Textes automatisch barrierefreie Namen für Formularfelder zu validieren. Das funktioniert schnell und präzise.

3. Problem: Gibt es versteckte Probleme hinsichtlich Farbe und Kontrast?

Fortgeschrittene Cascading Style Sheets (CSS) und komplexe Designtechniken können schwer zu erkennende Farb- und Kontrastprobleme verursachen – beispielsweise Text, der über einem Farbverlauf oder einem Bild liegt. Dies kann wiederum zeitaufwändige und mühsame manuelle Tests erforderlich machen.

Um diesen Aufwand zu vermeiden, nutzt „ Deque “ automatisierte visuelle Textdarstellungen und Hintergrundprüfungen, um den Bereich der ermittelten Farbkontrastwerte zu berechnen und diese dem Tester anzuzeigen. Dadurch lässt sich enorm viel Zeit bei der Suche nach Problemen sparen, die andernfalls möglicherweise verborgen blieben.

4. Problem: Wie lässt sich die Vielzahl der verschiedenen Zustände überprüfen, die in einer modernen Benutzeroberfläche auftreten können?

Moderne Benutzeroberflächen weisen zahlreiche Zustände und Zustands-Kombinationen auf, die getestet werden müssen. Hinzu kommt, dass die WCAG-Standards die Komplexität beim Testen dieser Zustände weiter erhöhen. Es sieht also erneut so aus, als stünde uns ein langwieriger, manueller Prozess bevor.

Nicht so bei „ Deque “. Unsere Technologie nutzt eine Kombination aus der automatisierten Auslösung verschiedener Zustände und der visuellen Darstellung dieser Zustände (z. B. fokussiert vs. nicht fokussiert), um zu bewerten, ob visuelle Fokusindikatoren vorhanden sind und ob diese die erforderlichen Kontrast- und Wahrnehmungsschwellenwerte erfüllen. Tatsächlich unterstützt unser Modell für diese Lösung bereits die Anforderungen der WCAG 2.2.

Fazit

KI und maschinelles Lernen sind derzeit in aller Munde. Es macht Spaß, wenn Science-Fiction-Autoren davon erzählen, wie KI-Wesen die Arbeitswelten von morgen bevölkern. Noch mehr Spaß macht es jedoch, wenn Computer Vision – gestützt auf praxisorientierte KI und maschinelles Lernen – die Barrierefreiheit für alle erleichtert – auch für Entwickler.

Kontaktieren Sie uns noch heute, um zu erfahren, wie die intelligente Bildverarbeitungstechnologie von „ Deque“ Ihnen dabei helfen kann, Barrierefreiheitstests zu vereinfachen.

Mehr erfahren

Dylan Barrell

Dylan Barrell

Dylan ist CTO Deque und leitet die Initiativen zur Produktentwicklung. Er setzt sich für die Schaffung eines barrierefreien Internets ein, indem er es Entwicklern, Qualitätssicherungsingenieuren und Autoren von Inhalten besonders einfach macht, barrierefreie Anwendungen und Inhalte zu erstellen. Dylan hat einen MBA der University of Michigan und einen BS der University of the Witwatersrand.

Erhalten Sie Blog-Beiträge direkt in Ihren Posteingang

Kein Geschwafel, sondern echte Erkenntnisse zum Thema Barrierefreiheit von qualifizierten Experten.

Sie erklären sich damit einverstanden, dass Deque Informationen gemäß den Bestimmungen in DequeDatenschutzerklärungbeschrieben, Informationen von Deque entgegennimmt, nutzt und weitergibt. Sie können Ihre Einwilligung jederzeit widerrufen, indem Sie uns kontaktieren.

Mehr zu diesem Thema

Neu im Axe MCP Server: Mehr automatisierte Abdeckung und optimierte Entwickler-Workflows

Automatisierte Barrierefreiheitsprüfungen helfen Teams dabei, Probleme bereits in einer frühen Phase des Entwicklungsablaufs zu erkennen und den manuellen Aufwand zu reduzieren. Einige der komplexesten Barrierefreiheitsprüfungen erforderten jedoch bislang geführte oder manuelle Tests. Mit den neuesten Updates für den Axe MCP Server können Ihre Entwickler nun noch mehr Barrierefreiheitsprüfungen direkt in ihren Programmierabläufen automatisieren.

Artikel lesen
Abbildung, die veranschaulicht, wie der Axe MCP Server zur Durchführung von zwei Aufgaben verwendet wird: Analyse auf Barrierefreiheitsprobleme mit einem erweiterten Regelsatz und Ausführung von IGT-Tastaturtests

Deque auf der „Forbes Accessibility 200“-Liste als einer der größten Innovatoren und Wegbereiter Deque

Logo von Deque
19. Mai 2026 Von Deque

Deque geehrt, in der Liste „Forbes Accessibility 200“ 2026 unter dieser beeindruckenden Gruppe von Innovatoren und Wegbereitern aufgeführt zu sein. Deque der einzige Anbieter von Lösungen für digitale Barrierefreiheit, der zum zweiten Mal in Folge in diese Liste aufgenommen wurde.

Artikel lesen
Banner zur Würdigung Deque in die „Forbes Accessibility 200“-Liste