Datenqualität automatisieren, um KI & ML-Erfolg zu beschleunigen

Können Organisationen Datenqualität automatisieren, um KI und ML zu verbessern? Über das letzte Jahrzehnt haben Unternehmen begonnen, das Potenzial zu begreifen und freizusetzen, das künstliche Intelligenz (KI) und Machine Learning (ML) bringen können. Obwohl noch in den Kinderschuhen, beginnen Unternehmen, die signifikanten Auswirkungen dieser Technologie zu verstehen, die ihnen helfen, bessere, schnellere und effizientere Entscheidungen zu treffen.

Natürlich sind KI und ML kein Allheilmittel, um Unternehmen Innovation zu ermöglichen. Tatsächlich ist der Erfolg dieser Algorithmen nur so gut wie ihre Fundamente – speziell qualitativ hochwertige Daten.

Ohne sie werden Unternehmen das Ziel verfehlen, das sie KI und ML installiert haben, mit den unvorhergesehenen Folgen schlechter Daten, die irreversible Schäden am Business sowohl in puncto Effizienz als auch Reputation verursachen.

Aber es gibt einen weiteren Explorationsbereich, der reif für Entwicklung ist: nämlich, kann Datenqualität durch Automatisierung und Machine Learning selbst verbessert und gewahrt werden?

Das Risiko schlechter Datenqualität

Von Movie-Streaming-Services über Chatbots bis hin zur Information, wie Supermärkte ihre Regale anordnen und uns durch große Verkehrsknoten leiten – ML beeinflusst unser Leben auf Weisen, die vor einem Jahrzehnt unvorstellbar waren.

Aber was passiert, wenn der Algorithmus auf dem Fundament schlechter Datenqualität arbeitet? Die Risiken in der Zukunft könnten weit schwerwiegender sein als ein Film, den man nicht mag.

Wenn wir beginnen, Machine Learning zu vertrauen, um die Entdeckung und Testung von Pharmazeutika zu verbessern – was passiert, wenn ein Medikament formuliert wird, aber Fehler in den chemischen Verbindungsdaten vorliegen, die zur Simulation des Tests verwendet wurden? Die Implikationen könnten gravierend sein.

Eine aufkommende Anwendung von ML, die auch durch schlechte Basisdaten beeinflusst werden könnte, sind selbstfahrende Fahrzeuge. Von Karten und Adressen bis hin zur Reaktion eines Fahrzeugs auf einen Radfahrer – die Daten, die die Maschine lehren, werden entscheidend für Verbraucher- und Regulatorakzeptanz sein.

ML-Algorithmen – jene Regel- und Berechnungssätze, die definierte Probleme lösen – können entweder die Verbesserung der Datenqualität unterstützen oder durch ungenaue Daten aus der Bahn geworfen werden, sollte die Möglichkeit schlechter Daten nicht in ihrer Konstruktion berücksichtigt werden.

Automatisierte Datenqualität

Wie bei jeder digitalen Transformation wird der Übergang von manuell zu automatisiert und dann ‚intelligent‘ im Datenqualitätsmanagement einen langfristigen Plan erfordern. Experian hat vier Phasen über den Fortschritt des Datenmanagements identifiziert, die wir Data Management Maturity Curve nennen. Unaware, Reactive, Proactive und Optimised & Governed reflektieren die vier Phasen, die einen vollen Zyklus einer Datenqualitätsstrategie spannen.

Die Bewertung hat eine stetige Progression auf der Maturity Curve gezeigt, da Organisationen beginnen, das Potenzial der Daten, die sie halten, freizusetzen und es ernster zu nehmen. Am faszinierendsten ist, dass jene, die sich in der Optimised & Governed Phase befinden, die Anfänge einer weiteren Stufe sehen könnten, die man als ‚intelligent automatisiert‘ bezeichnen könnte.

‚Intelligent automatisiert‘ bezieht sich auf Systeme und Prozesse, die den für Datenqualität Verantwortlichen helfen, ihre größten Sorgen zu identifizieren. Wir sollten alle mittlerweile regelmäßig Key Performance Metriken prüfen, um Trends in der Datenqualität zu identifizieren – vielleicht die Gesamtabschlussraten wichtiger Attribute betrachten oder auf Timing-Bedenken bei Datenempfang oder Datenladestufen achten. Aber die Datenqualität wirklich zu verstehen, erfordert einen tieferen Blick in den Inhalt.

Beispielsweise: Reicht es zu sagen, dass man ein Geburtsdatum in 99 % der Fälle gesammelt hat, um Drittanbieter-Datenanforderungen zu erfüllen, wenn ein großer Teil der gesammelten Daten systemseitig abgeleitet und daher keine echten Geburtsdaten sind? Das kann echte Probleme verursachen und die unbeabsichtigten Konsequenzen können durch Ihren Entscheidungsprozess wellen.

Die nächsten Schritte

Die meisten Datenqualitätsprogramme enthalten bereits ein Element von Automatisierung und Test-and-Learn. Die nächste Stufe in dieser Evolution ist der Einsatz von Machine Learning, um automatisch verschiedene Datentypen zu erkennen und darauf zu reagieren – ‚intelligent automatisiert‘.

Beispielsweise ein Datenmanagement-Tool, das Standardinformationen wie Adresse, E-Mail, Kreditkartennummer oder Sozialversicherungsnummer mit wenig Pre-Training oder Regel-Erstellung erkennen kann, bevor es Aktionen wie Validierung des Eintrags oder Flagging eines Compliance-Issues an einen Manager durchführt.

Das ultimative Ziel ist ML für Datenqualität, das sich selbst im Laufe der Zeit verbessert. Ein gutes Beispiel ist Firmenname – ist Tesco PLC dasselbe wie Tesco Stores Ltd? Was ist mit einem Teil der Tesco-Gruppe, der das Wort ‚Tesco‘ nicht im Firmennamen führt?

Das Gruppieren kommerzieller Entitäten kann so einfach sein wie die Namenssuche, oder komplexer durch Betrachtung von Detail der Unternehmensabschlüsse, Hauptsitzadressen, CEO-Namen, Webadressen und anderen Metadaten, um Assoziationen weltweit zu finden.

Diese Art von Hypothesen sind die Business Challenges, die eine starke Datenstrategie unterstützen kann. Aber können wir an einen Ort gelangen, wo wir dieses Lernen automatisieren und unsere Datenqualität im Laufe der Zeit mit weniger manuellem Aufwand verbessern, was unseren Datenleuten mehr Zeit gibt, zu analysieren und das Business zu unterstützen?

Das ist die Herausforderung für ML – die Basismregeln für Datenqualität zu nehmen, sie zu implementieren und dann Verbesserungen vorzuschlagen, wenn reale Änderungen in den Daten als Ausnahmen oder Ausreißer sichtbar werden. Es ist ein aufstrebendes Thema und eines, bei dem wir in den kommenden Jahren viel Entwicklung erwarten.

Ihre Datenstrategie

Fundamental ist jedes Beispiel von ML abhängig von Daten, die fit for purpose sind – wenn nicht diese Daten, und als Konsequenz die Entscheidungen, die deswegen getroffen werden, können nicht vertraut werden.

Um dies zu vermeiden, müssen Organisationen sicherstellen, dass sie eine robuste Datenstrategie haben. Denken Sie über die Gründe nach, sich auf ML einzulassen; was sind die erklärbaren Outcomes, die sie erreichen und vermeiden wollen?

Dann, indem man eine initiale Bewertung der Daten durchführt, um die Qualität dessen, was sie bereits haben, zu prüfen, kann die Organisation Maßnahmen ergreifen und planen, was sie noch braucht, um die Gesamtqualität ihrer Daten zu verbessern.

In der Lage zu sein, die über ML getroffenen Entscheidungen – und alle automatisierten Entscheidungsprozesse – zu identifizieren und zu verfolgen, ist vital, wenn sie erfolgreich adoptiert und implementiert werden sollen.

Laufendes Monitoring der Datenqualität ist ebenfalls entscheidend. Damit können Sie schnell identifizieren, welche Bereiche Aufmerksamkeit brauchen, und sicher sein, dass Sie in der bestmöglichen Position mit aktuellen und potenziellen ML-Initiativen sind.

Dann werden Organisationen in der Position sein, ML zu nutzen, um ihre Datenqualität effizienter zu managen, was ihre Entscheidungsprozesse schneller und besser macht.

Wenn man dies zu seinem logischen Schluss bringt, kann Machine Learning helfen, jene Datenbedenken zu identifizieren, die verborgen bleiben, bis sie ein echtes Problem sind. Wenn wir Modelle trainieren können, die Schlüsselattribute identifizieren, die eine Entscheidung oder einen Prozess weiter unten beeinflussen können, und dann auf Fluktuationen oder besorgniserregende Muster überwachen, können wir vielleicht sogar den Impact vorhersagen, den diese Datenbedenken auf Ihr Business haben könnten.

Beispielsweise, wenn wir wissen, dass die Anzahl der Schlafzimmer in einer Immobilie direkt Entscheidungen in unserem Business beeinflusst, und wir feststellen, dass wir unvollständige oder approximierte Daten in diesem Feld in einem bestimmten Ausmaß haben, das schlimmer wird – könnten wir vorhersagen, basierend darauf, wo wir wissen, dass die Daten genutzt werden, Mietertragsschätzungen, Hypothekenbewertungen oder Heizverbrauchsprognosen?

Der Impact dieser wachsenden Datenqualitätsbedenken könnte helfen, den Business Case zu bauen, um es jetzt zu korrigieren, statt wenn es ein echtes Problem ist.