Können wir die Datenqualität automatisieren, um künstliche Intelligenz und maschinelles Lernen zu unterstützen?

Können Organisationen die Datenqualität automatisieren, um KI und ML zu verbessern?

In den letzten zehn Jahren haben Unternehmen begonnen, das Potenzial zu erfassen und zu erschließen, das künstliche Intelligenz (KI) und maschinelles Lernen (ML) bieten können. Obwohl sie noch in den Kinderschuhen stecken, beginnen Unternehmen zu verstehen, welche bedeutenden Auswirkungen diese Technologie haben kann, da sie ihnen hilft, bessere, schnellere und effizientere Entscheidungen zu treffen.

Natürlich sind KI und ML keine Wunderwaffe, um Unternehmen dabei zu helfen, Innovationen zu fördern. Tatsächlich ist der Erfolg dieser Algorithmen nur so gut wie ihre Grundlagen – insbesondere hochwertige Daten.

Ohne sie werden Unternehmen das eigentliche Ziel, für das sie KI und ML installiert haben, scheitern sehen, mit den unvorhergesehenen Folgen schlechter Daten, die dem Unternehmen sowohl in Bezug auf seine Effizienz als auch auf seinen Ruf irreversiblen Schaden zufügen.

Aber es gibt noch ein weiteres Forschungsgebiet, das reif für die Entwicklung ist; Kann nämlich die Datenqualität durch Automatisierung und maschinelles Lernen selbst verbessert und aufrechterhalten werden?

Das Risiko schlechter Datenqualität

Von Film-Streaming-Diensten über Chatbots bis hin zu Informationen darüber, wie Supermärkte ihre Regale ordnen, und uns durch wichtige Verkehrsknotenpunkte zu führen, ML beeinflusst unser Leben auf eine Weise, die vor einem Jahrzehnt unvorstellbar war.

Aber was passiert, wenn der Algorithmus auf der Grundlage einer schlechten Datenqualität arbeiten soll? Die Risiken in der Zukunft könnten weitaus schwerwiegender sein, als wenn Ihnen ein Film serviert wird, der Ihnen nicht gefällt.

Wenn wir zum Beispiel beginnen, maschinellem Lernen zu vertrauen, um die Entdeckung und Prüfung von Arzneimitteln zu verbessern, was würde passieren, wenn ein Medikament formuliert würde, aber es Fehler in den chemischen Verbindungsdaten gäbe, die zur Simulation der Prüfung verwendet werden? Die Auswirkungen könnten schwerwiegend sein.

Eine aufkommende Anwendung von ML, die auch durch schlechte Basisdaten beeinträchtigt werden könnte, sind selbstfahrende Fahrzeuge. Von Karten und Adressen bis hin zur Reaktion eines Fahrzeugs auf einen Radfahrer werden die Daten, die zum Programmieren der Maschine verwendet werden, entscheidend für die Akzeptanz durch Verbraucher und Aufsichtsbehörden sein.

ML-Algorithmen – diese Sätze von Regeln und Berechnungen, die helfen, definierte Probleme zu lösen – können entweder die Verbesserung der Datenqualität unterstützen oder durch ungenaue Daten aus der Bahn geworfen werden, wenn die Möglichkeit schlechter Daten bei ihrer Konstruktion nicht berücksichtigt wird.

Automatisierte Datenqualität

Wie bei jeder digitalen Transformation erfordert der Übergang vom manuellen zum automatisierten und dann „intelligenten“ Datenqualitätsmanagement einen langfristigen Plan. Experian hat vier Phasen des Fortschritts des Datenmanagements identifiziert, die wir als Data Management Maturity Curve bezeichnen. Unbewusst, reaktiv, proaktiv und optimiert und gesteuert spiegeln die vier Phasen wider, die einen vollständigen Zyklus einer Datenqualitätsstrategie umfassen.

Die Bewertung hat einen stetigen Anstieg der Reifekurve ergeben, da Unternehmen beginnen, das Potenzial ihrer Daten freizusetzen und es ernster zu nehmen. Am faszinierendsten ist, dass diejenigen, die sich auf der Stufe „Optimiert und gesteuert“ befinden, möglicherweise die Anfänge einer anderen Ebene sehen, die als „intelligent automatisiert“ bezeichnet werden kann.

„Intelligent automatisiert“ bezieht sich auf Systeme und Prozesse, die den für die Datenqualität Verantwortlichen dabei helfen, ihre größten Bedenken zu erkennen. Wir alle sollten inzwischen regelmäßig wichtige Leistungsmetriken überprüfen, um Trends in der Datenqualität zu identifizieren, vielleicht die Gesamtabschlussraten von Schlüsselattributen betrachten oder auf zeitliche Bedenken bei Datenempfangs- oder Datenladephasen achten. Aber um Ihre Datenqualität wirklich zu verstehen, müssen wir uns den Inhalt genauer ansehen.

Reicht es beispielsweise aus zu sagen, dass Sie in 99 % der Fälle ein Geburtsdatum erfasst haben, um die Datenanforderungen von Dritten zu erfüllen, wenn ein großer Teil der von Ihnen erfassten Daten vom System abgeleitet und daher keine echten Geburtsdaten sind? Dies kann zu echten Problemen führen, und die unbeabsichtigten Konsequenzen können sich durch Ihren Entscheidungsprozess ziehen.

Die nächsten Schritte

Die meisten Datenqualitätsprogramme enthalten bereits ein Element der Automatisierung und des Testens und Lernens. Die nächste Stufe in dieser Entwicklung ist der Einsatz von maschinellem Lernen, um verschiedene Arten von Daten automatisch zu erkennen und darauf zu reagieren – „intelligent automatisiert“.

Beispielsweise ein Datenverwaltungstool, das Standardinformationen wie Adresse, E-Mail, Kreditkartennummer oder Sozialversicherungsnummer mit wenig Vorschulung oder Regelschreiben erkennen kann, bevor Maßnahmen wie die Validierung des Eintrags oder das Melden eines Compliance-Problems an a ergriffen werden Manager.

Das ultimative Ziel ist ML für Datenqualität, die sich dann im Laufe der Zeit verbessert. Ein gutes Beispiel dafür ist der Firmenname – ist Tesco PLC dasselbe wie Tesco Stores Ltd? Was ist mit einem Teil der Tesco-Gruppe, der das Wort „Tesco“ nicht im Firmennamen hat?

Das Gruppieren kommerzieller Einheiten kann so einfach sein wie die Suche nach dem Namen oder komplexer, indem Sie sich die Details von Unternehmenskonten, Hauptsitzadressen, CEO-Namen, Webadressen und anderen Metadaten ansehen, um Verbände auf der ganzen Welt zu finden.

Diese Art von Hypothesen sind die geschäftlichen Herausforderungen, die eine starke Datenstrategie unterstützen kann. Können wir jedoch an einen Ort gelangen, an dem wir dieses Lernen automatisieren und unsere Datenqualität im Laufe der Zeit mit weniger manuellem Aufwand verbessern können, sodass unsere Datenexperten mehr Zeit haben, das Geschäft zu analysieren und zu unterstützen?

Das ist die Herausforderung für ML – die Grundregeln für die Datenqualität zu nehmen, sie umzusetzen und dann Verbesserungen vorzuschlagen, wenn die realen Änderungen in den Daten als Ausnahmen oder Ausreißer sichtbar werden. Es ist ein aufstrebendes Thema und eines, von dem wir erwarten, dass es in den kommenden Jahren viele Entwicklungen geben wird.

Ihre Datenstrategie

Grundsätzlich ist jedes Beispiel von ML auf Daten angewiesen, die für den Zweck geeignet sind – wenn nicht, können diesen Daten und folglich den Entscheidungen, die aufgrund dieser getroffen werden, nicht vertraut werden.

Um dies zu vermeiden, müssen Unternehmen sicherstellen, dass sie über eine robuste Datenstrategie verfügen. Denken Sie über die Gründe für den Einstieg in ML nach; Welche erklärbaren Ergebnisse wollen sie erreichen und vermeiden?

Anschließend kann die Organisation, indem sie eine erste Bewertung Ihrer Daten durchführt, um die Qualität dessen, was sie bereits haben, zu prüfen, Maßnahmen ergreifen und planen, was sie sonst noch benötigt, um die Gesamtqualität ihrer Daten zu verbessern.

Die Möglichkeit, die über ML getroffenen Entscheidungen – und alle automatisierten Entscheidungsprozesse – zu identifizieren und nachzuverfolgen, ist von entscheidender Bedeutung, wenn sie erfolgreich angenommen und implementiert werden sollen.

Auch die laufende Überwachung der Datenqualität ist von entscheidender Bedeutung. Auf diese Weise können Sie schnell erkennen, welche Bereiche Ihrer Aufmerksamkeit bedürfen, und sich darauf verlassen, dass Sie bei aktuellen und potenziellen ML-Initiativen in der bestmöglichen Position sind.

Dann werden Organisationen in der Lage sein, ML in die Lage zu versetzen, ihre Datenqualität effizienter zu verwalten und ihre Entscheidungsprozesse schneller und besser zu machen.

Wenn man dies zu seiner logischen Schlussfolgerung bringt, kann uns der Einsatz von maschinellem Lernen dabei helfen, die Datenprobleme zu identifizieren, die verborgen bleiben, bis sie ein echtes Problem darstellen. Wenn wir Modelle trainieren können, um die Schlüsselattribute zu identifizieren, die eine Entscheidung oder einen späteren Prozess beeinflussen können, und dann auf Schwankungen oder besorgniserregende Muster überwachen können, können wir möglicherweise sogar die Auswirkungen vorhersagen, die diese Datenbedenken auf Ihr Unternehmen haben könnten.

Wenn wir zum Beispiel wissen, dass die Anzahl der Schlafzimmer in einer Immobilie Entscheidungen in unserem Unternehmen direkt beeinflusst, und wir feststellen, dass wir in diesem Bereich unvollständige oder angenäherte Daten in einem bestimmten Maßstab haben, der sich verschlechtert, könnten wir basierend darauf vorhersagen, wo Wir wissen, dass die Daten verwendet werden, Mieteinnahmenschätzungen, Hypothekenbewertungen oder Heizverbrauchsprognosen?

Die Auswirkungen dieser wachsenden Bedenken hinsichtlich der Datenqualität könnten dazu beitragen, den Geschäftsfall zu erstellen, um sie jetzt zu beheben, anstatt wenn es sich um ein echtes Problem handelt.