Verbesserung der Genauigkeit: Der IDP Virtuoso

Laut Gartner „ist der Markt für die Erfassung, Extraktion und Verarbeitung von Dokumenten stark fragmentiert. Führende Unternehmen aus den Bereichen Daten und Analytik sollten diese Untersuchungen nutzen, um den Prozessablauf und die differenzierten Funktionen zu verstehen, die von intelligente Dokumentenverarbeitung Lösungen“. Gartner hat kürzlich veröffentlicht „Infografik: Intelligente Dokumentenverarbeitung verstehen“ deckt diese 6 kritischen Flüsse in IDP ab.

1. Erfassung oder Aufnahme
2. Vorverarbeitung von Dokumenten
3. Klassifizierung von Dokumenten
4. Datenextraktion
5. Validierungs- und Feedback-Schleife
6. Integration von Daten

Quelle: Gartner, Infografik: Intelligent Document Processing verstehen, Shubhangi Vashisth et al., 22. September 2021

Dies ist der vierte Beitrag in der Reihe Exploring Datenvalidierung und Feedback-Schleife.

Wenn es darum geht IDP-Systeme, einer der wichtigsten Bewertungsparameter ist die Genauigkeit, die es bietet. Abgesehen davon, dass es nur von der Qualität des Extraktionsprozesses abhängt, gibt es externe Signale, die IDP-Systeme nutzen, um die Genauigkeit zu verbessern. Die Datenvalidierung anhand einer externen Quelle ist eines von vielen solchen Signalen.

Wenn Sie an diese Signale denken, versuchen Sie, eine Parallele zur Funktionsweise moderner GPS-Ortungssysteme zu ziehen. Sie wissen vielleicht, dass GPS-Systeme die Entfernung des Objekts von drei oder mehr Satelliten messen und eine Technik namens Triangulation anwenden, um einen Schnittpunkt zu erkennen. Mit einem Signal von nur einem Satelliten ist es unmöglich, den Standort des Objekts genau zu bestimmen.

Um dieses Problem zu lösen, strecken Sie Ihren Arm aus, heben Sie einen Finger und schließen Sie ein Auge. Sie werden feststellen, dass Sie mit einem geschlossenen Auge das Gefühl der Distanz verlieren. Sie können nicht wirklich sagen, wie weit Ihr Finger ist. Wenn Sie visuelle Signale von beiden Augen erhalten, können Sie Ihre Schärfentiefe genau ablesen. In ähnlicher Weise verwenden GPS-Systeme drei verschiedene Signale, um den Standort des Objekts genau zu lokalisieren. Das Öffnen einer IDP-Konversation mit Satelliten ist ziemlich langwierig, aber der Punkt, den es hier zu beachten gilt, ist, dass mehr Signale zu einer höheren Genauigkeit führen. In ähnlicher Weise sind Datenvalidierungs- und Feedback-Schleifen Techniken, die von modernen IDP-Systemen verwendet werden, um die Genauigkeit zu verbessern und dadurch exponentiell schneller zu reifen. Ein effizientes Datenvalidierungssystem kann Ihre IDP-Genauigkeit um 15 bis 20% erhöhen. Schauen wir mal wie.

Datenvalidierung

Wenn IDP die beste Option zur Automatisierung der Datenverarbeitung ist, was bringt die Datenvalidierung dazu? Bei der Datenvalidierung handelt es sich, wie der Name schon sagt, um die Überprüfung der extrahierten Daten auf mehrere Genauigkeitspunkte, z. B. ob die richtigen Daten extrahiert werden und ob die extrahierten Daten selbst korrekt sind. Ein typischer Anwendungsfall für die Datenvalidierung ist die Ausnahmebehandlung, z. B. das Aussortieren von Dokumenten, die außerhalb des Gültigkeitsbereichs liegen. Beispielsweise haben Sie eine Liste von Lieferanten, aus der nur Dokumente dieser Anbieter extrahiert werden sollen, oder es ist eine Quittung unter den Rechnungen, die Sie bearbeiten, gemischt und muss ignoriert werden. Wenn Sie auf diese oder ähnliche Fälle stoßen, benötigen Sie eine Datenvalidierung.

Schauen wir uns ein Szenario für die Datenvalidierung an. Stellen Sie sich vor, Sie extrahieren Informationen aus einem Kreditdokument. Kreditnehmer haben Kredite von verschiedenen Banken in Anspruch genommen, aber Sie möchten die Liste der zugelassenen Kreditgeber oder Banken in Ihrem System überprüfen und zwischen den zugelassenen und den nicht zugelassenen Kreditgebern unterscheiden. In diesem Fall implementieren Sie Datenvalidierungstechniken, bei denen ein IDP-System in der Regel über APIs eine Verbindung zur Drittanbieter-Datenbank herstellt oder mit einer Reihe von Daten im Cloud-System des IDP-Anbieters wird täglich oder regelmäßig aus der Drittanbieter-Datenbank synchronisiert. Lassen Sie mich das vereinfachen. Sie extrahieren ein Kreditdokument, in dem der Kreditnehmer ein Darlehen von der Bank of America in Anspruch genommen hat und die Bank of America Ihr zugelassener Kreditgeber ist. Mit der Datenvalidierung können Sie dann eine Kennung dafür erstellen und den Kreditgeber möglicherweise als Pfandinhaber in den Extraktionsergebnissen auflisten.

Die Datenvalidierung ist einer der Schlüsselfaktoren, der zu einer exponentiellen Erhöhung der Extraktionsgenauigkeiten führt, was bedeutet, dass Ihre IDP-Modelle in kürzester Zeit ausgereift sind. Lassen Sie mich Ihnen eine ungefähre Zahl geben. Nach der Analyse der Extraktionsergebnisse unserer Kunden in den letzten Monaten haben wir festgestellt, dass die Datenvalidierungsalgorithmen von Infrrd die Genauigkeitswerte sofort um etwa 10% erhöhen. Das heißt, wenn das IDP-System ohne Datenvalidierung eine Genauigkeit von 80% bot, kann es bei Datenvalidierung eine Genauigkeit von 90% oder mehr bieten.

Es gibt verschiedene Arten der Validierung. Die gängigsten sind:

Musterbasierte Validierung: Hier werden die Daten anhand von Mustern validiert. Beispielsweise besteht die Fahrzeugidentifikationsnummer (VIN), eine eindeutige Kennung für ein Auto, aus einer Kombination aus Ziffern und Großbuchstaben und besteht in der Regel aus 17 Zeichen. Diese Nummer hat ein Muster, z. B. die ersten 3 Ziffern stehen für den Hersteller, die Ziffern 4 bis 8 können alphanumerisch sein und für die Fahrzeugbeschreibungen stehen usw. In diesem Fall erkennt und korrigiert die musterbasierte Datenvalidierung die Extraktionsfehler in der Fahrgestellnummer, einschließlich kniffliger Fehler, wie z. B. die Vertauschung der Zahl 1 und des Großbuchstabens I.

Wörterbuchbasierte Validierung: Dies erfolgt anhand einer Reihe von Daten im System. Sie können beispielsweise das Extrahierte überprüfen Rechnung Der Name des Genehmigers entspricht dem Namen des Genehmigers im IDP-System. In diesem Fall erkennt und korrigiert die wörterbuchbasierte Validierung den Währungscode.

Kontextbasierte Validierung: Dies erfolgt, wenn derselbe Wert in zwei Kontexten relevant ist. Beispiel: Sie extrahieren ein Versicherungsdokument, das in zwei Kontexten den gleichen Wert hat. Angenommen, der Selbstbehalt bei Kollision und der Vollkaskoabzug haben immer den Wert 500. In solchen Fällen interpretieren die ML-Modelle den Kontext möglicherweise falsch, da die Werte identisch sind, und lernen möglicherweise falsch, was letztendlich zu einer Verringerung der Genauigkeit führen kann. Um also solche unterschiedlichen Kontexte mit ähnlichen oder gleichen Werten zu erkennen, ist eine kontextbasierte Validierung der richtige Weg.

Wie implementieren Sie also die Datenvalidierung in IDP-Lösungen? Eine der wichtigsten Strategien ist die Konfiguration von Geschäftsregeln.

Geschäftsregeln

Moderne IDP-Lösungen validieren extrahierte Daten hauptsächlich anhand von Geschäftsregeln. Nehmen wir an, Sie verfügen über ein Spesenmanagementsystem zur Bearbeitung von Rechnungen. Sie extrahieren mithilfe eines OCR-Systems relevante Informationen aus diesen Rechnungen. In der Anfangsphase wird nicht erwartet, dass die Extraktionsgenauigkeit hoch ist. Sie haben jedoch eine Vereinbarung mit Ihrem IDP-Anbieter getroffen, dass das erwartete Maß an Genauigkeit in einem bestimmten Zeitrahmen erreicht werden kann. Nun, wie messen Sie die Genauigkeitsverbesserungen häufig? Sie können dies tun, indem Sie Geschäftsregeln konfigurieren.

Geschäftsregeln können in einer IDP-Lösung auf zwei Arten konfiguriert werden, entweder durch Anpassung über das Backend oder über die Benutzeroberfläche. In modernen IDP-Lösungen sind Geschäftsregeln ein wertvolles Angebot in der Benutzeroberfläche, wo Sie sie gemäß Ihren Anforderungen konfigurieren können.

Automatisierte Verbesserung der Genauigkeit

Alle Korrekturen, die von Ihrem Dateneingabe- oder Korrekturbenutzer vorgenommen werden, dienen als Eingabe in das System, sodass die Genauigkeit bei zukünftigen Extraktionen verbessert wird. Moderne ML-basierte IDP-Systeme lernen automatisch aus Korrekturen, sodass die Genauigkeit zukünftiger Extraktionen verbessert wird. Die Feedback-Schleife bringt die besten Ergebnisse, wenn Korrekturen in die Extraktion integriert werden.

Wenn Sie Daten extrahieren, Der Mensch im Kreis (HITL) spielt die Rolle der Korrektur der Daten, die mit geringer Konfidenz extrahiert werden. IDP-Lösungen weisen eine zu Konfidenzwert beim Extrahieren von Daten auf granularer Ebene, normalerweise auf Feldebene. Jedem Feld, das automatisch extrahiert wird, ist also ein Konfidenzwert zugewiesen. Sie können anhand des Konfidenzwerts entscheiden, welche Felder korrigiert werden müssen.

Nehmen wir ein Beispiel. Sie extrahieren die Rechnungsnummer, den Namen des Händlers, die Händleradresse und den Gesamtbetrag aus einer Rechnung. In diesem Fall legen Sie für wichtige Felder, wie z. B. die Rechnungsnummer, einen hohen Konfidenzwert fest. Wenn die Rechnungsnummer nicht mit hoher Zuverlässigkeit extrahiert wird, wird sie einem Menschen zur Korrektur zugestellt.

Einige Unternehmen lagern Korrekturen aus, um die Kosten zu verwalten. Es besteht jedoch die Möglichkeit, dass ihnen auf lange Sicht höhere Kosten entstehen. Nehmen wir an, Sie haben ein OCR-System zum Extrahieren von Daten, aber Korrekturen werden an ein BPO-Team ausgelagert, da dies billiger oder bequemer ist als die Beschäftigung von Benutzern zur Dateneingabe oder Korrektur. Was Sie hier jedoch vermissen, ist ein langfristig ausgereiftes IDP-System, das den Korrekturaufwand für die Zukunft drastisch reduzieren kann.

Die IDP-Lösung von Infrard verfügt über ein integriertes Dashboard zur Durchführung von Korrekturen, wobei die Feedback-Schleife automatisiert ist. Infrrd bietet zum Patent angemeldete Funktionen an, um eine effiziente und intelligente Analyse von Daten zu gewährleisten, bevor eine Feedback-Schleife ausgelöst wird.

‍

Nachdem der IDP von Infrrd die Daten automatisch extrahiert hat, können je nach Reifegrad der Modelle zwei Dinge passieren: Entweder durchläuft ein Dokument Straight Through Processing oder es wird zur Korrektur bereitgestellt. Wenn einige Felder mit geringer Zuverlässigkeit extrahiert werden, werden die entsprechenden Dokumente zur Korrektur durch einen Dateneingabebenutzer in Warteschlangen gesendet.

‍

‍

Die Warteschlangen werden auf der Grundlage des Konfidenzwerts konfiguriert, den das System während der Extraktion zugewiesen hat.

‍

‍

Die vom Benutzer der Dateneingabe vorgenommenen Korrekturen dienen dem System als Feedback zum Lernen, und dies gewährleistet eine verbesserte Genauigkeit bei zukünftigen Extraktionen.

Da hast du's. Stellen Sie sicher, dass Sie sich für eine futuristische IDP-Lösung entscheiden, um wettbewerbsfähig zu bleiben. Es bedeutet, eine IDP-Lösung zu wählen, die hervorragende Extraktions- und Klassifizierungsfunktionen bietet und über hervorragende Datenvalidierungs- und Feedback-Loop-Funktionen verfügt, um Variationen und Ungenauigkeiten effizient zu verwalten.

In der folgenden Tabelle werden die branchenrelevanten Datenvalidierungs- und Feedback-Loop-Funktionen sowie die Funktionen von Infrrd dargestellt:

‍

In unserem nächsten Beitrag untersuchen wir Gartners Beschreibung von Integration und wie Infrrd im Vergleich dazu abschneidet.

‍