Genauigkeitswert im Vergleich zum Konfidenzwert: So stellen Sie die Genauigkeit Ihrer Datenextraktion sicher

Konfidenzwert im Vergleich zum Genauigkeitswert: Lernen Sie den Unterschied kennen‍

Unternehmen führen ein Intelligentes Dokumentenverarbeitungssystem (IDP) um entweder ihren Betrieb zu skalieren oder einige Kosten zu senken. Unabhängig davon, wofür sie sich entscheiden, müssen sie herausfinden, was ihnen hilft, ihr Ziel zu erreichen. Sollten sie eine höhere Genauigkeit oder einen zuverlässigen Konfidenzwert anstreben? Das ist wie die Matrix-Situation mit roter Pille und blauer Pille. Wählen Sie eine und Ihre Welt wird sich für immer verändern, oder wählen Sie die andere und machen Sie wieder wie gewohnt weiter.

Was ist der Confidence Score?
Der Konfidenzwert ist das Maß an Sicherheit oder Zuverlässigkeit, das mit den extrahierten Daten verbunden ist. Dadurch wird sichergestellt, dass Sie, wenn ein System extrahierte Daten bereitstellt, auf deren Genauigkeit und Urteilsvermögen vertrauen können.

Unserer Erfahrung nach liegt der Schwerpunkt im Umgang mit einigen der größten Finanzdienstleistungsunternehmen in der Regel auf Genauigkeit. Die meisten Unternehmen sind der Meinung, dass sie Gold wert sind, wenn sie eine Genauigkeit von 95% erreichen. Jeder glaubt, dass eine höhere Genauigkeit niedrigere Kosten, schnellere Bearbeitungszeiten und eine bessere Skalierung für sein Unternehmen bedeutet. Das ist zwar nicht völlig falsch, gibt aber nicht das vollständige Bild wieder.

Schauen wir uns das genauer an.

Das Problem, bei der Datenextraktion nur den Genauigkeitswert zu verwenden

Oberflächlich betrachtet scheint Genauigkeit ein gutes Maß zu sein. Es fällt Ihnen schwer, sich vorzustellen, wie Sie Geld verlieren könnten, wenn Sie eine hohe Genauigkeit erreichen. Lassen Sie uns diese hochgenaue Mathematik aufschlüsseln. Angenommen, Sie haben ein Datenverarbeitungsteam, das täglich 10.000 Datenpunkte oder Werte verarbeitet. Ohne ein ML-gestütztes IDP-System wird jeder einzelne dieser Werte manuell von einer Person extrahiert, die diese Dokumente liest. Gehen wir der Einfachheit halber auch davon aus, dass sie 1 Minute damit verbringen, jeden dieser Werte zu extrahieren. Die einfache Berechnung zeigt:

10.000 X 1 = 10.000 Minuten

Nach der Implementierung von ML-AI IDP erhalten Sie ein System, das die Datenextraktion für diese Werte mit einer Genauigkeit von 95% verarbeitet. Das bedeutet, dass 500 Werte falsch und 9.500 Werte korrekt sind. Ohne ein IDP-System muss sich Ihr Datenverarbeitungsteam all diese 10.000 Werte ansehen, um sicherzustellen, dass sie korrekt sind. Bei der IDP-Verarbeitung müssen sie 9.500 Werte überprüfen und nur 500 davon korrigieren. Angenommen, sie benötigen 30 Sekunden, um einen Wert zu überprüfen, und 1 Minute, um ihn zu korrigieren. Hier ist die neue Mathematik:

(9.500 X 0,5) + (1 X 500) = 5.000 Minuten

Hmmm, plötzlich scheint der hohe Genauigkeitsgewinn nicht mehr so hoch auszusehen. Sie haben den Aufwand von 10.000 Minuten auf 5.000 Minuten reduziert.

Hier bedeutet eine Genauigkeit von 95% nur einen Effizienzgewinn von 50%!

Über den Genauigkeitswert hinaus: Einführung des Confidence Score

IDP-Systeme umgehen diese Herausforderung, indem sie Ihnen einen Vertrauenswert bieten. EIN maschinelles Lernen Wahrscheinlichkeitswert, der Ihnen sagt, wie sicher der zugrunde liegende Algorithmus ist, dass er den richtigen Wert extrahiert hat. Das Problem mit dem Konfidenzwert ist, dass Sie, wenn es nicht 100% sind, nicht zuverlässig entscheiden können, ob Sie sich die extrahierten Daten ansehen müssen oder nicht. Manchmal gibt Ihnen der Algorithmus möglicherweise einen Konfidenzwert von 65% und hat damit völlig Recht. In anderen Fällen erhalten Sie möglicherweise einen Konfidenzwert von 95% und extrahiert dennoch den falschen Wert.

Wussten Sie das? Ein Konfidenzintervall ist im Wesentlichen der Wertebereich, der erforderlich ist, um den Schwellenwert des Konfidenzwerts für eine gesamte Grundgesamtheit zu erreichen. Konfidenzintervalle werden normalerweise im Zusammenhang mit einer Fehlerspanne angegeben.

Wenn Sie jedoch einen zuverlässigen Konfidenzwert haben — mit zuverlässig meine ich, dass Sie ihn zur Bank bringen — zuverlässig ist, kann Ihnen das System dann sagen, wann Sie sich einen extrahierten Wert nicht ansehen und unverändert verwenden müssen. Lassen Sie uns diese Mathematik noch einmal durchgehen. Dieses neue IDP-System ist zu 85% genau, bietet Ihnen aber einen Zuverlässigkeitswert von 50%. Das bedeutet, dass sich niemand die 70% -Werte ansehen muss, die es extrahiert hat. Hier ist die neue Mathematik:

Extrahierter Wert: 10.000 X 85% = 8.500

Zuverlässige Werte: 8.500 X 70% = 5.950

Zeitaufwand: (2.050 X 0,5) + (1.500 X 1) = 2.525

Dies entspricht einer Effizienzsteigerung von fast 75%
mit einem System, das eine um 10% geringere Genauigkeit hat!

Bei den Konfidenzwerten gibt es zwei Herausforderungen.

Bei der ersten geht es um Bewusstsein. Die meisten Kunden messen der Genauigkeitsbewertung übergroße Bedeutung bei und sind sich nicht bewusst, dass sie sich eine ganze Reihe von Daten ansehen müssen, sofern sie nicht bei 100% liegt. Dies ist ein grundlegendes Missverständnis darüber, wie Wahrscheinlichkeit funktioniert. Wenn die Genauigkeit eines Feldes 90% beträgt, besteht eine Wahrscheinlichkeit von 10%, dass das Feld zu 100% falsch ist. Leider gibt es keine andere Möglichkeit zu suchen, ob dieses Feld korrekt ist oder nicht, außer es sich anzusehen. Aus diesem Grund bedeutet ein hoher Genauigkeitswert von 90% nicht unbedingt, dass Sie 90% Ihres Aufwands sparen, es sei denn, der Algorithmus kann Ihnen sagen, welche 90 der 100 Dokumente korrekt sind.

Die zweite Herausforderung besteht darin, dass die meisten Anbieter keine verlässliche Vertrauensbewertung angeben können, bei der sie direkt zur Bank gehen können. Deshalb hat Infrrd eine Antwort für dieses Problem gefunden.

Die Infrarot-Version von Accuracy Score und Confidence Score

Warum vergessen die meisten Intelligent Document Processing-Plattformen/IDP-Lösungen den Zuverlässigkeitsfaktor, wenn es um Vertrauenswerte geht?

Der Hauptgrund dafür sind in der Regel der Grad an Fachwissen und die Kosten, die mit einer Vertiefung verbunden sind, anstatt sich nur mit einem Sprachmodell auf Zeichenebene oder einer Bewertung auf Wortebene zufrieden zu geben.
‍

‍
Dies ist ein ziemlich komplexes Problem, und unser Forschungsteam hat viel Zeit damit verbracht. Selbst für die führenden IDP-Anbieter ist es äußerst schwierig, dieses Vertrauen zu vermitteln, und vielleicht versuchen sie deshalb, die Konversation so zu steuern, dass mehr Genauigkeit als das Konfidenzniveau erreicht wird. Fortschritte in der Technologie und bei Modellen für maschinelles Lernen im Allgemeinen ermöglichen es uns, Vertrauenswerte mit Zuversicht (Trommelwirbel bitte) zu verteilen.

Unser zum Patent angemeldeter Konfidenzbewertungsalgorithmus verwendet neuartige Techniken, um Testdaten und mehrere Signale zu betrachten. So erhalten Sie einen Konfidenzwert, der so gut ist, dass Sie sich die Daten nicht zur Überprüfung ansehen müssen. Dies führt zu echten Kosteneinsparungen und, was noch wichtiger ist, zu mehr Zeit für Ihre Datenverarbeitungsteams. Von den Trainingsdaten bis hin zu korrekten Vorhersagen, von der Precision-Recall-Kurve bis hin zu wahren Werten — mit Infrrd können Sie sicher sein, dass Sie die Vertrauensschwelle relativ leicht überschreiten. Außerdem erspart es Ihnen den Aufwand, sich mit falschen Vorhersagen, falsch positiven und falsch negativen Ergebnissen aus dem Testdatensatz auseinanderzusetzen.

Was auch immer Ihr Anwendungsfall sein mag, legen Sie Wert darauf, in eine IDP-Lösung zu investieren, die auf einem maschinelles Lernen (ML) -Modell, das tiefer in die Daten eintaucht und Ihnen Zuverlässigkeit bietet — das Modell, das einen Vertrauenswert bietet, der direkt zur Bank geht.

‍