Extraktion von Dokumentdaten: So automatisieren Sie die Datenextraktion aus komplexen Dokumenten

Geschäftsprozesse, die von komplexen Dokumenten gespeist werden, sind ein Bär.

‍

‍

Warum?

Komplexe Dokumente.

An einem Ort, an dem Kompliziertes alles ins Stocken bringen kann, rauben komplexe Dokumente der Produktivität das Leben.

Sicher, du hast vielleicht eine OCR-System an einem Ort, der Ihre Dokumente verarbeitet.

Und OCR ist eine gute Technologie...für strukturierte Dokumente. Aber was ist mit diesen komplexen, unstrukturierten Dokumenten?

Oder zum Teufel, vielleicht verarbeiten Sie Ihre Dokumente immer noch manuell. Die gute alte menschliche Anstrengung ist eine bewährte Methode, um ein Dokument in das System einzugeben, das Ihren Geschäftsprozess ausführt. Ein Mensch kann sogar die richtigen Daten in einem Meer komplexer Daten finden. Irgendwann.

Aber Menschen sind langsam, fehleranfällig, inkonsistent und teuer. (Und in manchen Fällen vielleicht doch nicht so hervorragend!)

Dann sind da noch all die Herausforderungen.

Komplexe Dokumente:

• Kann mehrere Formate haben
• Kann nicht zu einer Vorlage gezwungen werden
• Vielleicht frei fließend
• Könnte Tische haben...oder noch schlimmer! Verschachtelte Tabellen!‍
• Könnte Bilder enthalten
• Könnte Handschrift beinhalten...oder noch schlimmer! Unordentliche Handschrift!‍
• [TRAGEN SIE HIER IHREN LIEBLINGS-EXTRAKTIONSSCHMERZ EIN!]

Das Schlimmste? OCR-Systeme stoßen definitiv an ihre Grenzen, wenn Dokumente zu komplex werden.

Soviel zur Automatisierung, oder?

(Leider, guter Leser... es gibt Hoffnung.)

Eine Studie von Accenture ergab, dass Unternehmen, die ihre Datenextraktionsprozesse automatisieren, die Verarbeitungszeiten um bis zu 80% reduzieren können, was zu erheblichen Kosteneinsparungen führt.

Was ist ein dokumentenzentrierter Workflow?

In seiner einfachsten Form ist ein dokumentzentrierter Workflow ein Workflow, der einen Geschäftsprozess ausführt. In fast allen Fällen fließen Dokumente in den Prozess ein, der das Erfassen von Inhalten, das Extrahieren von Informationen aus dem Inhalt und das Ergreifen einiger Maßnahmen auf der Grundlage dieser Informationen umfasst.

Hier ist zum Beispiel ein Dokumentfeed-Prozess, der Ihnen wahrscheinlich bekannt vorkommt...

Ich reiche meine Gesundheitskosten bei meiner Krankenkasse ein, um eine Rückerstattung zu erhalten. Ich muss:

• Kopieren Sie die Quittung
• Formulare ausdrucken
• Füllen Sie die Formulare aus
• Holen Sie sich einen Umschlag und einen Stempel
• Finde die Adresse heraus
• Mailen Sie es

Und das ist nur mein Ende.

In prozessorientierten Workflow-Anwendungsfällen enthalten Inhalte Daten und Informationen, die für den Prozess und das Unternehmen kontextuell relevant sind.

„Daten sind das neue Öl. Die Unternehmen, die es am besten nutzen, werden erfolgreich sein. „- The Economist

In den Inhalten, die wir alle verwenden, steckt ein Wert, der schwer zu veröffentlichen ist.

Klassifizierung von Dokumenten

Dokumente können in verschiedene Formen und Typen eingeteilt werden. Dokumente können Bilder, Text, Zahlen, Videos oder eine Mischung aus verschiedenen Typen sein.

Die Klassifizierung kann auf einer beliebigen Anzahl von Dingen basieren, darunter:

• Bilder
• E-Mails
• Text
• SMS
• Jahresberichte
• Quittungen
• Rechnungen
• Kontoauszüge
• Stempel
• ACORD-Formulare
• Reklamationen
• Handgeschriebene Formulare
• Stromrechnungen
• Elektrische Schalttafel
• Und noch viel mehr!

Datenextraktion

In einer Data Warehouse-Umgebung bezieht sich Extraktion auf das Extrahieren von Daten aus einem Quellsystem, bekannt als Extraktion von Dokumentdaten. Dies ist der erste Schritt im ETL-Prozess. Diese Daten können geändert und dem Data Warehouse hinzugefügt werden, nachdem sie extrahiert wurden. Die für die Transaktionsverarbeitung verwendete Software dient in der Regel als Quellsystem für ein Data Warehouse. Wenn Daten berücksichtigt und verarbeitet werden, um relevante Details aus Datenquellen (wie Datenbanken) auf strukturierte Weise zu erhalten, wird dies als Datenextraktion bezeichnet.

In vielen Datenstrukturen und unstrukturierten Datenquellen findet der Großteil der Datenextraktion statt. Ein Warehouse kann Daten aus mehreren Quellen empfangen, die als automatische Datenextraktion, Um die eingehenden Aufzeichnungen verwenden zu können, muss das Lager also drei verschiedene Strategien anwenden. Wir nennen diese Schritte Extraktion, Transformation und Laden (ETL). Darüber hinaus können die in den Dokumenten enthaltenen Informationen mithilfe eines manuellen Prozesses, OCR oder einer anderen Technologie extrahiert werden. Bei der Entscheidung, welche davon verwendet werden soll, ist es wichtig zu wissen, ob wir alle Informationen aus dem Dokument extrahieren können und wie genau diese Informationen sind.

Anschließend werden die gewonnenen Daten und Informationen in einen Prozess eingespeist. Denken Sie an die Bearbeitung von Hypotheken, die Bearbeitung von Reiserouten, die Bearbeitung von Krediten, die Bearbeitung von Forderungen RFP-Antwort Bearbeitung, Einhaltung von Finanzvorschriften, Wirtschaftsprüfung, Spesenmanagement, Bearbeitung von Rechnungen, und so weiter.

Sie haben wahrscheinlich Prozesse ausgeführt, die Folgendes erfordern Datenextraktion seit einiger Zeit. Wenn Sie wie die meisten sind, sind Sie auf Straßensperren gestoßen. Und aufgrund dieser Hindernisse stecken Ihre Automatisierungspläne fest.

Der Schuldige? Es sind wahrscheinlich komplexe Daten.

Wie können Sie feststellen, ob Ihre komplexen Daten Ihre Automatisierungsziele blockieren?

Es gibt einen guten Grund für mehr Prozessautomatisierung, wo immer dies möglich ist. Eine Steigerung der Effizienz, Produktivität und/oder Kosteneinsparungen um mehr als 10 mal klingt unglaublich, oder?!

Wenn Ihr Ziel darin besteht, mehr dieser mit Dokumenten gespeisten Prozesse zu automatisieren, für die heute Menschen für die Dateneingabe erforderlich sind... oder solche, für die OCR nachweislich nicht in der Lage ist, wie diagnostizieren Sie das Problem, damit Sie Ihre Ziele erreichen können?

Und woher wissen Sie, wann komplexe Daten zu einem Prozessengpass führen?

Die Komplexität Ihrer Daten deutet wahrscheinlich auf den Schwierigkeitsgrad hin, auf den Sie stoßen werden, wenn Sie versuchen, die Daten zu extrahieren und daraus Erkenntnisse zu ziehen.

Was sind einige Faktoren, die die Verarbeitung von Dokumenten erschweren?

• Der Inhalt ist frei fließend
• Das Dokument ist unstrukturiert
• Es enthält Handschrift
• Es besteht aus mehreren Dokumenttypen
• Formate ändern sich im selben Dokument
• Die Schriftarten ändern sich im selben Dokument
• Das Dokument enthält komplexe Tabellen
• Die Tabellen befinden sich an verschiedenen Orten
• Es fehlen Informationen
• Bilder und Bilder sind vorhanden

Dies sind Dokumenttypen, bei denen OCR fehlschlägt und die manuelle Verarbeitung zu kompliziert wird.

Was ist das Geschäftsergebnis komplexer Dokumente?

Wenn Sie komplexe Dokumente haben, die nicht automatisiert werden können, leidet Ihr Unternehmen darunter.

Wie sieht es aus?

• Hohe Betriebskosten
• Niedrige Prozesseffizienz
• Lange Prozessabschlusszeiten
• Extraktionsgenauigkeit, die zu gering ist, um nützlich zu sein

Ich denke, diese Kunden haben es auf den Punkt gebracht, als sie sagten...

„Als Finanzunternehmen verbringen unsere Mitarbeiter viel Zeit damit, Rechnungen neu zu schreiben.“

Und...

„Wir wollen alle Informationen aus Dokumenten extrahieren, damit wir mehr Prozesse automatisieren und alle Informationen nutzen können, um Erkenntnisse zu gewinnen. Unsere Analysten verwenden jedoch nur 10-20% der Daten in den Dokumenten, da wir den Rest nicht extrahieren können.“

Lösungen für komplexe Datenverarbeitung

Die Branche hat sich von OCR zu Lösungen entwickelt, die mehrere KI-Technologien verwenden, um die Engpässe zu beheben. Diese Lösungen sind wie folgt kategorisiert:

Der Ansatz der alten Schule: OCR
Der moderne Ansatz: Verschiedene Namen, darunter:

• Intelligente Datenverarbeitung‍
• Intelligente Datenerfassung
• Maschinelles Lernen OCR
• Kognitive Erfassung
• AI OCR
• AIR RPA

An anderer Stelle werden Sie lesen, wie KI-Technologie zur Lösung unstrukturierter Datenprobleme eingesetzt wird. Seien Sie hier vorsichtig; KI ist zu einem Schlagwort geworden, das einige Anbieter einsetzen, um zu beschreiben, wie KI in ihren Lösungen zum Tragen kommt.

Im Moment ist der entscheidende Punkt dieser:

Intelligente Datenverarbeitung (IDP) kann praktisch alle Informationen extrahieren, die Daten verstehen und aus komplexen Dokumenten zusätzlichen Wert schöpfen.

Die drei häufigsten Probleme komplexer Dokumente

Infrrd hat mit Hunderten von Unternehmen und Unternehmen Hand in Hand gearbeitet, um komplexe Datenprobleme zu lösen. Wir haben viele Geschichten zu erzählen. Schauen wir uns zunächst die drei wichtigsten Anwendungsfälle an, denen wir am häufigsten begegnen.

Problem 1. Datenextraktion aus Jahresberichten

Ein Finanzdienstleistungsunternehmen vergibt Geschäftskredite.

Die Bank vergibt und bedient den Kredit. Die Unternehmen, an die sie Kredite vergeben, müssen Finanzberichte vorlegen, damit die Bank die finanzielle Solidität und die Einhaltung der Vorschriften sicherstellen kann.

‍

‍

Ziemlich einfach, oder? Also, was ist das Problem?

Finanzberichte (in diesem Fall Jahresberichte) haben keinen universellen Standard. Sie liegen in der Regel in unterschiedlichen Formaten vor, haben nicht standardisierte Taxonomien und können von Jahr zu Jahr variieren. Diese Berichte enthalten Grafiken, Diagramme und Tabellen, die ebenfalls inkonsistent sind.

Die Komplexität dieser Dokumente erfordert eine manuelle Bearbeitung, da OCR das Dokument mit so wenig Struktur nicht verarbeiten kann. Was ist schlimmer? Dieser manuelle Prozess ist immer kostspieliger, langsamer und inkonsistent. Selbst der kleinste Fehler kann die gesamte finanzielle Bewertung der Bank in Frage stellen.

Ohne die in diesen Dokumenten enthaltenen Informationen kann die Bank jedoch nicht feststellen, wie gut es den Unternehmen in ihrem Kreditportfolio geht und warum. Und wenn die Informationen nicht rechtzeitig geliefert werden? In diesem Fall führt die Bank unnötige Betriebsrisiken in ihr System ein.

„Bei der Extraktion von Dokumenten geht es nicht nur darum, Zeit zu sparen, sondern auch Fehler zu reduzieren und die Genauigkeit zu verbessern.“ - Jason Bloomberg, Forbes-Mitarbeiter

Infrrd arbeitete mit dieser Bank zusammen, um Daten aus ihren komplexen Dokumenten zu extrahieren. Die Bank verwendet jetzt die intelligente Datenverarbeitungslösung von Infrrd, die eine vielschichtige Abfolge von KI-Modellen anwendet. Das Ergebnis? Diese Bank hat keine mehr Bearbeitung von Jahresberichten Problem.

Problem 2. Datenextraktion aus Schalttafelzeichnungen

Eine Schalttafelzeichnung ist ein Bild, das den Aufbau und die Komponenten einer Schalttafel, einer Schalttafel oder einer Schalttafel beschreibt.

Das folgende Beispiel zeigt, dass es auch Artikelnummern und Spezifikationen für die Komponenten gibt.

Wie extrahiert man also nutzbare Daten aus diesen Panels? Sind sie dafür zu komplex?

‍

Stell dir das vor.

Ein Lieferant erhält von einem Hersteller ein RFP-Paket, das Dokumente und Schalttafelzeichnungen enthält. Der Lieferant muss die Zeichnungen lesen, ein Angebot erstellen und es an den Bauunternehmer senden. Wenn der Lieferant das beste Angebot hat, gewinnt er das Geschäft.

Wenn das RFP-Paket (Dokumente und viele Schalttafelzeichnungen) jedoch manuell verarbeitet wird, dauert es Wochen, ein Angebot zu erstellen.

Könnte automatisiert werden Datenextraktion auf diesen Tafelzeichnungen verwendet werden?

Durch die Zusammenarbeit mit diesem Anbieter haben wir herausgefunden, dass er OCR ausprobiert hat... und gescheitert ist.

OCR kann Schalttafelzeichnungen nicht verarbeiten, da Folgendes nicht möglich ist:

• Identifizieren Sie den Linienstil und die Linienstärke
• Textausrichtung verstehen (oben, unten, an der Seite der Zeichnung)
• Unterscheide Symbole von Zahlen und Buchstaben

Nach der Zusammenarbeit mit INFRRD lernte der Lieferant, wie man eine KI-native Informationsextraktionsplattform verwendet, um die einzigartigen Herausforderungen selbst der komplexesten Schalttafelzeichnungen zu bewältigen. Infolgedessen automatisierte der Lieferant seinen RFP-Prozess. Heute reagieren sie 20-mal schneller und mit höherer Genauigkeit auf die von ihnen betreuten Bauherren.

Entgegen der landläufigen Meinung JA. Sie können die Datenextraktion aus Schaltschrankzeichnungen automatisieren.

Problem 3. Datenextraktion aus Tabellen

Tische sind überall. Sie finden sie in Jahresberichten, Jahresabschlüssen, Rechnungen, Rechnungen, Quittungen und Managementberichten.

Tabellen helfen dabei, Informationen zu strukturieren, sodass wir Menschen sie leichter verstehen können.

Und... Tische sind wirklich überall. Wahrscheinlich befinden sie sich in genau den Dokumenten, die die Informationen enthalten, die Sie extrahieren möchten!

Die größte Herausforderung bei Tabellen zeigt sich mit zunehmender Komplexität. So sieht das aus:

• Tabellen werden in Berichten nicht an derselben Stelle angezeigt
• Die Schriftarten in derselben Tabelle variieren
• Die Tabelle enthält Zahlen und Buchstaben
• Tabellen werden mit und ohne Rahmen angezeigt
• Sie finden Tabellen innerhalb von Tabellen (verschachtelte Tabellen)
• Tabellen umfassen Dutzende — oder sogar Hunderte — von Seiten

Manuelle Bearbeitung von Tabellen dürfen funktioniert bei einer einfachen Tabelle mit begrenzten Zeilen und Spalten. Wenn sich Tabellen jedoch über viele Seiten erstrecken, kann jeder, der die Daten liest, Fehler machen.

Wie Sie sich vorstellen können, wird OCR auch durch Tabellen herausgefordert. Wenn eine Tabelle keine Grenzen hat — wie unten — kann eine OCR die Informationen nicht als Tabelle identifizieren... und natürlich den Tabellentyp.

‍

OCR schlägt auch fehl, wenn es identifizieren muss, ob ein Eintrag eine Null oder ein „O“ ist.

Infrrd und unsere Kunden extrahieren seit langem erfolgreich Daten aus Tabellen. Es erfordert eine andere Denkweise und einen völlig anderen Ansatz als OCR, um alles immer richtig zu machen.

Abwurf von Wissensbomben bei der Informationsextraktion

In diesem Blog haben Sie einige Grundlagen von gelernt Datenextraktion aus komplexen Dokumenten.

Erinnern Sie sich an die drei herausfordernden Anwendungsfälle (Jahresberichte, Panels und Tabellen)? Die meisten Menschen, die diese erleben, werfen frustriert die Hände hoch... und gehen weg. Sie nutzen nie den wahren Wert, der in ihren Dokumenten steckt!

Können Sie den vollen Wert von Daten und Informationen aus komplexen Dokumenten extrahieren?

JA. DU. KÖNNEN.

In unseren Blogbeiträgen erfahren Sie, wie Sie jedes dieser Probleme mit unstrukturierten Daten lösen können.

Wir werden das alles genauer besprechen.

Und Sie werden sehen, wie Sie KI-Technologien für sich nutzen können.

Du wirst der komplexe Datenextraktion Maestro Ihrer Organisation. Und die Automatisierungsengel werden Ihren Namen unisono singen.

Aber pass auf! Es wird Quizfragen geben, und du musst die Denkmütze aufsetzen!

Denken Sie bis dahin darüber nach: Was könnten wir sonst noch erreichen, wenn wir alle Daten und Informationen aus all unseren komplexen Dokumenten extrahieren könnten?

Die Antwort darauf wird Sie wahrscheinlich verblüffen.

Bis zum nächsten Mal... es sei denn, du willst chatten Sie mit einem Experten jetzt

Häufig gestellte Fragen zur Dokumentenextraktion

Was ist Dokumentenextraktion und warum ist sie wichtig?

Bei der Dokumentenextraktion werden Daten aus unstrukturierten oder halbstrukturierten Dokumenten wie PDFs, Rechnungen, Quittungen und Formularen automatisch identifiziert und extrahiert. Dies ist wichtig, da es im Vergleich zur manuellen Dateneingabe Zeit spart und Fehler reduziert, die Datengenauigkeit verbessert und eine bessere Datenanalyse und Entscheidungsfindung ermöglicht.

Wie funktioniert die automatische Dokumentenextraktion?

Bei der automatisierten Dokumentenextraktion werden Algorithmen für maschinelles Lernen und OCR-Technologie (Optical Character Recognition) verwendet, um Dokumente zu scannen und zu analysieren, wichtige Datenelemente zu identifizieren und sie in strukturierte Formate wie Tabellen oder Datenbanken zu extrahieren. Es kann auch die Datengenauigkeit validieren und verifizieren, Abweichungen und Ausnahmen behandeln und aus dem Feedback der Benutzer lernen, um die Leistung im Laufe der Zeit zu verbessern.

Wie kann die Automatisierung die Extraktion von Dokumentendaten verbessern?

Die Automatisierung kann die Extraktion von Dokumentendaten verbessern, indem Geschwindigkeit, Genauigkeit und Skalierbarkeit erhöht werden. Es kann auch die Kosten senken und Ressourcen für andere Aufgaben freisetzen.

Was sind einige beliebte Tools und Software zum Extrahieren von Dokumenten?

Zu den beliebten Tools und Software zur Dokumentenextraktion gehören Abbyy FlexiCapture, Kofax, Ephesoft, Rossum, Docparser und Amazon Textract.

Wie genau ist die Extraktion von Dokumenten?

Die Genauigkeit der Dokumentenextraktion hängt von der Qualität des Dokuments, der Komplexität der zu extrahierenden Daten und der Genauigkeit der verwendeten Extraktionswerkzeuge und -techniken ab. Mit modernen Tools und Techniken kann die Genauigkeit bis zu 95-99% betragen.