Intelligent Document Processing (IDP) verstehen: Was passiert mit Ihren Dokumenten vor der Datenextraktion?

Gartner hat kürzlich veröffentlicht, „Infografik: Intelligente Dokumentenverarbeitung verstehen“. Laut Gartner „ist der Markt für die Erfassung, Extraktion und Verarbeitung von Dokumenten stark fragmentiert. Führende Unternehmen aus den Bereichen Daten und Analytik sollten diese Forschungsergebnisse nutzen, um den Prozessablauf und die differenzierten Funktionen intelligenter Dokumentenverarbeitungslösungen zu verstehen.“ In dieser Reihe von Beiträgen werden wir auf die 6 kritischen Abläufe bei IDP eingehen, die Gartner behandelt, und darauf, wie Infrarot-Lösungen im Vergleich dazu abschneiden.

1. Erfassung oder Aufnahme
2. Vorverarbeitung von Dokumenten
3. Klassifizierung von Dokumenten
4. Datenextraktion
5. Validierungs- und Feedback-Schleife
6. Integration

In diesem ersten Beitrag untersuchen wir den gesamten Arbeitsablauf der intelligenten Dokumentenverarbeitung, von der Vorverarbeitung bis zur Nachbearbeitung.

Warum intelligente Dokumentenverarbeitung?

Wenn Sie in der Dokumentenverarbeitung tätig sind und eine große Menge an Dokumenten verarbeitet wird — seien es Rechnungen, Quittungen, Versicherungsformulare oder Gesundheitsdokumente —, erwägen Sie möglicherweise eine Migration oder haben bereits zu einem automatisierten Prozess migriert, um wettbewerbsfähig zu bleiben. Das ist wo Lösungen für intelligente Dokumentenverarbeitung (IDP) kann eine leistungsstarke Möglichkeit sein, Ihr Unternehmen zu transformieren.

Intelligent Document Processing (IDP) ist das Schlagwort, wenn es um die Automatisierung der Dokumentenverarbeitung geht. Mit Lösungen zur intelligenten Dokumentenverarbeitung (IDP) werden Dokumente mit exponentieller Geschwindigkeit und hoher Genauigkeit verarbeitet, was auf eine berührungslose Strategie abzielt, was minimalen manuellen Aufwand bedeutet.

Intelligent Document Processing (IDP) konzentriert sich in erster Linie darauf, aussagekräftige Schlüsse und relevante Informationen aus Variationen von Dokumenten verschiedener Dokumenttypen wie unstrukturiert, halbstrukturiert und strukturiert zu gewinnen.

Die Vorverarbeitung in IDP-Lösungen kann grob in zwei Bereiche unterteilt werden

1. Automatisierte Erfassung oder Aufnahme
2. Automatisierte Vorverarbeitung

Schritt 1 der intelligenten Dokumentenvorverarbeitung: Erfassung oder Aufnahme von Dokumenten

Die erste Phase der Dokumentenverarbeitung durch eine Intelligent Document Processing (IDP) -Lösung ist intelligente Erfassung oder Aufnahme. Optische Zeichenerkennung (OCR) und leistungsstarke Algorithmen für maschinelles Lernen spielen hier eine große Rolle.

Einfach ausgedrückt, Ihr Unternehmen ist eine Anhäufung von Daten, angefangen von einer Kunden-E-Mail bis hin zu komplexen Inventar- oder Rechnungsdokumenten. Sie können diese Daten grob in drei Kategorien einteilen:

• Strukturiert: Dies sind die am besten organisierten Daten, bei denen die Informationen gut strukturiert sind. Zum Beispiel ein Regierungsformular oder tabellarische Daten in einer Excel-Tabelle.
• Unstrukturiert: Dabei handelt es sich um unorganisierte Daten, deren Verarbeitung am komplexesten ist. Informationen können in verschiedenen Formaten vorliegen, z. B. als Bild, Video, Audiodatei, E-Mail-Nachricht oder sogar Nachrichtenartikel.
• Halbstrukturiert: Dies ist eine Mischung aus strukturierte und unstrukturierte Daten. Zum Beispiel Rechnungen, Bestellungen, Frachtbriefe, Vertragsdokumente, Geschäftsberichte usw.

Den Daten zufolge liegen in der realen Welt mehr als 75% der Daten entweder in einem unstrukturierten oder halbstrukturierten Format vor. Um diese Daten für ein großes Dokumentenvolumen automatisch verarbeiten und strukturieren zu können, benötigen Sie eine robuste und effiziente IDP-Lösung wie die Intelligent Document Processing (IDP) von Infrrd, damit Sie im Vergleich zu Ihren Mitbewerbern keine Kompromisse in Bezug auf Zeit, Genauigkeit und Effizienz eingehen.

Wie geht also eine KI-basierte Lösung für intelligente Dokumentenverarbeitung (IDP) mit Daten um, insbesondere mit unstrukturierten und halbstrukturierten Daten?

IDP-Systeme verwenden KI-basierte optische Zeichenerkennung (OCR), die in Technologien wie Computer Vision und Natural Language Processing (NLP) verwendet wird. Die optische Zeichenerkennung (OCR) wird hauptsächlich zur Erkennung sprachbezogener Zeichen, Buchstaben, Zahlen usw. verwendet. Herkömmliche OCR ist in hohem Maße von strukturierten Daten abhängig. Mit Computer Vision und NLP haben die Fähigkeiten der OCR zur Verarbeitung unstrukturierter und halbstrukturierter Daten jedoch einen Paradigmenwechsel erfahren.

IDP-Lösungen erkennen die durch OCR extrahierten Daten und ermöglichen es Ihnen, sie anhand der Datentypen zu strukturieren, unabhängig davon, ob es sich um Dokumente handelt strukturiert, unstrukturiert oder halbstrukturiert. Darüber hinaus ermöglichen Algorithmen für maschinelles Lernen in IDP-Systemen dem System, bei jeder Verarbeitung eines Dokuments exponentiell aus Schulungen und Korrekturen zu lernen.

Schritt 2 der intelligenten Dokumentenvorverarbeitung: Vorverarbeitung von Dokumenten

Bei Lösungen zur intelligenten Dokumentenverarbeitung (IDP) durchlaufen Dokumente die Vorverarbeitungsphase, in der OCR- und Machine-Learning-Algorithmen die Dokumentenqualität bewerten und Lösungsmaßnahmen ergreifen, bevor sie tatsächlich extrahiert werden. Die Vorverarbeitung von Dokumenten ist ein wichtiger Schritt, um eine qualitativ hochwertige Extraktion sicherzustellen. Es bezieht sich auf die Bereinigung, Organisation und Transformation der Rohdaten, damit sie der Qualität entsprechen, die von den Modellen der intelligenten Dokumentenverarbeitung (IDP) oder des maschinellen Lernens erwartet oder vorgeschrieben wird. Es handelt sich in erster Linie um eine Data-Mining-Technik, die darauf abzielt, die Dokumentenqualität zu verbessern.

Die Intelligent Document Processing (IDP) -Lösung von Infrrd verwendet fortschrittliche KI-Technologien für die Dokumentenvorverarbeitung. Lassen Sie uns in die Vorverarbeitungsstrategien von IDP-Lösungen eintauchen.

Schritt 3 der intelligenten Dokumentenvorverarbeitung: Datenanmerkung und -beschriftung

Die Anmerkung und Kennzeichnung von Daten ist ein Konfigurationsprozess, bei dem Sie Ihr System so einrichten, dass es für die Vorverarbeitung bereit ist.

IDP-Systeme haben eine maschinelles Lernen-erster Ansatz. Das bedeutet, dass die Dokumente auf der Grundlage eines konfigurierten Modells für maschinelles Lernen verarbeitet werden. Infrrd verwendet Training, auch Tagging genannt, um Modelle für die Dokumentenverarbeitung zu konfigurieren. Der Benutzer oder Manager der Konfiguration ist mit Daten- und Kommentarfunktionen ausgestattet, um einen bestimmten Dokumenttyp einschließlich der Dokumentfelder zu trainieren. Wenn Sie ein vorab trainiertes globales Modell verwenden, das Dokumente für bekannte Dokumenttypen mit hoher Genauigkeit verarbeiten kann, ist der Aufwand für Datenanmerkungen oder -kennzeichnungen minimal. Mit den Datenannotationsfunktionen von Infrrd IDP können Sie jedoch auch unbekannte Dokumenttypen einfach konfigurieren, kennzeichnen und trainieren.

Schritt 4 der intelligenten Dokumentenvorverarbeitung: Dokumente zusammenführen oder teilen

Wenn Sie Hunderte oder Tausende von Papier- oder digitalen Dokumenten verarbeiten, ist es die praktische Realität, dass zahlreiche unstrukturierte, unorganisierte mehrseitige Dokumente zur Verarbeitung zur Verfügung stehen. Hier werden die wichtigsten Vorverarbeitungsaktivitäten automatisch von IDP-Plattformen ausgeführt. Einer der Schlüssel ist das Zusammenführen oder Teilen Ihrer Dokumente.

Die Intelligent Document Processing (IDP) -Lösung von Infrrd verwendet Technologien wie Computer Vision und NLP, um Ihre Dokumente zu analysieren und deren Struktur und Layout zu erkennen, um die Dokumente zu erkennen, die aufgeteilt werden müssen. Sie können eine übergeordnete Datei hochladen, und das System von Infrrd erkennt sie und teilt sie dann in einzelne Dokumente auf, um die integrierte OCR-Engine für die nachgelagerte Verarbeitung zu aktivieren, wie in der Abbildung gezeigt.

Schritt 5 der intelligenten Dokumentenvorverarbeitung: Schrägkorrektur

Systeme zur intelligenten Dokumentenverarbeitung (IDP) bieten die besten Extraktionsergebnisse, wenn sich Dokumentelemente wie Bilder und Text in einer aufrechten Position befinden. In der Praxis trifft dieses Szenario jedoch bei weitem nicht zu, da Sie mehrere Varianten von Dokumenten haben, einschließlich unstrukturierter physischer Kopien, bei denen viele der Elemente schief erscheinen. Der Text wird in verschiedenen Winkeln gedreht oder geneigt angezeigt. Denken Sie an gescannte Dokumente. Sie müssen die Winkelneigungen und die Ausrichtung korrigieren, bevor Sie das Dokument bearbeiten, und zwar buchstäblich auf Null Grad. Eine der beliebtesten Techniken von IDP-Lösungen ist eine Schrägkorrektur, auch bekannt als Schräglenkorrektur. Bei diesem Vorgang entfällt der manuelle Aufwand, da die Schrägkorrektur in Intelligent Document Processing (IDP) automatisiert ist.

Die Intelligent Document Processing (IDP) -Lösung von Infrrd verwendet eine Kombination aus kohärenten Algorithmen für maschinelles Lernen, Deep-Learning-Modellen, OCR-Funktionen und -Techniken und -Mechanismen wie Hough Transform, um außergewöhnliche Ergebnisse bei der Schrägkorrektur zu gewährleisten. Der High-Leve-Flow unserer Deskew-Techniken umfasst:

• Identifizieren der Textblöcke oder Bilder, die verzerrt werden sollen
• Erkennung der Schiefe und Berechnung des Textwinkels
• Anwendung von Infrarot-Entschrägungsmechanismen zur Korrektur der Schräglage auf Nullwinkel

‍

Schritt 6 der intelligenten Dokumentenvorverarbeitung: Rauschunterdrückung

Beim Entrauschen werden körnige Bereiche wie schwarze Punkte, Unschärfe oder Schatten erkannt und entfernt und bereinigt, um eine bessere Qualität wiederherzustellen. Die physischen Dokumente, die Sie hochladen, können sich im Laufe der Zeit aus einer Reihe von Gründen wie Schmutz, Flecken oder Falten verschlechtert haben. An dieser Stelle wird die Rauschunterdrückung zu einer wichtigen Vorverarbeitungsaktivität für IDP-Systeme.

Zu den Methoden der Intelligent Document Processing (IDP) zur Rauschunterdrückung von Dokumenten gehören:

• Medianfilterung: In erster Linie, um die weißen Stellen im Hintergrund herauszuziehen
• Kantenerkennung, Dilatation und Erosion, auch bekannt als EDE-Methode: Erkennt unerwünschte Elemente wie Boxen oder Linien und entfernt sie
• Adaptiver Schwellenwert: Identifiziert unerwünschte Elemente, indem der Schwellenwert von Pixeln erkannt wird
• Lineare Regression: Führt eine Helligkeits- und Kontrastkorrektur durch, indem die Pixelintensität und die lineare Beziehung zwischen sauberen und verschmutzten Abschnitten vorhergesagt werden
• Automatische Kodierung: Segmentiert Daten in Ebenen, um irrelevante Elemente zu entfernen

Das Intelligent Document Processing (IDP) von Infrrd verwendet mehrere Techniken zur Rauschunterdrückung von Dokumenten, von denen einige adaptive Schwellenwerte, Binarisierung und Gaußsche Glättung, auch bekannt als Gaußsche Unschärfe oder Gaußsche Funktion, beinhalten. Unsere einzigartige und sich ständig weiterentwickelnde Strategie zur Korrektur von Verzerrungen konzentriert sich darauf, Dokumente mit geringer Qualität so zu transformieren, dass sie den Anforderungen von Infrrd für die Extraktion entsprechen.

Schritt 7 der intelligenten Dokumentenvorverarbeitung: Datenvalidierung und Korrektur

Bei der Datenvalidierung wird die Kompatibilität des Dokuments überprüft, z. B. ob das Dokument ein gültiges Format hat oder ob die Auflösung den definierten Spezifikationen entspricht. Darüber hinaus handelt es sich dabei um Aktivitäten zur Definition eines bestimmten Qualitätsniveaus für die Rohdaten, z. B. um die Identifizierung von Diskrepanzen zwischen den Trainingsdaten und den Daten, die Sie verarbeiten müssen. Das System korrigiert automatisch die meisten der in dieser Phase festgestellten Abweichungen. Wenn beispielsweise ein Dokument oder ein Bild, das Sie hochladen, auf einem alten Telefon mit schlechten Lichtverhältnissen aufgenommen wurde, hat es wahrscheinlich eine niedrige Auflösung, vielleicht 100 Punkte pro Zoll (dpi). Das IDP-System (Infrrd Intelligent Document Processing) erkennt automatisch Probleme in solchen Dokumenten und erhöht die Auflösung vor der Verarbeitung, vielleicht auf 300 dpi.

Schritt 8 der intelligenten Dokumentenvorverarbeitung: Taxonomien, Ontologien, Tags und mehr

Ein weiterer Aspekt, der bei einer Intelligent Document Processing (IDP) -Lösung berücksichtigt werden muss, sind die Optionen zur Integration mit Taxonomien, Ontologien oder Tags. Taxonomien beziehen sich auf den Bottom-up-Ansatz von NER-Modellen zur Erfassung von Daten in Kategorien. Ontologien in Maschinensprache beziehen sich auf die Identifizierung des Musters verschiedener Entitäten und Beziehungen zwischen den Daten. Tags beziehen sich auf einen Schlüssel-Wert-Paar-Ansatz für das Tagging von Datensätzen. Das richtige Tagging ermöglicht es einem KI-System, effektiver zu arbeiten und die Genauigkeit zu verbessern.

‍
Wenn alles gesagt und getan ist, stellen Sie sicher, dass die Intelligent Document Processing (IDP) -Lösung, in die Sie investieren, über beispielhafte Funktionen für die Dokumentenvorverarbeitung verfügt, wie die IDP von Infrrd. Wir empfehlen Ihnen, dies zu einem Prüfpunkt zu machen, wenn Sie Ihre Technologiepartner für die intelligente Dokumentenverarbeitung evaluieren oder auswählen.

In unserem nächsten Beitrag untersuchen wir Gartners Beschreibung der Dokumentenklassifizierungund wie Infrrd im Vergleich abschneidet.

Quelle: Gartner, Infografik: Intelligent Document Processing verstehen, Shubhangi Vashisth et al., 22. September 2021

‍