Vorlagen im Vergleich zu maschinellem Lernen OCR - OCR Deep Learning

In den letzten 15 Jahren hatte ich die Gelegenheit, mit vielen zusammenzuarbeiten OCR Tools und eine Sache, die ich mit Sicherheit sagen kann, ist, dass sich die Qualität der Textextraktion dieser Tools durch kontinuierliche Verbesserungen der OCR-Techniken für künstliche Intelligenz und maschinelles Lernen stetig verbessert hat.

Mehr denn je versuchen Unternehmen, aus gescannten Bildern und Dokumenten nützliche Erkenntnisse und Bedeutungen abzuleiten. Banken wollen beispielsweise Informationen über die beteiligten Parteien und das Ablaufdatum von Verträgen aus gescannten Verträgen extrahieren, Versicherungsunternehmen wollen betrügerische Belege erkennen, die während des Schadensprozesses eingereicht wurden, und vieles mehr. In solchen Anwendungsfällen muss unstrukturierter Text während oder nach der OCR in strukturierte, aussagekräftige Daten umgewandelt werden.

OCR-Tools verfügen von Natur aus nicht über die Intelligenz, um extrahierten Text zu analysieren oder zu verstehen, als ihn nur zu extrahieren. Um dem Inhalt Bedeutung und Struktur zuzuweisen, muss ein anderes System den extrahierten Text verarbeiten und daraus Entitäten und Entitätstypen extrahieren.

In diesem Beispiel führt das OCR-System eine genaue Textextraktion durch, verfügt jedoch nicht über die Intelligenz, um die Einzelheiten des Händlernamens, der Händleradresse oder anderer wichtiger Details wie Steuern, Gesamtbetrag und einzelne Einzelposten zu identifizieren.

In diesem Artikel möchte ich zwei Techniken zur Textanreicherung nach der OCR vergleichen. Eine ist die konventionelle Technik der Verwendung von Vorlagen, während die andere der moderne Ansatz der Anwendung von maschinellem Lernen ist.

Lassen Sie uns zuerst in die Vorlagen eintauchen. Vorlagen sind, was der Name schon sagt, Vorlagen. Bei dieser Methode markiert der Benutzer manuell Koordinaten für den gewünschten Text auf dem Bild und verwendet anschließend die Ausgabe der OCR-Engine, um Text zu lokalisieren und zu extrahieren. Dieser Ansatz funktioniert gut und ist sehr genau, wenn das Textlayout im gescannten Bild mit dem in der Vorlage codierten Layout übereinstimmt.

Dieser Ansatz beginnt jedoch bei Systemen, die mit einer großen Anzahl von Dokumentlayouts umgehen, und bei Systemen, die häufig auf neue Dokumenttypen stoßen, zu scheitern. Und Rechnungsverarbeitungssystem das neue Arten von Rechnungen von verschiedenen Lieferanten erhält, ist ein gutes Beispiel. Für einen Bearbeitung von Rechnungen System, ein Vorlagenansatz mag anfangs gut funktionieren, wird aber bald unüberschaubar werden, wenn die Anzahl der Lieferanten wächst und sich ändert.

Betrachten wir nun den alternativen Ansatz des maschinellen Lernens. EIN maschinelles Lernen OCR verwendet ein trainiertes Modell, das Tausende von Regeln kodiert, um die Bedeutung des Inhalts zu bestimmen. Dieses Modell wird in der Regel mit einer Kombination aus überwachten und unüberwachten Lernmethoden trainiert. Ein Trainingsansatz könnte beispielsweise darin bestehen, anhand des folgenden Merkmalsdatensatzes vorherzusagen, ob eine Zeile im Text einen Händlernamen enthält.

Ein trainiertes Modell kann sich selbst optimieren, wenn mehr Trainingsdaten gesammelt und in den Trainingsprozess aufgenommen werden. Der Ansatz des maschinellen Lernens ist für verschiedene Sprachen und Dokumenttypen viel besser skalierbar, auch wenn diese nicht vom System verarbeitet werden. Dieser Ansatz erfordert zwar den anfänglichen Aufwand, qualitativ hochwertige Trainingsmodelle und Modelle zur Erkennung von Entitäten zu erstellen, aber einmal entwickelt, skaliert dieser Ansatz schneller und besser als der Vorlagenansatz.

Bei Infrrd forschen und experimentieren wir mit verschiedenen Techniken, die maschinelles Lernen beinhalten, um die Inhaltsanreicherung nach der OCR-Textraktion aus verschiedenen Dokumenttypen wie Quittungen, Rechnungen, Verträgen und Versandetiketten zu verbessern.