Entschlüsselte Tabellen: Geheimnisse der Datenextraktion

Wenn Sie es irgendwann versuchen, finden Sie vielleicht, dass Sie das bekommen, was Sie brauchen.

Du kannst nicht immer bekommen, was du willst.

Du kannst nicht immer bekommen, was du willst.

Du kannst nicht immer bekommen, was du willst.

Aber wenn du es irgendwann versuchst, findest du vielleicht...

Du bekommst, was du brauchst.

Letzte Nacht war ich auf einem Empfang. Und als ich diese Frau mit einem Glas Wein in der Hand sah, dachte ich sofort daran, wie falsch die Rolling Stones lagen.

Insbesondere habe ich darüber nachgedacht, wie falsch sie lagen, wenn es darum geht Extrahieren von Daten aus Tabellen.

Siehst du, du KANNST immer bekommen, was du willst... UND was du brauchst. Schneller.

Auch wenn es nicht so aussieht, als ob du es kannst.

Auch wenn Sie Daten haben, die nicht konsumierbar zu sein scheinen.

Aber zuerst... musst du wirklich verstehen, mit welchem Problem du es zu tun hast.

Seien wir ehrlich. Extrahieren von Informationen aus Tabellen um einen zu füttern Automatisierungsprozess ist so komplex wie schwierig.

Wann sogar menschliche Leser haben Schwierigkeiten, die in Tabellen enthaltenen Informationen zu verstehen... wenn die meisten vor der Herausforderung stehen, ob eine mentale Operation (wie das Hinzufügen) nötig ist, um alle notwendigen Informationen zu erfassen... scheint es, als hätten Mick und seine Freunde recht gehabt.

„Sie können nicht immer bekommen, was Sie wollen“ wird weiter bestätigt, wenn wir erkennen, dass die Automatisierung der Prozess der Informationsextraktion aus Tabellen ist eine Herausforderung, die nur wenige vollständig gemeistert haben.

Warum? Weil, wenn es um Tische geht:

• Daten lassen sich nur schwer extrahieren.
• Die extrahierten Daten sind selten verbrauchbar.
• Die Informationen sind in der Tabelle nicht einheitlich.
• Die extrahierten Informationen können fehlen oder ungültig sein.
• Kontextinformationen gehen normalerweise verloren.

Aus diesem Grund werden Tabellen fast immer manuell im Arbeitsablauf behandelt. Das bist du versuche es manchmal—Mitarbeiter, die wertvollere Arbeit leisten könnten, zum Extrahieren zu bewegen — also Sie hol dir was du brauchst—die Daten.

Aber was wäre, wenn es eine Möglichkeit gäbe, beides zu bekommen?

Was wäre, wenn Sie immer bekommen könnten, was Sie wollen, wenn es darum geht

all die wertvollen Daten extrahieren, die in Tabellen gefangen sind?

Die Art und Weise, eine Herausforderung anzugehen, besteht nicht nur darin, das Problem zu identifizieren, sondern es auch wirklich zu verstehen..

Testen Sie unsere Demo zur Tabellenextraktion

Lassen Sie uns also näher darauf eingehen, wie Daten aus Tabellen extrahieren, bereinigen und transformieren Sie diese Daten dann, damit sie von einem Automatisierungssystem oder einer ML-Plattform verarbeitet werden können.

Auf diese Weise wirst du erhalten was du willst—Geschwindigkeit und Kosteneinsparungen der Automatisierung—und was du brauchst—das gewonnene Gold, das in Ihren Tischen gefangen ist.

Was ist ein Tisch?

Ich weiß. Klingt albern, oder? Das heißt, bis Sie bedenken, dass es keinen Standard dafür gibt, was eine Tabelle ausmacht... keine allgemeingültige Definition.

Tabellen sind eine intuitive und universelle Art, große Mengen von Daten, Ergebnissen und Informationen darzustellen.

Was ist mehr? Eine Tabelle ist mehr als ihre Daten.

Tabellen enthalten eine Vielzahl von Daten und Informationen (z. B. Wörter, Ziffern, Formeln oder Bilder) und sind in eine Vielzahl von Dokumenttypen eingebettet (z. B. einfacher Text, Bild, handschriftlich oder Webseiten).

Aber warte, es gibt noch mehr!

Wir können Beziehungen und Kontext nicht vergessen.

Und da sind Tische einzigartig.

Eine Tabelle zeigt mehrdimensionale Informationen in einem zweidimensionalen, linearen Format an. Es handelt sich um eine Reihe von Daten und Datenkontext, der in einem nicht standardmäßigen Format dargestellt wird.

Aufgrund dieser einzigartigen Funktion, die nicht nur Informationssätze, sondern auch deren Beziehungen und Kontext anzeigt, stellen Tabellen eine Herausforderung für Datenextraktion. Und diese Herausforderung wird noch größer, wenn Sie bedenken, dass es kein universelles Format für eine Tabelle gibt: Vielleicht schicken Ihnen drei Lieferanten drei verschiedene Tabellen in drei verschiedenen Formaten... alle versuchen, dasselbe zu messen und darzustellen.

Die Herausforderungen von Tabellen

Rufen wir also alle vorhandenen Challenge-Tabellen auf. Auf diese Weise können wir sehen, wie sie überwunden werden können. Auf diese Weise können wir sehen, ob wir bekommen KÖNNEN, was wir wollen und was wir brauchen.

Herausforderung 1: Keine standardmäßigen strukturellen Layouts oder visuellen Beziehungen

Die Struktur einer Tabelle wird durch die Struktur und die Beziehungen ihrer Zellen bestimmt.

Tabellen erfassen mehrdimensionale Informationen in einem zweidimensionalen, linearen Format. Es gibt kein Standardtabellenlayout. Zum Beispiel:

• Wie Linien verwendet werden
• Wie formatierter Text (z. B. fett oder kursiv) verwendet wird
• Position der Kopfzeile: Kopfzeilen können sich an zwei Stellen befinden — in der obersten Zeile oder in der ersten Spalte
• Verwendung von Rahmen: Eine Tabelle hat oder kann keinen Rahmen haben, was das Auffinden erschwert
• Variation der Stile: Trennzeichen für Zellen, Zeilen und Spalten
• Verschachtelte Tabellen: eine Tabelle in einer anderen
• Zellen, die sich über Spalten und Zeilen erstrecken, zeigen eine hierarchische Gruppierung von Daten
• Durch Zeilenumbruch und Spaltenzusammenführung kann sich der Inhalt über mehrere Zeilen und Zellen erstrecken
• Mehrseitige Tabellen, die für lange Datenanzeigen verwendet werden. In einigen Fällen wiederholen sich die Überschriften
• Tabellen, die schweben und von Text umgeben sind

Herausforderung 2: Datenvisualisierung für Menschen... nur

Formatierung ist für den visuellen Gebrauch durch Menschen bestimmt, nicht für Technologie. Oft ist das Tabellendesign schlecht. Denken Sie an die Kopfzeilen, die nicht explizit sind, sondern auf der Grundlage der Tabelle oder des unterstützenden Textes impliziert werden.

Herausforderung 3: Zelleninhalt, der verschiedene Formate verwendet (Buchstaben, Zahlen, Symbole usw.)

Wenn Zellenwerte mit unterschiedlichen syntaktischen Darstellungsmustern — wie Symbolen, Bildern, Text, Abkürzungen oder mathematischen Notationen — dargestellt werden, erfordert die Extraktion die Kenntnis aller möglichen Darstellungsmuster.

Herausforderung 4: Mehrere Sprachen im Zelleninhalt

Die Tabelle und ihre Zellen können verschiedene Sprachen oder domänenspezifischen Jargon verwenden.

Herausforderung 5: Der Zellinhalt variiert in Dichte und Format

Der Inhalt der Zellen kann Zahlen oder Text sein. Aber was passiert, wenn der Zellinhalt dicht ist und mehrdeutige, kurze Textstücke enthält, die mithilfe von Akronymen und Abkürzungen verwendet werden? Um Tabellen zu dekodieren, muss der Text klarer dargestellt werden, wobei Abkürzungen und Akronyme vollständig definiert sind.

Herausforderung 6: Dokumenttypen können variieren

Ein Dokument und eine Tabelle können in einem PDF-, Text-, Bild-, HTML- oder einem anderen Format vorliegen. Einige Formate sind schwieriger als andere. Zum Beispiel hat das PDF-Format keine interne Darstellung einer Tabellenstruktur, was es schwierig macht Tabellen extrahieren zur Analyse.

Wie du bekommst, was du willst... UND was du brauchst

Diese Liste ist vielleicht nicht vollständig, aber sie ist ein guter Anfang. Wenn es um die Datenextraktion geht, sind Tabellen schwierig.

Wann möchten Sie Ihre Belegschaft entlasten, damit sie sich stärker auf werteorientiertes Handeln konzentrieren können (und wann NICHT?) , Sie möchten in der Lage sein, die Automatisierungs- und ML-Prozesse zu aktivieren, um stattdessen Maßnahmen zu ergreifen.

Dazu sind nur vier Schritte erforderlich.

Sobald Sie die vorhandenen Herausforderungen in den Tabellen verstanden haben...und Wie man sie überwindet, ein Rezept ausfüllen zu lassen ist viel besser, als mit dieser Figur von Mr. Jimmy online in der Chelsea-Drogerie zu stehen.

Willst du bekommen, was du willst UND was du brauchst? Lass uns chatten!

Starten Sie ein Gespräch, um das zu bekommen, was Sie wollen, und erfahren Sie mehr darüber, was zur Bewältigung der Herausforderungen bei der Extraktion tabellarischer Daten erforderlich ist.

Testen Sie unsere Demo zur Tabellenextraktion‍

‍