Rekonstruktion von fragmentierten Dokumenten mit NLP

Ein Beitrag von Johannes Bernhard und Michael A. Hedderich

Techniken der digitalen Textverarbeitung (natural language processing, NLP) haben für moderne Sprachen in den letzten Jahren große Entwicklungen durchgemacht und werden inzwischen in vielen alltäglichen Produkten eingesetzt, von den Algorithmen großer Suchmaschinen bis hin zu virtuellen Assistenten. In diesem Beitrag möchten wir uns damit beschäftigen, ob man diese Techniken auch zur Unterstützung der Arbeit an historischem Textmaterial verwenden kann. Dieses Projekt ist eine Kooperation mit Prof. Dr. Dietrich Klakow und Prof. Dr. Doris Prechel. 

Im Speziellen beschäftigen wir uns mit der Rekonstruktion von Dokumenten aus Textfragmenten. Im Bereich der Epigraphik stehen Forscher oft vor der Herausforderung Texte aus fragmentarischen Funden wieder zusammenzusetzen. Der Prozess des Suchens und Filterns aus der Sammlung an vorhandenen Fragmenten ist schwierig, teuer und zeitaufwändig. Während des Rekonstruktionsprozesses werden die Fragmente inklusive ihres Textinhalts digitalisiert. Damit ergibt sich die Möglichkeit der Anwendung von NLP Modellen. Unser Ziel ist es hierbei den Forscher bei der Rekonstruktion eines Dokuments zu unterstützen indem konkrete Fragmente vorgeschlagen werden, die zum bereits rekonstruierten Text passen könnten. Dadurch wird der Suchraum für den Forscher verkleinert und somit die Arbeit beschleunigt. 

Als Techniken greifen wir hierbei auf (für die digitale Textverarbeitung klassische) Suchmethoden wie TF-IDF (Luhn 1957, Jones 1972)  und BM25 (Robertson et al. 1994) zurück, sowie auf Ansätze des maschinellen Lernens wie Learning-to-Rank (Cao et al. 2007). Auch experimentieren wir mit tiefen neuronalen Netzwerken (Schmidhuber 2014), die auf modernen Sprachen den neuesten Stand der Wissenschaft darstellen. Simulierte Szenarien mit englischen Texten ergaben hier vielversprechende Ergebnisse, die gezeigt haben, dass, bei einem Suchraum von 1000 Fragmenten, das erste relevante Fragment schon, im Durschnitt, als 20tes Ergebnis gelistet wird. Dies stellt eine signifikante Verringerung des Suchaufwands dar. Die Anwendung auf echte, historische Sprachen und Fragmente ergibt zusätzliche Herausforderungen, wie etwa Brüche im Wort, beschädigte Textstellen oder geringe Trainingsdatenmengen. In Experimenten auf der Fragmentsammlung der hethitischen Beschwörungsrituale, bereitgestellt von Prof. Dr. Gerfrid G. W. Müller, gehen wir diese Herausforderungen an und zeigen, dass unsere Modelle in einem Suchraum von tausenden von Bruchstücken relevante Fragmente durchschnittlich an 25ter Stelle listen. Ferner präsentieren wir den Prototypen eines Suchtools, das die Rekonstruktionsarbeit von hethitischen Festritualen unterstützen soll. Hinter diesem Tool steht ein auf hethitischen Daten trainiertes Modell, das für ein gefragtes Fragment, dessen wahrscheinlichst passende Kandidaten listet. Ein Nutzer muss dann nur eine stark verringerte Anzahl an Fragmenten bearbeiten und kann erwarten, dass ein passendes Fragment in den Top-25 zu finden sein wird.

Referenzen

Robertson, Stephen & Walker, Steve & Jones, Susan & Hancock-Beaulieu, Micheline & Gatford, Mike. (1994). Okapi at TREC-3.  Proceedings of the Third Text REtrieval Conference (TREC 1994). Gaithersburg, USA.

Cao, Zhe & Qin, Tao & Liu, Tie-Yan & Tsai, Ming-Feng & Li, Hang. (2007). Learning to Rank: From Pairwise Approach to Listwise Approach. Proceedings of the 24th International Conference on Machine Learning. Vol. 227. pp. 129-136.

Schmidhuber, Juergen. (2014). Deep Learning in Neural Networks: An Overview. Neural Networks. Vol. 61. pp 85-117.

SPARCK JONES, K. (1972), „A Statistical Interpretation of Term Specificity and its Application in Retrieval“, Journal of Documentation, Vol. 28 No. 1, pp. 11-21.

H. P. Luhn (1957), A Statistical Approach to Mechanized Encoding and Searching of Literary Information. IBM Journal of Research and Development. Vol. 1 (4), pp. 309-317.

Kurzvitae

Johannes Bernhard macht seinen M.Sc. in Language Science and Technology an der Universität des Saarlandes. Seinen BA erhielt er in Vergleichender Sprachwissenschaft mit Schwerpunkt auf Englisch und Französisch. Momentan arbeitet er an seiner Masterarbeit am Lehrstuhl von Prof. Dietrich Klakow und befasst sich damit, inwiefern Maschinelles Lernen und Künstliche Intelligenz dafür verwendet werden können, den Prozess des Zusammensetzens von zerbrochenen hethitischen Texten zu vereinfachen.

Michael A. Hedderich promoviert in der Informatik an der Universität des Saarlandes am Lehrstuhl von Prof. Dietrich Klakow. Er erhielt seinen B. Sc. in Informatik an der JGU Mainz und seinen Master of Science in Informatik an der Universität des Saarlandes. Mit einem Stipendium des DAAD war er Gastwissenschaftler in der Gruppe von Gerard de Melo an der Rutgers University in den USA. Michael Hedderich forscht im Bereich des Maschinellen Lernens und der Künstlichen Intelligenz. Dabei interessieren ihn insbesondere Szenarien mit wenig Trainingsdaten sowie die Interpretierbarkeit von Deep Neural Network Modellen. Ein weiterer Schwerpunkt seiner Arbeit ist die Anwendung von Techniken des Maschinellen Lernens in anderen Themenbereichen und die Zusammenarbeit mit anderen Forschungsgebieten, etwa der Linguistik, der Archäologie oder der Mensch-Computer-Interaktion.


Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.