La Fondazione di Testo Mining in Storia

Lo storico che lavora con gli archivi digitali affronta un paradosso di abbondanza. Milioni di libri, giornali e lettere personali sono ora disponibili a un solo clic, ma la capacità umana di leggere e sintetizzarli rimane finita. Natural Language Processing (NLP) offre un percorso attraverso questa abbondanza. Applicando metodi computazionali per analizzare i testi storici, i ricercatori possono identificare modelli, tracciare cambiamenti linguistici e testare ipotesi attraverso enormi set di dati che sarebbero impossibili da leggere in una sola vita.

Il Natural Language Processing è un ramo di intelligenza artificiale che si concentra sull'interazione tra computer e linguaggio umano, il cui scopo primario è quello di insegnare alle macchine a leggere, interpretare e ricavare significato dal testo in modo sia statisticamente robusto che contestualmente consapevole.

I metodi storici tradizionali si basano fortemente sulla lettura ravvicinata: un’analisi profonda e interpretativa di un piccolo numero di documenti. Questo approccio genera intuizioni ricche e contestualizzate ma soffre di problemi di scalabilità. Lo storico può solo leggere tante pagine. NLP introduce il concetto di lettura immediata]], un termine divulgato dallo studioso letterario Franco Moretti.

Componenti fondamentali di una tubatura NLP per la storia

Per capire come NLP lavora su documenti storici, è utile abbattere il processo di elaborazione standard. Ogni passo trasforma il testo grezzo in un formato leggibile dalla macchina:

  • Tokenization:[] Dividere un flusso di testo in parole individuali, segni di punteggiatura o frasi. Questo suona semplice, ma testi storici con spaziatura irregolare, punteggiatura arcaica, e l'uso del lungo carattere 's' (che assomiglia a un 'f') può triplicare i moderni tokenizers.
  • Part-of-Speech (POS) Tagging: Etichettando ogni parola con il suo ruolo grammaticale (nome, verbo, aggettivo, adverbo). Questo è essenziale per i compiti disambiguanti. Ad esempio, la parola "luce" può essere un sostantivo (una fonte di illuminazione) o un aggettivo (non pesante).
  • Lemmatizzazione e Stemming:[] Ridurre le parole alla loro forma base o dizionario. “Running” diventa “run”; “better” diventa “buono.” Per i testi storici, questo aiuta le varianti aggregate di una parola attraverso un corpus. Tuttavia, un lemmatizer addestrato su inglese moderno potrebbe non riconoscere forme arcaiche come “doth” (does) o “ha richiesto” (ha).
  • Named Entity Recognition (NER):] Identificare e classificare i nomi propri in categorie predefinite come nomi di persona, organizzazioni, luoghi, date e valori monetari. Questo è uno degli strumenti più immediatamente utili per gli storici. Un ricercatore che analizza un secolo di corrispondenza diplomatica può utilizzare NER per estrarre ogni menzione di un ministro degli Esteri, capitale, o trattato, e poi mappare quelle entità.

Applicazioni chiave nella ricerca storica

L'applicazione di NLP ai materiali storici sta rimodellando diversi ambiti di indagine. I ricercatori non sono più limitati a porre domande semplici su ciò che dicono i testi; ora possono fare domande complesse su come funzioni linguistiche nel tempo e nello spazio.

Lettura e Macroanalisi

La lettura dei discorsi permette agli studiosi di analizzare le tendenze di un secolo di pubblicazione in un solo pomeriggio. Calcolando la frequenza di parole o temi specifici nel tempo, i ricercatori possono seguire l'ascesa e la caduta delle idee. Per esempio, tracciando l'uso di termini come "libertà," "empire," o "repubblicare" nei giornali del XVIII secolo fornisce una misura quantitativa di discorso pubblico.

Modelli epici

La modellazione epica è una tecnica di apprendimento automatico non supervisionata che esegue la scansione di una raccolta di documenti e scopre automaticamente cluster di parole che appaiono spesso insieme. Questi cluster, o “topics”, rappresentano temi latenti all’interno del corpus. Uno storico che lavora con i discorsi parlamentari vittoriani potrebbe usare la modellazione di argomenti per trovare che un argomento raggruppa costantemente parole come “railway”, “steam,” “engine”, e “freight topic

Stilometria e Attribuzione di Autorizzazioni

La Stylometria utilizza l'analisi statistica per quantificare lo stile di scrittura unico dell'autore. Misurando caratteristiche come la lunghezza della frase, la ricchezza del vocabolario, e la frequenza delle parole di funzione (ad esempio, "il", "e", "di"), i ricercatori possono distinguere tra gli autori con alta precisione.

Analisi del Sentimento e Arc emozionali

L’analisi del sentimento tenta di misurare il tono emotivo o la polarità di un testo (positivo, negativo, neutro). Quando viene applicato ai testi storici, questo richiede un’attenta calibrazione. Applicare un lexicon del sentimento moderno ad un romanzo del XIX secolo probabilmente produrrà risultati fuorvianti perché i significati delle parole cambiano. Tuttavia, quando i ricercatori costruiscono i lessico specifici per il periodo, disegnati da dizionari contemporanei o annotati da esperti, possono tracciare morale.

Analisi di rete di figure storiche

Estrarre entità chiamate da un corpo di lettere o da record diplomatici, i ricercatori possono costruire reti complesse di relazioni. Questo è noto come analisi di rete storica. Ad esempio, un canale NLP potrebbe estrarre ogni persona menzionata nella corrispondenza di John Adams. Uno storico potrebbe quindi mappare chi corrispondeva con più frequentemente, che è stato citato come un'influenza, e come queste reti hanno cambiato nel corso della sua carriera.

Geoparsing e storia spaziale

Un crescente sottocampo di NLP storico è geoparsing: l'estrazione e lo sambimento dei nomi dei luoghi dal testo. Combinato con i sistemi di informazione geografica (GIS), geoparsing consente agli storici di mappare le dimensioni spaziali degli eventi storici e dei discorsi.

Di fronte alle sfide dei dati storici

Applicare NLP agli articoli di notizie contemporanee è abbastanza difficile. Applicandolo ai manoscritti secolari introduce una serie specifica di sfide tecniche e interpretative che devono essere affrontate per i risultati da validare.

Riconoscimento ottico dei caratteri (OCR) Errori

La maggior parte dei testi storici digitali sono creati dalla scansione di pagine fisiche e li esegue attraverso il software Optical Character Recognition (OCR) . Storicamente, il software OCR ha lottato con caratteri arcaici (come i testi lunghi), l'inchiostro sbiadito, il tipo rotto, e i rilegamenti che oscurano il testo vicino alla colonna vertebrale. L'output risultante è spesso guastificato manualmente.

Variazione storica di Spelling

Prima della standardizzazione dell'ortografia inglese alla fine del XVIII secolo, gli scrittori spesso ortografano parole fonetiche o secondo la convenzione regionale. "Glorious" potrebbe apparire come "glorioso,"glorio," "glorio", o "glorioso". Uno strumento NLP moderno li tratterà come parole completamente diverse.

Maiusc e Anachronismo

Le parole "gay" nel 1830 significano "grazie" e "sicuro" significano "senti" e "sfortuna" significa pieno di timore; "manufacture" originariamente significati a mano. Applicare un lessico di sentimento moderno ad un testo storico porterà a significativi errori interpretativi.

Sparsità e frammentazione dei dati

A differenza dei moderni dataset, la storia storica è spesso incompleta. Solo una frazione di quello che è stato scritto è sopravvissuta al giorno d'oggi, e una frazione ancora più piccola è stata digitalizzata. Questo crea un bias di sopravvivenza che può falsare i risultati. Un'analisi NLP di tendenze a lungo termine deve tenere conto del fatto che i dati del XIX secolo sono molto più abbondanti di dati del XVI secolo.

Pratici flussi di lavoro e strumenti per gli storici

Gli storici non devono essere programmatori esperti per integrare NLP nella loro ricerca. Esiste uno spettro di strumenti, che vanno da interfacce grafiche di alto livello a librerie di programmazione a basso livello. La scelta dipende dal comfort tecnico del ricercatore e dalla complessità delle domande poste.

Strumenti basati su GUI per analisi rapida

Per i ricercatori che vogliono iniziare rapidamente senza scrivere codice, sono disponibili diverse piattaforme di analisi di testo robuste. Strumenti di testo erranti] è un'applicazione web-based che consente agli utenti di caricare testo e generare immediatamente nuvole di parole, liste di frequenza, grafici di collocazione e modelli di argomento.

Programmazione con Python e R

Python] è la lingua dominante per NLP, con librerie come Natural Language Toolkit (NLTK), spaCy e Gensim che forniscono funzioni pre-costruite per tutto ciò che riguarda l'attualità statistica

Costruire un Corpus

Il primo passo in ogni progetto NLP è la costruzione di un corpus di alta qualità. I testi sourcing da archivi digitali affidabili sono critici.

  • []HathiTrust Digital Library[]:[] Un enorme deposito di libri digitalizzati da principali librerie di ricerca, offrendo la ricerca full-text e il download per le opere di dominio pubblico.
  • ]]Chronicling America[:[] Un database ricercabile di giornali americani storici dal 1777 al 1963, fornito dalla Biblioteca del Congresso.
  • []]]Old Bailey Online[:[] Un'edizione completamente ricercabile del procedimento della Corte Penale Centrale di Londra, che va dal 1674 al 1913.
  • []]Progetto Gutenberg:[] Uno sforzo volontario per digitalizzare e archiviare opere culturali, in gran parte limitate ai testi di dominio pubblico.

Una volta assemblato un corpus, deve essere pulito e pretrattato, che include la rimozione di intestazioni e piè di metadati, la standardizzazione delle interruzioni di linea, la conversione di legature (ad esempio, 'fi' a 'fi'), e l'applicazione di eventuali correzioni necessarie al testo.

Istruzioni future: Modelli di lingua grande e storia digitale

La recente esplosione di Modelli di Lingua Grande (LLM) – come GPT-4, Claude, e alternative open source come Llama e Mistral – rappresenta un cambiamento di paradigma per l'analisi del testo. Questi modelli sono in grado di riassumere, tradurre e generare testo di qualità umana.Per gli storici, LLM offrono la possibilità di interrogare un archivio in lingua naturale.

Tuttavia, le LLMs presentano rischi significativi per la ricerca storica. Essi sono inclini a hallucination], il che significa che essi genereranno con fiducia false informazioni—inventando citazioni, citazioni maleducate, o realizzando eventi.

Il ruolo dell'analisi multimodale

Il futuro dell'analisi del testo storico è quello di andare oltre il testo puro. I documenti storici non sono solo parole; sono oggetti fisici con layout, illustrazioni, marginalia e vincolanti. L'analisi multimodale combina NLP con la visione computerizzata per analizzare il testo e l'immagine simultaneamente.

Domande umanistiche, Strumenti computazionali

L'integrazione del Natural Language Processing nella ricerca storica non riguarda l'automazione dello storico da un lavoro. Si tratta di espandere la portata di ciò che gli storici possono sapere. L'output computazionale raw non è un argomento storico finito; è un pezzo di evidenza che richiede un'interpretazione critica. Lo storico deve chiedere: Perché questo modello è emerso? Quali sono i dati non riescono a catturare? Quali pregiudizi sono incorporati nel materiale sorgente o nell'algoritmo?

Con la padronanza di questi strumenti, gli studiosi possono navigare con fiducia in vasti archivi digitali del XXI secolo, testando ipotesi in scala, scoprire modelli di influenza nascosti e porre domande nuanced su linguaggio, cultura e potenza nel tempo. La trasformazione digitale della storia non è una minaccia per la disciplina; è un'opportunità per affinare i nostri metodi e approfondire la nostra comprensione del passato.