L'uso di algoritmi di apprendimento automatico per rilevare incongruenze in dati storici

La ricerca storica è da tempo dipendente dall’attenta analisi delle fonti primarie, i manoscritti, i registri del censimento, gli archivi dei giornali, la corrispondenza diplomatica e gli artefatti materiali.

Comprendere l'apprendimento automatico nell'analisi dei dati storici

L’apprendimento automatico è un sottoinsieme di intelligenza artificiale che consente ai sistemi di imparare dai dati senza essere programmati esplicitamente per ogni regola. Nell’analisi storica, gli algoritmi ML ingeriscono grandi volumi di dati strutturati (ad esempio, campi di censimento tabulari) e il testo non strutturato (ad esempio, voci diario, volontà, registri di corte) per identificare modelli che deviano dalle norme previste. L’idea centrale è che molti dati di inconsistenza sono inconsideranti.

Concetti core: caratteristiche, etichette e formazione

Ogni progetto MLT inizia con la definizione caratteristiche]—le proprietà misurabili dei dati.Per i record storici, le caratteristiche potrebbero includere campi data, nomi dei luoghi, titoli delle persone, quantità numeriche (ad esempio, età, tasse), e marcatori linguistici (ad esempio, frequenza del vocabolario, slant della scrittura).

Tipi di Incongruenze Machine Learning può catturare

I dati storici inconsistenti prendono molte forme, e le diverse famiglie di algoritmi sono adatte a problemi diversi:

  • Concorizioni cronologiche:[ Date che violano le vite conosciute, i periodi di regno o le sequenze di eventi.
  • Numerici uscenti:[ Età irrealistiche (ad esempio, una persona di 150 anni), quantità improbabili di imposta, o salti improvvisti di popolazione.
  • Anacronismi tessuti:[] Parole o frasi che appaiono prima di entrare nella lingua, o riferimenti a eventi che non erano ancora avvenuti.
  • Registrazioni duplicate o quasi duplicate:[ La stessa persona o evento è entrata più volte con lievi variazioni.
  • Valori di errore o di riempimento:[ Campi lasciati vuoti e successivamente completati da una mano diversa, possibilmente con inferenza errata.
  • Copertina di base:[ Sottorappresentazione sistemica di alcuni gruppi, che ML può rilevare attraverso disparità distributive.

Algoritmi di apprendimento della macchina nella pratica

La scelta dell'algoritmo giusto dipende dalla natura dei dati storici e dal tipo di incongruenza mirata. Di seguito sono le famiglie più comuni, insieme a casi di utilizzo illustrativo.

Imparare supervisionato: Classificazione e Regressione

Quando gli storici hanno accesso a un sottoinsieme di strumenti di base, i registri che sono stati verificati attraverso l'archiviazione cross-checking, i modelli supervisionati possono imparare a classificare i nuovi record come “consistenti” o “incoerenti”.

Imparare senza supervisione: Rilevamento di clustering e Anomalia

I dati storici non hanno ancora ricevuto etichette completamente verificate, ma i ricercatori hanno voluto trovare delle informazioni in merito a queste impostazioni. K-means clustering e ] DDBSCAN raggruppare registri simili; record che cadono lontano da qualsiasi copia di cluster sono probabili anomalie.

Elaborazione di lingue naturali (NLP)

Il testo storico è pieno di incongruenze: scritte varianti, vocabolario arcaico, abbreviazioni scribali e modifiche nello stile di scrittura su un unico autore.

Gestione della Variazione di Spellaggio Storico

La sfida principale per NLP è che l'ortografia pre-standardizzata può causare modelli standard per trattare forme varianti come parole diverse. La tokenizzazione sotto-parola (Byte‐Pair Encoding) aiuta, come fa la formazione di parole incorporazioni su corpora specifica periodo. Alcuni progetti, come il ] OxBERford History Facoltà]] lavoro su modelli di anticoncezionalità moderna, hanno creato BModg specializzato.

Applicazioni nella ricerca storica

Le capacità teoriche sopra descritte sono state impiegate in un numero crescente di indagini storiche concrete, le seguenti sottosezioni illustrano come il rilevamento di incongruenza guidato da ML stia ridisegnando la borsa di studio.

Rilevamento delle date di conflitto nelle cronache reali

Le cronache medievali hanno spesso registrato lo stesso evento con date diverse, a causa di errori scribali, diversi sistemi di calendario, o alterazioni deliberate. Un team del Max Planck Institute for the History of Science ha costruito un modello supervisionato formato su un corpus di 50.000 eventi datati dalle cronache europee (900–1500-CE)).

Identificare le discrepanze in Dati Census

I censimenti storici sono fonti ricche di ricerca demografica ma sono notoriamente incoerenti. I nomi sono persi, età arrotondata, occupazioni registrate inconsistentemente, e le famiglie si sono divise in pagine.

Analisi della scrittura e dell'uso della lingua per verificare l'autenticità

L’apprendimento automatico, in particolare la visione del computer, è stato associato a NLP, ora offre strumenti di autenticazione robusti. Riconoscimento di scrittura (HWR) modelli formati su script d’epoca possono confrontare il ductus (il flusso di colpi) attraverso un insieme di documenti attribuiti allo stesso scriba.

Scoprire le registrazioni di Biased o Incomplete

I dati storici spesso riflettono le biasime dei loro creatori, ad esempio, i record ufficiali possono sistematicamente sottovalutare le donne, le minoranze o i poveri. L’apprendimento automatico può rivelare questi vuoti non trovando errori espliciti ma esponendo i modelli di eredità di omissione. Le regole di associazione estrazione -S] possono scoprire che alcune combinazioni di attributi (ad esempio, “femmina” + “land”)

Sfide e considerazioni etiche

Nonostante la promessa di rilevamento di incongruenza guidato da ML, il percorso è costellato di ostacoli, alcuni tecnici, altri etici, tutti richiedono una navigazione attenta.

Qualità e scarsità dei dati

I dati storici, mentre spesso sono grandi, sono rumorosi, frammentari e biasimi in modi che possono ingannare i modelli. Un modello supervisionato formato su poche centinaia di record verificati può generalizzare scarsamente al corpus completo. Inoltre, i dati storici spesso mancano del volume necessario per l'apprendimento profondo: un modello di NLP che funziona bene sugli articoli di notizie moderne può fallire in un periodo di 17-esimo secolo.

Ampliamento di Bias

Se i dati storici sono biased – diciamo, sottorappresentanti donne – un modello ML formato su questi dati imparerà che le donne sono “anomali” e possono contrassegnare le voci femminili reali come incongruenze. Questo non è un difetto dell’algoritmo ma una riflessione degli algoritmi di calcolo della fonte. Il rischio è che i ricercatori, fidandosi del modello, potrebbero censurare o “correggere” punti di dati validi, in modo da perpetuare le strategie di cancellazione del peso storico.

Interpretabilità e trasparenza

Un progetto storico di tipo “FLT:0] perché] è stato segnalato un particolare record: era la data, il nome, la lingua? Senza l’interpretazione, il ricercatore non può decidere se fidarsi della bandiera.

Gestione etica dei dati sensibili

I registri storici spesso contengono informazioni personali su individui che possono ancora avere discendenti viventi, o possono pertinere a gruppi oppressi (ad esempio, registri di schiavi, dati di censimento coloniale).

Costo e competenza computazionali

I progetti di formazione MLT-Floud (GPU, memoria, storage) e le competenze specialistiche che molti dipartimenti di storia mancano. I progetti di collaborazione tra storici e scienziati informatici sono sempre più comuni, ma richiedono tempo, finanziamenti e comprensione reciproca.

Direzioni e Implicazioni future

L’apprendimento automatico non è un proiettile d’argento per il rilevamento storico dell’incongruenza, ma sta diventando rapidamente una parte indispensabile del toolkit dello storico.

Modelli multimodali

I sistemi futuri uniranno testo, immagine (scrittura, sigilli, filigrane), e anche dati spaziali (coordinate GIS) in un unico quadro. Un trasformatore che codifica congiuntamente il testo latino di una carta e la sua immagine di sigillo potrebbe rilevare un sigillo forgiato affisso ad un atto autentico—una frode medievale comune.

Apprendimento attivo e umano-in-loop

Invece di accettare passivamente le bandiere di un modello, i ricercatori stanno adottando un apprendimento attivo dove il modello interroga lo storico per le etichette sui casi più incerti. Questo processo iterativo migliora l'accuratezza del modello, mantenendo il 60% in controllo. Sistemi come Prodigy per NLP consentono tali flussi di lavoro, e la loro applicazione ai dati storici sta crescendo.

AI etico dal design

Come il campo matura, gli storici e gli scienziati informatici sono strumenti di co-designing che si basano in considerazioni etiche fin dall'inizio. Questo include moduli di trasparenza che forzano il modello a spiegazioni di output, vincoli di correttezza che impediscono l'amplificazione di biasi storici, e framework di consenso per i dati culturalmente sensibili.

Modelli generativi per la ricostruzione storica

Oltre al rilevamento, l'AI generativa può aiutare corretto]] incongruenze suggerendo alternative plausbili. Ad esempio, un modello può essere addestrato a generare una gamma di date mancanti plausibile per un ingresso del registro parrocchiale danneggiato. Tuttavia, questo solleva la propria serie di domande etiche di archivio: se gli storici "riempiscono" un passato che è stato perso?

Conclusioni

L’uso di algoritmi di machine learning per rilevare incongruenze nei dati storici è un campo in rapida evoluzione che possiede un potenziale immenso. Navigare automaticamente contraddizioni cronologiche, outlier numerici, anachronismi testuali, e le biasi sistemiche, strumenti ML consentono agli storici di lavorare con più ampi e complessi dataset che mai, errori di scoperta che dovrebbero prendere le vite per trovare manualmente.