L'intersezione di Storia e Scienza dei dati: Innovazioni metodologiche

Nel corso degli ultimi dieci anni, la convergenza della storia e della scienza dei dati si è spostata da un esperimento di nicchia a una forza trasformativa nelle scienze umane. Questa intersezione, spesso chiamata storia digitale o scienza dei dati storici, consente ai ricercatori di analizzare un vasto corpora dei testi, tracciare i social network attraverso i secoli, e visualizzare i cambiamenti nella popolazione, nell'economia e nella cultura con una precisione che era precedentemente impossibile.

Scienza dei dati storici: Una panoramica

La scienza dei dati storici applica tecniche di informatica, statistica e visualizzazione delle informazioni ai record storici, artefatti e testi. È un componente fondamentale del movimento più ampio delle umanità digitali, che cerca di integrare il pensiero computazionale nell'indagine umanistica. La disponibilità di archivi digitalizzati massicci - come la raccolta di giornali della Biblioteca del Congresso Chronicling America, l'Archivio Nazionale del Regno Unito e la Biblioteca Digitale HathiTrust - ha reso possibile porre domande che erano manuali non potevano essere semplici.

Nel suo cuore, la scienza dei dati storici si basa sulla trasformazione di sorgenti primarie non strutturate o semistrutturate in dataset analizzabili, che comporta un'attenta cura, la pulizia dei dati e l'arricchimento dei metadati, spesso seguito da analisi quantitative o algoritmiche. I risultati vengono poi interpretati all'interno del contesto storico, richiedendo una miscela di competenze e competenze tecniche di materia tematica.

Principali innovazioni metodologiche

Il toolkit metodologico della scienza dei dati storici continua ad espandersi: qui di seguito sono diverse le innovazioni più efficaci, ognuna con i propri punti di forza, limitazioni e aree di applicazione.

1. Estrazione del testo e elaborazione della lingua naturale (NLP)

L’estrazione del testo e il NLP permettono agli storici di estrarre automaticamente informazioni da grandi collezioni di documenti scritti, che vanno dai manoscritti medievali ai giornali del XIX secolo ai documenti parlamentari.

Strumenti e piattaforme:[ Python (NLTK, spaCy, gensim), R (tm, quanteda), e interfacce user-friendly come Voyant Tools e Lexos. Molti archivi digitali forniscono anche API per l'accesso programmatico al testo.

2. Analisi della rete

L'analisi di rete mappa i rapporti tra entità, persone, organizzazioni, città o concetti, per rivelare la struttura delle comunità storiche, alleanze politiche, rotte commerciali e scambi intellettuali. Con la costruzione di grafici in cui i nodi rappresentano attori e bordi rappresentano legami (correspondenza, co-membro, citazioni, registri di spedizione), gli storici possono identificare le figure centrali, misurare la densità delle connessioni e rilevare cluster di comunità.

Strumenti e piattaforme:[] Gephi, Cytoscape, NetworkX (Python), statnet (R). La visualizzazione di grandi reti storiche richiede spesso accurate regolazioni di potatura e di layout per evitare l'ingombro.

3. Analisi quantitativa e Modellazione statistica

I metodi quantitativi sono stati a lungo parte della storia economica e sociale, ma il potere computazionale moderno espande enormemente la loro portata. Analisi di regressione, previsioni di tempo, econometria spaziale, e algoritmi di apprendimento automatico permettono agli storici di modellare dinamiche demografiche, fluttuazioni dei prezzi, modelli di migrazione e anche la diffusione di documenti di corte variabili.

Strumenti e piattaforme:[ Stata, SPSS, R (tidyverse, caret), Python (pandas, scikit-learn). La chiave è garantire ipotesi statistiche tenere per i dati storici, che spesso soffrono di mancanza non-rado e errore di misura.

4. Analisi territoriale e sistemi informativi geografici (GIS)

Il GIS storico consente ai ricercatori di mappare i dati attraverso lo spazio e il tempo, rivelando le dimensioni geografiche degli eventi passati. Le densità di popolazione, i cambiamenti di uso del suolo, le reti di trasporto e le zone di conflitto possono essere tracciate utilizzando mappe storiche e gazetterie digitalizzate.

Strumenti e piattaforme:[[] ArcGIS, QGIS, PostGIS, Python (geopandas, folium), R (sf, tmap).Misure di autocorrelazione spaziali (ad esempio, I di Moran) aiutano a identificare i cluster.

5. Visione del computer e analisi delle immagini

Le fotografie storiche, i dipinti, le mappe e i manoscritti scritti a mano possono essere analizzati utilizzando la visione del computer. Il riconoscimento ottico dei caratteri (OCR) per i testi stampati è ben stabilito, ma il riconoscimento testi scritti a mano (HTR) è migliorato drammaticamente con l'apprendimento profondo (ad esempio, Transkri quantibus).

Strumenti e piattaforme:[ Tesseract (OCR), Transkribus (HTR), OpenCV, TensorFlow, e piattaforme specializzate come Plateforme per manoscritti.

6. Visualizzazione dei dati e archivi digitali

La visualizzazione non è solo uno strumento di presentazione ma un metodo di analisi esplorativa. Le linee temporali interattive, i diagrammi di rete, le mappe di calore e i cartogrammi animati aiutano gli storici a percepire modelli e outlier. Gli archivi digitali costruiti con piattaforme come Omeka, ContentDM o i visualizzatori conformi a IIIF consentono la navigazione arricchita e il collegamento tra oggetti. La combinazione di visualizzazione e progettazione archivistica crea nuovi modi per entrambi gli studiosi e il pubblico per interagire con il pubblico.

Strumenti e piattaforme:[ D3.js, Tableau, Flourish, Leaflet e sistemi di archiviazione come ArchivesSpace o Islandora.

Impatto sulla ricerca storica

L'integrazione della scienza dei dati ha profondamente cambiato come gli storici formulano domande, raccolgono prove e risultati attuali. Le analisi quantitative su larga scala possono testare teorie che in precedenza si sono appoggiate su prove aneddotiche. Ad esempio, il "La storia dei cartoon politici" progetto usato riconoscimento dell'immagine per classificare migliaia di cartoni animati del XIX secolo, rivelando cambiamenti nella rete di tempo razziale ettica e stereotipi etnici.

Inoltre, la scienza dei dati consente la “lettura istantanea” di un intero corpora testuale, un concetto divulgato da Franco Moretti. Invece di leggere da vicino alcune opere canoniche, gli storici possono indagare centinaia di migliaia di documenti per identificare le tendenze a lungo termine nell’uso della lingua, la popolarità del genere o l’attenzione tematica.

Per gli studenti, l'esposizione a questi metodi favorisce l'alfabetizzazione quantitativa critica e un più profondo apprezzamento per la natura costruita dei dati. Imparano a interrogare le biasi inerenti alle fonti storiche e alle condotte computazionali, sviluppando una comprensione più sfumata di come la conoscenza viene prodotta.

Case Studies in Scienze storiche dei dati

Testo Mining della Rivoluzione francese

I ricercatori hanno usato la modellazione di argomenti su oltre 40.000 documenti del periodo rivoluzionario francese, tra cui dibattiti parlamentari, opuscoli e riviste. Il modello ha identificato cluster tematici distinti - come “guerra,” “religione,” “economia” - e ha tracciato la loro prominenza nel tempo, che ha rivelato che le discussioni di “virtue” e “terror” hanno raggiunto un picco in diversi momenti che non si è assunto in precedenza, fornendo nuove prove per il cambiamento.

Analisi di rete del commercio dei libri moderni

Utilizzando i record digitalizzati del English Short Title Catalogue[]], gli studiosi costruirono una rete di stampanti, librerie e autori dal 1473 al 1800. Il grafico risultante mostrava il dominio di Londra e la graduale integrazione delle stampanti provinciali.

Storia spaziale della ferrovia metropolitana

La “Mapping the Underground Railroad”[]] progetto geocodificava migliaia di narrazioni di schiavi fuggitivi, registri abolizionisti e pubblicità di giornali.

Fonti di dati e infrastrutture

La scienza dei dati storica si basa su fonti digitalizzate di alta qualità.

  • HathiTrust Digital Library:[ Oltre 17 milioni di volumi, con la ricerca a testo completo per le opere pubbliche-dominio.
  • Chronicling America (Librario del Congresso): Oltre 20 milioni di pagine di giornali storici degli Stati Uniti.
  • Collezioni europee:[ Milioni di libri digitalizzati, mappe, fotografie e documenti d'archivio da tutta Europa.
  • Transkribus + READ-COOP:[] Piattaforme per il riconoscimento del testo scritto a mano, cruciale per i record premoderni.
  • ICPSR (Consorzio Interuniversitario per la Ricerca Politica e Sociale): Hosts dati censi storici, rendimenti elettorali e altri dataset quantitativi.

I ricercatori creano anche dei dataset personalizzati attraverso fonti trascrittive o di annotazione, un'attività laboriosa ma gratificante. Le iniziative di dati aperti (ad esempio, Wikidata, VIAF) forniscono identificatori strutturati che possono essere utilizzati per disambiguare entità storiche attraverso i dataset.

Formazione e competenze per la prossima generazione

Per lavorare efficacemente a questo incrocio, gli storici hanno bisogno di una base sia nei metodi computazionali che nell'ermeneutica storica. I programmi di laurea e laurea offrono ora corsi di storia digitale, data wrangling e programmazione per gli umanisti.

  • Programmazione fisica[[ (Python o R) per la manipolazione e l'analisi dei dati.
  • Database design e SQL[] per la gestione dei dati storici strutturati.
  • ragionamento statistico[[]]] per scegliere modelli appropriati ed evitare insidie come la sovrafitting o la fallacia ecologica.
  • L'alfabetizzazione dei dati critici[[] per valutare la provenienza, la bias e le lacune nelle fonti digitalizzate.
  • Collaborazione e gestione del progetto[[]] per lavorare in team interdisciplinari.

Risorse on line come Programming Historian[] offrono lezioni gratuite in Python, R, GIS e altri strumenti su misura per gli umanisti. Workshops from Digital Humanities Summer Institute (DHSI) e il ] Istituto per le arti liberali Digital Scholarship (ILFiADS

Sfide e considerazioni etiche

Nonostante la sua promessa, la scienza dei dati storici affronta ostacoli significativi:

Qualità e completezza dei dati

I dati mancanti, gli errori di trascrizione e le biasi di campionamento possono falsare le analisi, ad esempio le donne, le popolazioni povere e non letterate sono spesso sottorappresentate in fonti scritte. I ricercatori devono documentare e tenere conto di queste lacune e essere cauti circa la generalizzazione da corpora digitalizzata che possono sovrarappresentare alcune regioni o classi sociali.

Bias e Contesto Algoritmico

Gli strumenti computazionali possono replicare o amplificare le biasi storiche. Un modello di analisi del sentimento formato su testi moderni può interpretare in modo errato le espressioni del XVIII secolo di cortesia o sarcasmo. L'accuratezza dell'OCR varia ampiamente con il carattere e la condizione dell'originale, introducendo il rumore. L'analisi della rete richiede spesso scelte di soglia arbitrarie per l'inclusione dei bordi, che possono modellare i risultati.

Stewardship etica

L’utilizzo dei dati personali da parte dei documenti storici solleva preoccupazioni sulla privacy, in particolare per la storia recente in cui i discendenti degli individui possono ancora essere vivi. I materiali del patrimonio culturale delle comunità indigene devono essere trattati nel rispetto della sovranità e dei protocolli tribali. La condivisione e la pubblicazione dei dati devono navigare sul diritto d’autore, le linee guida etiche delle organizzazioni professionali (ad esempio, l’American Historical Association, la comunità delle scienze umane digitali), e le schede di revisione istituzionale.

Interpretazione e Narrativa

Le uscite quantitative non parlano da sole, devono essere interpretate nei contesti sociali, politici e culturali del periodo. Una correlazione tra le accuse di stregoneria e di disabilità economiche non dimostra causalità senza prove qualitative delle credenze locali e dei quadri giuridici. Il miglior lavoro nella scienza dei dati storici porta alla prova computazionale con la ricerca archivistica tradizionale, usando ciascuno per controllare e arricchire l'altro.

Le direzioni future

Guardando avanti, diverse tendenze modellano il campo:

  • L'apprendimento della macchina e LLM:[ I modelli di lingua di grandi dimensioni (ad esempio, GPT, LLaMA) possono aiutare con trascrizione, traduzione e generazione di testo, ma richiedono un'attenta progettazione e verifica dei fatti.
  • Analisi multimodale:[] Combinando testo, immagine, mappa e dati sonori all’interno di un unico quadro analitico, ad esempio, collegando i motivi visivi di un dipinto a descrizioni testuali contemporanee.
  • Scienza e crowdsourcing:[[ Piattaforme come Zooniverse impegnano i volontari nella trascrizione e nella classificazione di fonti storiche, accelerando la creazione di dati.
  • Riproducibilità e dati aperti:[] Crescere l'enfasi sulla condivisione di codice, dati e flussi di lavoro per consentire la verifica e il riutilizzo.
  • Insegnare e raccontare la storia pubblica:[ Espositivi interattivi e moduli aula che utilizzano la scienza dei dati per coinvolgere il pubblico più ampio con il passato.

Questi progressi non diminuiranno la necessità di un pensiero storico rigoroso, ma amplieranno il toolkit dello storico, offrendo nuovi modi per porre domande vecchie e scoprire domande non ancora immaginate. L’intersezione della storia e della scienza dei dati non è un acquisizione delle umane dalla tecnologia ma uno spazio ricco e collaborativo dove l’attenta pratica computazionale e la profonda comprensione storica illuminano insieme le complessità dell’esperienza umana.

Altri dati e risorse: