מדד ההיסטוריה ומדעי הנתונים: חידושים מתודולוגיים

בעשור האחרון, ההתכנסות של ההיסטוריה ומדעי הנתונים עברה מניסוי נישה לכוח טרנספורמטיבי באנושיות.צומת זה, המכונה לעתים קרובות היסטוריה דיגיטלית או מדע נתונים היסטורי, מעצימה את החוקרים לנתח corpora עצום של טקסטים, מעקב רשתות חברתיות לאורך מאות שנים, ודמיינו את השינויים באוכלוסיה, כלכלה ותרבות עם דיוק שהיה בלתי אפשרי בעבר.

מדע נתונים היסטורי: סקירה

מדע נתונים היסטורי חל על טכניקות ממדעי המחשב, סטטיסטיקה, ודמיון מידע על רשומות היסטוריות, חפצים וטקסטים.זהו מרכיב מרכזי של תנועת מדעי הרוח הדיגיטלית הרחבה יותר, המבקשת לשלב חשיבה חישובית לחקירה הומניסטית.זמינות של ארכיונים דיגיטליים מסיביים - כגון ספריית הקונגרס Chronic America איסוף עיתון, הארכיון הלאומי בבריטניה, ואת הספרייה הדיגיטלית Hathi - אפשרו לשאול שאלות שלא ניתן לענות עליהן.

בלבו, מדעי הנתונים ההיסטוריים עומדים להפוך מקורות ראשוניים לא ממובנים או למחצה לנתוני מידע אנאליים.תהליך זה כרוך בריפוי קפדני, ניקוי נתונים, והעשרה מטא-נתונים, לעתים קרובות במעקב על ידי ניתוח כמותי או אלגוריתמי.התוצאות מתפרשות בתוך ההקשר ההיסטורי, הדורשות תערובת של מומחיות ומיומנות מעשית.

חדשנות מתודולוגית

ערכת הכלים המתודולוגית של מדע הנתונים ההיסטוריים ממשיכה להתרחב.למטה הם כמה מהחידושים המשפיעים ביותר, כל אחד עם כוחות משלו, מגבלות ואזורים של יישום.

1 טקסט מינון ומעבד שפה טבעית (NLP)

כריית טקסט ו- NLP מאפשרים להיסטוריונים להוציא באופן אוטומטי מידע מאוספים גדולים של מסמכים כתובים - החל מעיתונים מימי הביניים ועד עיתונים מהמאה ה-19 ועד לרשומות לפרלמנט.טכניקות כגון נושא דוגמנות, הנקרא זיהוי ישות (NER), ניתוח רגשות, ו stylometry לחשוף את המגמות המתמטיות, לזהות שחקנים מרכזיים ומקומות, ולת למדוד טון רגשי לאורך זמן.

(FLT:0) tools ופלטפורמות:FLT:1 Python (NLTK, SpaCy, gensim), R (tm, קוונטיה), וממשקים ידידותיים למשתמש כמו כלי Voyant ו- Lexos. ארכיונים דיגיטליים רבים מספקים גם APIs לגישה מתודולוגית לטקסט.

2. Network Analysis

(הניתוח של רשתות ממפות יחסים בין ישויות – אנשים, ארגונים, ערים או מושגים – כדי לחשוף את המבנה של קהילות היסטוריות, בריתות פוליטיות, נתיבי מסחר וחילופים אינטלקטואליים.על ידי בניית גרפים שבהם צמתים מייצגים שחקנים ופרקים מייצגים קשרים (שחיתות, חבר משותף, ציטוטים, רישומים), היסטוריונים יכולים לזהות דמויות מרכזיות, למדוד את צפיפות הקשרים, לזהות קבוצות קהילתיות.

(FLT:0) tools ופלטפורמות: FLT:1 Gephi, Cytoscape, NetworkX (Python), statnet (R) ויזואליזציה של רשתות היסטוריות גדולות דורשות לעתים קרובות התאמות קפדניות ופריסת הפריסה כדי להימנע ממגנזה.

ניתוח טכני ומודל סטטיסטי

שיטות קוונטיות כבר זמן רב חלק מההיסטוריה הכלכלית והחברתית, אבל כוח חישובי מודרני מרחיב את היקף הניתוח.ניתוח רגרסיה, תחזיות זמן, אקונומטריות מרחביות, ואלגוריתמים למידת מכונה מאפשרים להיסטוריונים מודל לדינמיקה, תנודות מחירים, דפוסי הגירה ואפילו הפיזור של חידושים.

(FLT:0) tools ופלטפורמות: 1FLT 1 Stata, SPSS, R (tidyverse, Caret), Python (pandas, scikit-learn) המפתח הוא להבטיח הנחות סטטיסטיות להחזיק בנתונים היסטוריים, אשר לעתים קרובות סובל מחסרונות לא-random ומדידה.

ניתוח אופניים ומערכות מידע גיאוגרפיות (GIS)

GIS היסטורי מאפשר לחוקרים למפות נתונים על פני שטח וזמן, לחשוף את הממדים הגיאוגרפיים של אירועים קודמים.רגישויות אוכלוסייה, שימוש בקרקע שינויים, רשתות תחבורה ואזורי קונפליקט ניתן למפות היסטוריות ומתבוננים דיגיטליים. Georeferencing מפות ישנות, שמות מיקום גיאוגרפי מטקסטים, וביצוע ניתוח נקודתי נקודתי הם משימות נפוצות.

(FLT:0) tools ופלטפורמות: 1FLT:1 ArcGIS, QGIS, PostGIS, Python (geopandas, folium), R (sf, tmap) אמצעי טיהור רכב (למשל, מורן I) לעזור לזהות אשכולות.

5.מחשב חזון ו- Image Analysis

תמונות היסטוריות, ציורים, מפות וכתבי יד בכתב יד יכולים לנתח באמצעות ראיית מחשב.זיהוי אופי אופטי (OCR) עבור טקסטים מודפסים הוא מבוסס היטב, אבל זיהוי טקסט כתוב יד (HTR) השתפר באופן דרמטי עם למידה עמוקה (למשל, Transkribus). סיווג תמונה וגילוי אובייקטים יכולים לזהות מוטיבים, סגנונות אדריכליים, או נוכחות של בעלי חיים מסוימים או צמחים באיורים היסטוריים זה פותח מקורות חזותיים בעבר.

(FLT:0) tools ופלטפורמות:FLT:1 Tesseract (OCR), Transkribus (HTR), OpenCV, TensorFlow, ופלטפורמות מיוחדות כמו פלטפור עבור כתבי יד.

6.מידע חזותיזציה וארכיון דיגיטלי

ויזואליזציה היא לא רק כלי מצגת אלא שיטה של ניתוח exploratory.קווי זמן אינטראקטיביים, דיאגרמות רשת, מפות חום ו cartograms אנימציה לעזור להיסטוריונים לתפוס דפוסים ו-Outliers. ארכיונים דיגיטליים שנבנו עם פלטפורמות כמו Omeka, ContentDM, או IIIF-compliant הצופים לאפשר להעשיר גלישה וקישור בין אובייקטים.

(ב) ⁇ :0) ,500 ופלטפורמות: 1FLT:1 D3.js, Tableau, Flourish, Leaflet, and Archival Systems כגון ArchivesSpace או Islandora.

השפעה על מחקר היסטורי

השילוב של מדע הנתונים שינה עמוקות את האופן שבו ההיסטוריונים מנסחים שאלות, אוספים ראיות, ומציגים ממצאים כמותיים בקנה מידה גדול יכולים לבחון תיאוריות שנשארו בעבר על ראיות אקסדוטיות.לדוגמה, את ה-FLT:0 "תולדות הקריקטורה הפוליטית" (FLT:1) פרויקט השתמש בזיהוי תמונות כדי לסווג אלפי קריקטורות מהמאה ה-19, חושף שינויים בסטריאוטיפים גזעיים אתניים לאורך זמן, בדומה להצגת החשיבות של ג'ון אדמס.

יתר על כן, מדע הנתונים מאפשר את "קריאה בלתי נשלטת" של כל קורפוס טקסטואלי, מושג פופולרי על ידי פרנקו מורטי במקום לקרוא כמה יצירות קנוניות, היסטוריונים יכולים לבדוק מאות אלפי מסמכים כדי לזהות מגמות ארוכות טווח בשימוש בשפה, ז'אנר פופולריות, או המוקד המתמטי.זה לא תחליף קריאה קרובה אלא משלים אותה, מתן קנה מידה והיקף זה לא יכול להשיג שיטות ידניות.

לסטודנטים, חשיפה לשיטות אלה מטפח אוריינות כמותית קריטית והערכה עמוקה יותר לטבע הנתונים שנבנה.הם לומדים לחקור את ההטיות הטבועות במקורות היסטוריים ובצנרת חישובית, לפתח הבנה רבת יותר של האופן שבו הידע מיוצר.

מחקרים בנושא מדע נתונים היסטורי

טקסט המשווה את המהפכה הצרפתית

החוקרים השתמשו בדוגמנות על למעלה מ- 40,000 מסמכים מהתקופה המהפכנית הצרפתית, כולל דיונים פרלמנטריים, פאמפיונים וכתבי עת.המודל זיהה את התקבץות האמפתיות נפרדות – כגון "מלחמה", "דת", "כלכלה" – ועקב אחר ההסתברות שלהם לאורך זמן.זה גילה כי הדיונים על "הוירטוט" ו"טרור" הגיעו ברגעים שונים ממה שקודם לכן, סיפקו ראיות חדשות למהפכת השינוי האידיאולוגית.

ניתוח רשת של מסחר הספר המודרני הקדום

באמצעות רשומות דיגיטאליות מן ה-FLT:0 , אנגלית קצר קטלוג ההרחבה , 1:1 , חוקרים בנו רשת של מדפסות, מוכרי ספרים, וסופרים מ 1473 עד 1800.הגרף המתקבל הראה את הדומיננטיות של לונדון ואת השילוב ההדרגתי של עיתונות מחוזית.זה גם זיהה מתווכים מרכזיים הקשורים בחוגים ספרותיים נפרדים אחרת, מדגישים את התפקיד של דמויות כמו ג'ון בסוקר בדלוז'נדר בדג'נדר בדג'נדר בדג'נדר בדג'ורציה של החידושים הדמוגרפית של החידושים הדמוגרפיים של החידושים הדמוגרפיים של החידושים הדמויות.

היסטוריה של רכבת תחתית

פרויקט ה-FLT:0 "מנף את הרכבת התחתית" (FeloLT:1) פרויקט גיאוקוד אלפי נרטיבים עבדים נמלטים, רשומות ביטול ופרסומות בעיתונים.ניתוח ספאטי חשף בעבר מסלולים מבוהלים לבתים בטוחים, ותואם דפוסי בריחה עם שינויים בחקיקה (למשל, חוק העבד הנמלט של 1850).

מקורות נתונים ותשתיות

מדע נתונים היסטורי מבוסס על מקורות דיגיטליים איכותיים.רבים ממאגרי מידע כוללים:

  • (ב) [הרשימה]: [הרש"י]: מעל 17 מיליון כרכים, עם חיפוש מלא של יצירות ציבוריות.
  • [01:0]Chronicling America (Library of Congressrea: FLT: 1 מעל 20 מיליון דפים של עיתונים היסטוריים בארה"ב.
  • (ב) מהדורות של הספר "האוסף האירופי:0.E.O.O.O.O.O.O.O.A.O.A.O.A.O.O.A.E.S.E.R." .10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10.10
  • (FLT:0) Transkribus + Read-COOP:BuildFLT:1 Platforms for Handwritten text Recogniz, חיוני עבור רשומות טרום-מודרניות.
  • (FLT:0)ICPSR (הקונסורציונל הבין-university למחקר פוליטי וחברתי): FIRLT:1 מארח נתונים היסטוריים של מפקד האוכלוסין, החזרה לבחירות, ומאגרי נתונים כמותיים אחרים.

החוקרים גם יוצרים נתונים מותאמים אישית על ידי הדבקה או מקורות מרתיעים - פעילות אינטנסיבית אך מתגמלת.קישור אינטגרטיבית יוזמות נתונים פתוחות (למשל, ויקיונים, VIAF) מספקים מזהים מובנה שניתן להשתמש בהם כדי לנתק ישויות היסטוריות על פני נתונים.

הכשרה ומיומנויות לדור הבא

כדי לעבוד ביעילות בצומת זה, ההיסטוריונים צריכים ריצוף בשתי שיטות חישוביות ו hermeneutics היסטורי.תואר ותוכניות לתואר שני לתארים מתקדמים מציעים כעת קורסים בהיסטוריה דיגיטלית, נתונים מתעמעם, ותכנות עבור אנשים.

  • (ב) [15] , ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
  • (FLT:0Database design and Structure SQLFLT:1) לניהול נתונים היסטוריים מובנים.
  • (ב) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
  • (ב) [15] ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
  • (ב) ,0) שיתוף פעולה וניהול פרויקטים 1 (FLT:1) כדי לעבוד בצוותים בין-תחומיים.

מקורות מקוונים כמו FLT:0 (Prograating HistoriancioFLT:1) מציעים שיעורים חינם ב Python, R, GIS, וכלים אחרים המותאמים עבור הומניסטים. Workshops from the FLT:2Digitalal Summer Institute (DHSI)FLT 3 ו-FLT:4e מכון לאמנויות ליברליות (ILADS)FLT:5, 000, 000, 000, 000, 000, 000, 000, 000, 000, 000, 000 אינטנסיביים, 000.

אתגרים ושיקולים אתיים

למרות הבטחתו, מדע הנתונים ההיסטוריים ניצב בפני מכשולים משמעותיים:

איכות נתונים ושלמות

רשומות היסטוריות הן מפורקות מטבען של נתונים חסרים, שגיאות תמליל, וטיות דגימה יכולות לעוות ניתוחים.לדוגמה, נשים, העניים, אוכלוסיות שאינן אליטות מוצגות לעתים קרובות במקורות כתובים. החוקרים חייבים לתעד ולחשב עבור פערים אלה, ולהיות זהירים לגבי הכללה של אורורה דיגיטלית שעשויה לייצג אזורים מסוימים או מעמד חברתי.

« דו-שיח אלגורית' ביסאס וקונטקסט

כלים משלימים יכולים לשכפל או להגביר את ההטיות ההיסטוריות.מודל ניתוח רגשות שהוכשר על טקסטים מודרניים עשוי שלא לפרש ביטויים מהמאה ה -18 של נימוס או סרקזם. דיוק OCR משתנה באופן נרחב עם גופנים ומצב של הניתוח המקורי, מציג רעש.רשת לעתים קרובות דורש אפשרויות סף שרירותיות עבור הכללה, אשר יכול לעצב תוצאות. ניתוח רגישות S.

דיקטטורה מוסרית

באמצעות נתונים אישיים מרשומות היסטוריות מעלה חששות פרטיות, במיוחד עבור ההיסטוריה האחרונה שבה צאצאים של יחידים עדיין בחיים.חומרי המורשת התרבותית של הקהילות הילידים חייבים להיות מטופלים בכבוד לריבונות שבטית ופרוטוקולים. שיתוף נתונים ופרסום חייבים לנווט בזכויות יוצרים, קווים מנחים אתיים מארגונים מקצועיים (למשל, איגוד היסטורי אמריקאי, קהילת מדעי הרוח הדיגיטלית), וועדת הביקורת המוסדית.

פרשנות ונרטיב

תפוקה קוונטית אינה מדברת בעד עצמה.הם חייבים להתפרש בתוך ההקשרים החברתיים, הפוליטיים והתרבותיים של התקופה.אם בין קשיים כלכליים והאשמות בכישוף לא מוכיחה סיבתיות ללא ראיות איכותיות לאמונות מקומיות ולמסגרות משפטיות.העבודה הטובה ביותר במדעי ההיסטוריה מפרשת ראיות חישוביות עם מחקר ארכיוני מסורתי, תוך שימוש זה כדי להעשיר את השני.

כיוונים עתידיים

במבט קדימה, כמה מגמות יעצבו את השדה:

  • (FLT:0) למידה ומ LLMs:FLT:1 גדול מודלים שפה (למשל, GPT, LLaMA) יכול לעזור עם תמליל, תרגום וטקסט, אבל דורש הנדסה מהירה קפדנית ובדיקה עובדה.
  • ניתוח:0 (Multimodal: FLT:103) שילוב טקסט, תמונה, מפה ונתוני קול במסגרת אנליטית יחידה - למשל, קישור למוטיבים החזותיים של ציור לתיאורים טקסטטיים ממושכים.
  • (FLT:0) ,Citizen Science and Crowsourcing:cioFLT:1 ,פלטפורמות כמו Zooniverse לעסוק מתנדבים בהגדרה וייצוג מקורות היסטוריים, עלייה ביצירת נתונים.
  • (FLT:0) שיפור והנתונים הפתוחים:FIRLT:1) דגש גובר על שיתוף קוד, נתונים וזרימות עבודה כדי לאפשר אימות ושימוש חוזר.
  • (FLT:0)למד והיסטוריה ציבורית: FLT:1 תערוכות אינטראקטיביות ומודולים בכיתה המשתמשים במדעי הנתונים כדי לעסוק קהל רחב יותר עם העבר.

ההתקדמות לא תפחית את הצורך בחשיבה היסטורית קפדנית.במקום זאת, הם ירחיבו את ערכת הכלים של ההיסטוריון, המציע דרכים חדשות לשאול שאלות ישנות וגלו שאלות טרם דמיין.הצומת של ההיסטוריה ומדעי הנתונים אינו השתלטות על מדעי הרוח על ידי טכנולוגיה אלא מרחב עשיר, שיתופי שבו תרגול חישובי זהיר והבנה היסטורית עמוקה מאירים יחד את המורכבות של החוויה האנושית.

(ב) ויקרא ומקורות:

  • (ב) ⁇ (ב) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
  • (ב) ,0)Digital Humanities Institute: 1 בינואר – סדנאות אימון שנתיות.
  • (ב) [ה]] ב[[1924]], [[1924]]]], [[1924]]]]]], [[1924]]]]]]]], [[1924]]]]]]]]
  • (ב) ,0) מפות ישנות (FLT:1) - מנהל מפות היסטוריות גיאו-דיוויד.