שימוש בנתונים גדולים כדי לא לחשוף דפוסים נסתרים באירועים היסטוריים

מבוא

הצומת של מדעי הנתונים והחקירה ההיסטורית העניקה למשמעת חדשה הנקראת לעתים קרובות היסטוריה דיגיטלית או היסטוריה חישובית.על ידי יישום ניתוח נתונים גדול - ⁇ s במקור מיועד למסחר אלקטרוני, מדיה חברתית ומחקר מדעי - היסטוריונים יכולים כעת לעבד ולנתח שרידים עצומים של מקורות דיגיטליים.אלה כוללים הכל ממאות שנים של רישום הקהילה וחזרה למיליוני דפים, דיונים פרלמנטריים, ואפילו קבוצות חברתיות של חוקרים, כדי לגלות מבחנים מוקדמים יותר, כדי לחקור מבחנים היסטוריים של שיטות מחקר.

עלייתו של Big Data במחקר היסטורי

(המידע הגדול בהקשר היסטורי מתייחס למאגרי מידע דיגיטליים כה גדולים או מורכבים, עד שלא ניתן לעבד אותם בקלות באמצעות כלי תפוצה מסורתיים או מסד נתונים.מקורות הם מגוונים: זיהוי אופי אופטי (OCR) אפשרה את הספרות של מיליוני ספרים, כתבי עת ועיתונים; ממשלות ומוסדות שחררו נתונים קריאים מכונה, מכתבי לידה ותיעודי מוות, ואינטרנט סיפק כמויות חסרות תקדים של התכתבות אישית, כגון: LT2 עשורים, כגון:

נפח הנתונים העצום – לדוגמה, הספרייה הבריטית מחזיקה מעל 40 מיליון דפי עיתונים מהמאה ה-17 ועד המאה ה-20 – כלומר שאפילו חוקר יחיד יכול, עם הכלים הנכונים, להעריך דפוסים לאורך מאות שנים ולא להיות מוגבל לכמה ארכיונים.שינוי זה היה מוטבע להמצאת הטלסקופ באסטרונומיה: הוא אינו מחליף קריאה קרובה, אלא מגלה מבנים בלתי נראים לעין העירומה, אך לא היה מסוגל לחזק את הנתונים ההיסטוריים, ללא בעיות הקשורות להפחתה של נסיבות הפחתת הגורמות להפחתה של נתונים, ללא בעיות הקשורות להפחתה של נתונים, ולא להפחתה של נתונים, לא הייתה השפעה היסטורית, ולא להפחתה של נתונים, ולא להפחתה של נסיבות שונות, ולא להפחתה של נתונים, לא הייתה השפעה על מנת לחזק את הנתונים, ולא להפחתה של נתונים על מנת לחזק את הנתונים, ולא להפחתה של נתונים, לא הייתה בעלת ניסיון משמעותי של נתונים על רקע נתונים על רקע האלגוריתמים, אלא גם על רקע האלגוריתמים, על רקע נתונים על מנת לחזק את הנתונים על רקע האלגוריתמים, ללא צורך באלגוריתמים, ולא על רקע האלגוריתמים, על מנת לחזק את הנתונים של נתונים על מנת לחזק את הנתונים של נתונים על רקע האלגוריתמים, על מנת לחזק את האלגוריתמים של נסיבות האלגוריתמים, ללא בעיות של נתונים על מנת לחזק את הנתונים על מנת

שיטות אנליטיות עיקריות עבור נתונים היסטוריים

כדי להפיק דפוסים משמעותיים בנתונים היסטוריים גדולים, החוקרים משתמשים בחבילה של שיטות חישוביות המותאמות ממדעי המחשב, הסטטיסטיקה והאנושיים הדיגיטליים. להלן הם הטכניקות הבולטות ביותר, כל אחת מתאימה לסוגים שונים של שאלות.

עיבוד שפה טבעית (NLP)

כרייה טקסט כוללת המרת טקסט לא מובנה בנתונים שניתן לכמת ולנתח.משימות NLP נפוצות החלים על טקסטים היסטוריים כוללות מודלים בנושא, אשר מזהה באופן אוטומטי נושאים על פני קורפוס; בשם "הכרה בישות" (NER), אשר ממצה שמות של אנשים, מקומות, ארגונים, תאריכים; וניתוח רגשני, אשר מודד את הטון של מעברים. לדוגמה, על ידי ניתוח רגשות על פני עשרות שנים של מאמרי מערכת המשפט, חוקרים יכולים לזהות אירועים מרכזיים של אירועים של אירועים של דיון מדעי הרוחבעולם זה הוא על פני ה-ידי אירועים מרכזיים או ניתוח של אירועים משפטיים או ניתוח של אירועים משפטיים או אירועים מרכזיים של אירועים של אירועים משפטיים.

Network Analysis

ניתוח רשת ממפה את היחסים בין ישויות – אנשים, ארגונים, רעיונות או אפילו מקומות. במחקר היסטורי, זה חזק במיוחד להבנת מבנים חברתיים, בריתות פוליטיות, שיתופי פעולה מדעיים ורשתות מסחר.על ידי בניית רשת של אותיות, למשל, ניתן לזהות אילו דמויות פעלו כמתווכים של השפעה במהלך האנאורנסמנט או המהפכה האמריקאית, אמר פעם "היכן שישנן רשת ידועה, לדוגמה, לא יכול להיות מסוגל לדמיין, אלא גם כלי נגינה מרכזי, אבל לא יכול להיות בעל אופי היסטורי, אלא אם כן, אלא אם כן, לא יכול להיות בעל השפעה, אלא אם כן, לא יכול להיות בעל השפעה, אלא גם כן, אלא אם כן, אלא גם כן, כך, כך, כך, כך, אם כן, כך, כך, כך, כך, כך, כך, כך, כך, אם כן, כך, אם כן, אם כן, למשל, אם כן, כך, כך, כך, כך, כך, כך, כך, כך, כך, כך, כך, כך, כך, כך, אם כן, כך, כך, כך, כך, כך, כך, כך, למשל, כך, כך, כך, למשל, למשל, כך, כך, כך, כך, כך, למשל, למשל, כך, כך, כך, כך, למשל

ניתוח פרטי ומערכת מידע גיאוגרפית (GIS)

GIS מאפשר להיסטוריונים להציב נתונים על מפות ולנתח תבניות מרחביות לאורך זמן. שיטה זו שימשה לבניית התפשטות המוות השחור ברחבי אירופה, כדי למפות את נתיבי הרכבת התחתית, ולנתח את חלוקת דפוסי ההצבעה ב-19th המאה של המאה ה-19, ניתוח ספאטי יכול גם לשלב מספר רב של שכבות - לדוגמה, על פני נתונים של מפקד האוכלוסין עם מפות של משאבים טבעיים כדי להסביר את המיקום של עיירות עתיקות וגילוי של התנחלויות מתקופת ימי הביניים.

למידה של Analytics

מעבר לשיטות סטטיסטיות פשוטות, אלגוריתמי למידת מכונה יכולים לזהות דפוסים מורכבים, שאינם מובנים בנתונים היסטוריים. אלגוריתמים שקבוצת אלגוריתמים דומה או מסמכים היסטוריים ללא תוויות קודמות – שימושיים לגילוי קטגוריות בלתי מובנות של מחאה חברתית או ז'אנרים ספרותיים. Anomaly זיהוי יכול למקם את הגרסאות הקודמות, כגון ספייקטים יוצאי דופן בשווקים של דגנים מימי הביניים, אשר מקריבים ברעב או מרדים מתקדמים יותר, כמו רשומות טקסט מודרניות, אשר נועדו כעת, אשר נועדו רק לקודדים, כגון רשומות טקסט, או רשומות טקסט מודרניות, אשר נועדו רק לקודדות, כגון רשומות טקסט, אשר נועדו רק לקודדות, כגון רשומות טקסט, כגון רשומות טקסט, אשר היו זמינים, אשר נועדו רק כדי לזהות כתבי יד, או רשומות אורכותרות, או רשומות אורכותרות מודרניות, או , כגון רשומות אורכותרות, כגון רשומות טקסט חזותיות, אשר עומדות, אשר עומדות, אשר עומדות, כגון רשומות טקסט מודרניות, כגון רשומות טקסט, אשר עומדים בפני רשומות אורכות, אשר היו רק כדי לזהות, או רשומות אורכות, כגון רשומות אורכות, כגון רשומות אורידיות, כגון רשומות טקסט, אשר עומדות, אשר היו רק כדי לזהות, אשר היו גלויות קודמות, כגון רשומות אור

מחקרים על Uncovering Patterns

הדוגמאות הבאות ממחישות כיצד שיטות נתונים גדולות חשפו דפוסים כי הטרווגרפיה המסורתית עשויה להחמיץ או רק רמזה.

גילוי שינויים ב-Sentiment הציבורית באמצעות ארכיון עיתונים

אחד האזורים הפוריים ביותר היה הניתוח של אורורה בעיתון גדול, הארכיון הבריטי, למשל, מכיל מעל 40 מיליון דפים המשתרעים על פני שלוש מאות שנים. חוקרים מאוניברסיטת סאסקס השתמשו בניתוחים של נושאים מודלים ורגשות על עיתונים איריים מ -1790 עד 1900 כדי לעקוב אחר שינוי עמדות כלפי הגירה.הם גילו כי השפה עברה מתיאור הגירה בתחילת המאה ה-19 להחלטות כלכליות מחושבות על ידי 1880 עד שנתגלו כיצד התרחשות של מחקרים צבאיים, אשר הראו כי הם הראו כי מוקדם יותר מאשר בתקופה של אלימות מימי הביניים, כפי הנראה, לפני גיל המעבר של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ארצות הברית, לפני גיל המעבר של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של ההיסטוריה של אורה.

מפת רשתות חברתיות של איורים היסטוריים

הפרויקט "Six Degrees of Francis Bacon" (שם מתייחס למושג "שש מעלות של הפרדה") השתמש בניתוח רשת כדי לשחזר את הקשרים החברתיים של אינטלקטואלים אנגליים מודרניים מוקדמים.על ידי מכתבי כרייה, מסירות ורשימות חברות של החברה המלכותית, הפרויקט גילה כי מרגרט מערתיש, פילוסוף וסופר מהמאה ה-17, היה הרבה יותר מחובר לוגי דעות מובילים מאשר בעבר, מאתגר את המוניטין שלה כסימן מרכזי של רשת אחרת של ג'פרסון, לא היה מסוגל להיות מושפע מתפקידו של ג'פרסון, בעודו של ג'פרסון, בעודו של ברית המועצות, בעודו של ג'פרסון, לא היה השפעה על ידי הפילוסוף והסופר, בעודו של ג'פרסון, לא היה למעשה, הוא היה השפעה על ידי הפילוסוף והסופר, הוא היה למעשה, הוא היה למעשה, כמו גם הוא היה קשר לחיקויו של ברית המועצות, כמו גם הוא היה בעל תפקיד מרכזי של דנמרק, כאשר הוא היה בעל תפקיד מרכזי של רשת מרכזית של ג'פרסון, כאשר הוא היה מעורב בסימן של ג'פרסון, כמו גם הוא היה בין המתרגם מרכזי של ג'פרסון, כאשר הוא לא היה מעורב בסימן של ברית המועצות, כמו גם הוא היה מעורב בסימן של ברית המועצות, אם לא היה מעורב בסימן של ג'פרסון,

ניתוח נתונים כלכליים ארוכי טווח

היסטוריונים כלכליים עבדו עם נתונים כמותיים, אך נתונים גדולים הרחיבו את היקףם.קבוצת המחירים והכנסות העולמית הקימה מאגר נתונים של כשלים והפסדים ב-600 שנים מעשרות ערים.על ידי יישום ניתוח של תחזיות זמן ומחזוריות, החוקרים זיהו את "הההההההבדל הקטן" - התקופה שבין 1500 ל- 1800 כאשר לא החלה מערב אירופה לסגת מבחינה כלכלית מהדרפוסק של מאות שנים, אך לעיתים קרובות, אך לא ניתן היה לבחון נתונים מימי הביניים בלבד, אך ורק ברשומות של מרכזים של מרכזים של אוניברסיטאות, אך ורק ברשומות של ימינו, אך ורק בניסוי, אך ורק בניסוי, כאשר לא יכלו לבחון את כל אחת בלבד, רק בניסוי בין השנים האחרונות, כאשר לא יכלו לבחון את נתוני מרכזים של אלפי ספרים, רק בניסויים של אוניברסיטאות אנגליות של מרכזים, אך ורק בניסוי זה לא יכלו לבחון את נתוני מרכזים, אך ורק באצטדיון של מרכזים, אך ורק בנתוני יבולים, רק באצטדיון של אוניברסיטאות מימי הביניים, רק בניסוי זה לא יכלו לעיתים קרובות, רק בניסוי זה לא יכלו לעיתים קרובות, רק ברשומות של אלפי שנים, רק בניסוי של יבולים, רק בניסוי זה לא יכלו לבחון את נתוני מרכזים

ארגון מחדש של מחלות מחוץ לרשומות היסטוריות

אפידמיולוגיה היא שותפה טבעית לנתונים היסטוריים גדולים בשנת 2020, צוות של היסטוריונים ומדענים נתונים דיגיטציה של אלפי רשומות קבורה מהמאה ה-17 בלונדון והשתמש ב-GIS כדי למפות את התפשטות המגפה הגדולה של 1665.הם גילו כי הזיהום לא עבר באופן אחיד ממרכז העיר, אלא גם קפץ מפרויקט לקווי מסחר, עם שכונות מסוימות הפועלות כ"עלים"מסמך רכזות בריאותית" (אך) שעדיין לא יכלו לעבור מ-30 מחסומים מודרניים, אלא גם על בסיס מחסומים, אלא גם על בסיס מחסומים מוקדמים יותר מתחומי ריכוזים של תועדות הגנה על בסיס תועדו על בסיס נתונים של קבוצות מחקר של קבוצות מחקר של ערים מודרניות, אלא גם על בסיס תועדו על בסיס סודיות, אלא גם על בסיס נתונים של סודיות, אלא גם על בסיס נתונים של תועדות אירועים מוקדמים יותר, אלא גם על בסיס נתונים של תועדו על בסיס נתונים של קבוצות מחקר של קבוצות מחקר של קבוצות מחקר של ערים, אלא גם על בסיס נתונים של קבוצות של קבוצות מחקר של קבוצות מחקר של קבוצות של קבוצות של ערים אחרות, אלא גם על בסיס נתונים של קבוצות של קבוצות של קבוצות של קבוצות של ערים, אלא גם על בסיס סודיות, אלא גם על בסיס נתונים של קבוצות של קבוצות של קבוצות מחקר של קבוצות מחקר של קבוצות

אתגרים ומגבלות

למרות ההבטחה שלה, באמצעות נתונים גדולים בהיסטוריה הוא מוטרד מאתגרים מתודולוגיים ואתיים. ראשית, איכות הנתונים היא לעתים רחוקות מושלמת. שגיאות OCR יכול לעוות תוצאות כרייה טקסט; לדוגמה, דמות בודדת במאמר בעיתון עשויה לשנות את הציון החושי של גוף שלם של השנה, היסטוריונים חייבים לנקות בזהירות ולאמת את הנתונים שלהם, לעתים קרובות דורשות ידני על מדגם, כלומר, את הסקירה של נתונים קולוניאליים, או מוסכמות, לפני הארכיונים פוליטיים, אשר לעתים קרובות יותר מאשר אלה היומין האירופיים, לדוגמה, אשר היו קיימים, או תאוריות קולוניאליות, אשר לעתים קרובות יותר מאשר אלה, כגון אלה, המכללות.

שלישית, מתאם אינו גורם לכך.המידע הגדול יכול לחשוף כי שני מגמות נעות יחד - כלומר, עלייה בזיהוי רפורמות וירידה בהתייחסויות דתיות - אך ההסבר דורש הקשר היסטורי.בלעדיו, הסיכונים הניתוחים הופכים ל"ממצאים כרייה נתונים" שמרכיבים את הדפוסים לרעש.בסוף, חששות הפרטיות מתעוררים כאשר מתמודדים עם נתונים אישיים מהמאה ה-20.

עתיד המידע הגדול בהיסטוריה

במבט קדימה, שילוב של נתונים גדולים עם למידת מכונה - במיוחד מודלים שפה גדולה (LLMs) כמו GPT - ממריצים את האפשרויות. LLMs יכול לסכם טקסטים היסטוריים, ליצור היפותזות, או אפילו לדמות תרחישים היסטוריים "עובדות" על ידי להיות מאומן על קורפוס גדול של הצהרות מצביות.עם זאת, מודלים אלה גם מגבירים הטיה קיימת ויכולים לייצר התרחשויות סבירות אך נרטיבים, כך צריך היסטוריונים שקריים כדי לשמור על עמדה ביקורתית.

גבול נוסף הוא ההיתוך של נתונים היסטוריים עם תחומים מדעיים אחרים.ג'ימפטולוגיה היסטורית, למשל, משלב נתונים שמקורם בעץ, ליבות קרח, ומזג אוויר היסטורי מארגן מחדש את האקלים העבר.על ידי מיזוג אלה עם רשומות כלכליות, החוקרים יכולים מודל כיצד זעזועים אקלים גרמו לרעבים או הגירה.ארכיאולוגיה הופכת גם למניעה נתונים: לידר חשפה ערים חבויות תחת ג'ונגליסטים, בעוד שחוקרים משולבים בדגמי פחמן ומעבדות פחמן והופכים לדגמי פחמן ומודלים של פחמן.

ככל שהמכשירים האלה נעשים נגישים יותר, אנו עשויים לראות דמוקרטיזציה של מחקר היסטורי, שבו גנולוגים חובבים או חברות היסטוריה מקומיות יכולים ליישם את אותם אלגוריתמים המשמשים אוניברסיטאות.הסיכון הוא צורה חדשה של חלוקה דיגיטלית - בין אלה עם הכישורים הטכניים והמשאבים חישוביים והמשאבים ללא.כדי להבטיח כי נתונים גדולים מעשירים במקום לעוות את ההבנה של העבר, ההיסטוריונים חייבים להישאר מעורבים עם הממדים התאולוגיים, התאולוגיים והמעשיים של העבודה שלהם.

מסקנה

היישום של נתונים גדולים למחקר היסטורי אינו תחליף לאומנות של ההיסטוריון המסורתי - זה הרחבה. על ידי חשיפת דפוסים נסתרים ברגש, רשתות, חלל וזמן, זה מאפשר לנו לשאול שאלות חדשות ולאשר או לאתגר נרטיבים ישנים.הדוגמאות שדנו כאן - החל משינוי רטוריקה אירית להתפשטות של אלגוריתמים גדולים בלונדון - מחלחלות כי דפוסים בלתי נראים לחוקר בודדים יכולים להופיע מהמשקל של תקשורתית, אך לא ניתן היה לראות את האלגוריתמים היסטוריים, אלא גם אם לא רק כדי להסביר את הרציונליים חשובים יותר, אלא גם את האלגוריתמים, אלא גם את האלגוריתמים, אלא גם את האלגוריתמים, אלא גם את האלגוריתמים, אלא גם את ההופכים לכדי להבין את האלגוריתמים חשובים יותר, אלא אם כן, אלא גם את האלגוריתמים, אלא גם את הרטוריקה של שיטות מדידה, אלא אם כן, כדי להסביר את הרטוריקה של מידע זה מכבר, אלא גם את הרציונלית, אלא גם את האלגוריתמים, כדי להסביר את האלגוריתמים חשובים יותר, כדי להסביר את האלגוריתמים, אם כן, אם כן, אם כן, אם כן, אם כן, אם כן, אם כן, אם כן, אם כן, כדי להסביר את האלגוריתמים, כדי