החלת ניתוח שפה כדי לחשוף השפעות תרבותיות בטקסטים היסטוריים

הקדמה: כוחה של שפה בניתוח היסטורי

שפה אינה רק כלי לתקשורת; היא מהווה מאגר זיכרון תרבותי, מבני כוח, ותפיסת עולם מתפתחת.כל מילה, מבנה סינקטי, וביטויים בינוניים נושאים עקבות של החברה שיצרה אותו.עבור היסטוריונים, חוקרים ספרותיים ומדענים דיגיטליים, ניתוח שפה מציע שיטה שיטתית להסרת טביעות אצבע תרבותיות אלה מטקסטים היסטוריים.

הבנת ניתוח שפה

Defining the Concept

ניתוח דפוס שפה מתייחס לבחינה השיטתית של תכונות לשוניות חוזרות בתוך גוף של טקסט.תכונות אלה כוללות אפשרויות lexical (תדירות מילה, אוצר מילים נדיר), דפוסים סינקטיים (אורך חישה, סעיפים 18 פאסיביים לעומת קול פעיל), סמנים סטריליים (דחיסות של מאקרו), תכונות רטוריקה), ומאפיינים ברמת השיח (מודלים ראשוניים, רגשות מסורתיים).

כלים וטכניקות

ניתוח דפוס שפה מודרני מבוסס על מגוון של כלי תוכנה ספריות תכנות.

(FLT:0) כלי רכב מאוישים 1 (Voyant ToolsFLT:1) – סביבה מבוססת אינטרנט לניתוח טקסט, המציעה עננים מילים, התאמות ופיזור תדרים מונח.ממשק אינטואיטיבי שלו הופך אותו לנגיש למתחילים.
(ב) ;0) AntconcirFLT:1 - ערכת ניתוח קורפוס חינם עבור concordencing, רשימות מילים, ומיצוי מילות מפתח, במיוחד שימושי עבור השוואת גוף יעד נגד קורפוס התייחסות.
(FLT:0) ספריות פית'ר (NLTK, ספאCy, TextBlob) - לעיבוד שפה טבעית מתקדם, כולל תגים חלקיים, הנקראים הכרה בישות וניתוח סנטימנטאלי.
(FLT:0 אלגוריתמים מודלים מודלים מודלים של אלגוריתמים) 1 (LDA, ⁇ ) - לזהות נושאים מאוחרים על פני אוספים גדולים של מסמכים. אלגוריתמים אלה מילים שלעתים קרובות co-ccur, לחשוף את התקצירים הmaticיים כגון "תרבות," סחר", או "ממשלה".
(FLT:0) כליסטומטריה (JStylo, סטייללו R חבילה) - עבור כתיבת הספריות וזיהוי שינויים סגנוניים הקשורים לשינויים תרבותיים.הם מודדים תכונות כמו תדרי משפט וחלוקות אורך.

כלים אלה מאפשרים לחוקרים לכמת תכונות כמו אורך מילים, Hapax legomena (מילים המופיעות רק פעם אחת), ומורכבות סינקטקטית.ניתוחים מתוחכמים יותר משתמשים בלמידה של מכונה כדי לסווג טקסטים על ידי ז'אנר, תקופה או השפעה תרבותית.לדוגמה, מודל רגרסציה לוגיסטי המוכשר על טקסטים ידועים מתקופות שונות יכול להקצות הסתברות כי מסמך נתון שייך ל-17 או המאה השמונה־עשרה, בהתבסס על תבניות לשוניות בלבד.

תכונות לשוניות מפתח שתרבות הרהורים

אלמנטים לשוניים מסוימים נחשפים במיוחד להשפעות תרבותיות:

(FLT:0)Loanwords ו-Lowings: ההרחבה של אוצר המילים הזרה מציינת לעתים קרובות מסחר, כיבוש או חילופי אינטלקטואלי.לדוגמה, נוכחותם של מילים בערבית בטקסטים ספרדיים לאחר התקופה המואורית מעידה מאות שנים של מגע תרבותי.מילים כמו "קלייד" (אולי) ו"אימיט" (שמן) נמשכת כזיכרון של אינטראקציה זו.
(ב) כאשר סופרים משכפלים את מבני המשפט של שפה אחרת בשפתם הטבעית, היא מציעה השפעה סינקטקטית עמוקה.הסעיפים הגרמנים-הפועלים-סופיים שהוחזקו בתחילת התרגומים האנגלים המודרניים של יצירות לותר הם מקרה אחד.
(FLT:0)Honorifics ו-kinshipמונחים: ⁇ FLT:1) Shifts כיצד אנשים מטופלים (למשל, "אתה" רשמי לעומת "האטו" הבלתי רשמי יכול לשקף שינוי הירארכיות החברתיות.הירידה של "או" באנגלית תואמים עם עלייתה של חברה שוויונית יותר, בורגנית.
(FLT:0) ממטאפורות ודימויים: FLT:1 המטפורות המשמשות לתיאור הטבע, האלוהות, או הממשל נובעות לעתים קרובות מתפיסת עולם ספציפית תרבותית.
(FLT:0) אסטרטגיות ריתטוריות: FLT:1 תבניות של שכנוע (אתוס, פתוס, לוגו) משתנות בין תרבויות ותקופות, וחושף מערכות ערך בסיסיות. טקסטים סיניים קלאסיים מסתמכים יותר על תקדים אנלוגי והיסטורי מאשר על לוגיקה אריסטוטליאנית, הבדל שניתן לכמת באמצעות תדירות של סמנים מסוימים של שיח.

יישום השיטה לטקסטים היסטוריים

שלב-בי-Step Process

ביצוע ניתוח דפוס שפה על טקסטים היסטוריים בדרך כלל כרוך השלבים הבאים:

(FLT:0Corpus יצירה וספרות: FIRLT:1 כתבי יד מקור, ספרים מודפסים, או מסמכים ארכיטיביים להמיר אותם לטקסט קריא מכונה (OCR להדפסה, תעתיק ידני לחומרים כתובים יד).תשומת לב חייבת להיות משולם ל metadata: תאריך, מקום, סופר, ז'אנר, וכל הטיה ידועה בתהליך הבחירה.
(FLT:0) עיבוד וניקוי: FLT:1ir להסיר שגיאות הקלדוגרפיות, נרמל את וריאציות האיות (למשל, "קולור" לעומת "צבע"), ומצח את הטקסט ליחידות סבירות (פרקים, פסקאות או משפטים) עבור אנגלית מבוגרת יותר, זה עשוי לכלול מיפוי של כישוף לחשים לסטנדרט מודרני באמצעות דיסלקציות מיוחדות.
(FLT:0) מיצוי חומרים: FLT:1 השתמש בכלים חישוביים כדי לספור תדרי מילה, לזהות n-grams, חלקי תג של דיבור, ולהפיק תלות סינקטקטית.שלב זה הופך טקסט גולמי לתוך מצגת נתונים מובנה המתאים לניתוח.
(FLT:0) ניתוח סטאטיסטי: FLT:1eur שיטות כמו בדיקות צ'י-סמדומים, ניתוח רכיב עיקרי, או ניתוח אשכול כדי לזהות דפוסים המבדלים קבוצות של טקסטים.לדוגמה, ניתוח רכיב עיקרי עשוי להפריד דרשות ממאמרים פוליטיים המבוססים על בחירה במילה.
(FLT:0) Interpretation: FLT:1 Relate זיהה דפוסים בהקשר היסטורי.עלייה פתאומית אוצר המילים הלטיני של המאה ה-16 טקסטים אנגליים, למשל, עשויה להתאים לתחיית הרנסאנס של למידה קלאסית.אבל פרשנות חייבת לקחת בחשבון ז'אנר, קהל, ואת האפשרות כי התבנית משקפת סופר בעל השפעה יחידה ולא מגמה תרבותית רחבה.

אתגרים ושיקולים

עבודה עם טקסטים היסטוריים מציגה מכשולים ייחודיים:

(FLT:0) אורתוגרפיות עקביות: ראטאל:1 לא היה סטנדרטי עד המאה ה-18 בשפות רבות, הדורש נורמליזציה חזקה.מילה אחת כמו "אנשים" עלולה להופיע כ"עקרון", "פל", או "פפל", "אופטל", או "פלופה". אוטומטיים של אלגוריתמים של אלגוריתמים של אלגוריתמים של אלגוריתמים של כישוף הם שיפור אך עדיין דורשים אימות אנושי.
(FLT:0) corpora: ⁇ 1 (טקסטים של הישרדות) עשויים לא לייצג את טווח הקולות המלא, במיוחד אלה של נשים, איכרים, או עמים מעוקלים.ההיסטוריון חייב להתנגד לפיתוי להתייחס לקורפוס הזמין כתמונה מלאה של מקורות משותפים, כגון רשומות משפטיות או אותיות אישיות, יכול לעזור למלא פערים.
(FLT:0)Gir Vari: ההרחבה 1:1 (המחבר עשוי להשתמש בדפוסי שפה שונים בדרשה מול מכתב אישי; שליטה בז'אנר היא חיונית. acorpus שמשלב ז'אנרים ללא הבחנה עשוי לייצר דפוסים מטעים.
(FLT:0) בדיגיטליזציה: FLT:1 זיהוי האופי האופטי (OCR) שגיאות יכולות להציג עיוותים שיטתיים, במיוחד בגופנים ישנים יותר.מחקר של עיתונים מהמאה ה-18 מצא כי OCR קורא את ה"של" הארוך (s) כ"f"ב- עד 15% מהמקרים, ספירת תדרי הנקות למילים המכילות את הדמות הזו.

החוקרים חייבים לשלב הקפדה חישובית עם מודעות ביקורתית של מגבלות אלה.כפי שההיסטוריון הדיגיטלי פרדריק גיבס ציין, "הנתונים לעולם אינם גולמיים; זה תמיד מבושל."

מחקרים ב- Language Pattern Analysis

מפגשים קולוניאליים: אנגלית Idioms in Indian Directorys

אחד האזורים הפוריים ביותר לניתוח דפוס שפה הוא המחקר של שיח קולוניאלי. במחקר של דוחות ניהוליים מהמאה ה-19 בשפה ההודית בכתב באנגלית, החוקרים השתמשו בניתוח תדר כדי לעקוב אחר אימוץ ביטויים לאדיומטיים האופייניים לשפת הפרלמנט הבריטית: הנתונים הראו כי פקידי ממשל הודיים ופקידים משולבים בהדרגה ביטויים כגון "לשיקול", "כמובן," ו"השיעורים" הנ" בראיה גדל והולך של חוקרים אלה, אך ורק על ידי כך, אך ורק על ידי כך, לפי דפוסים של תרבות רדיאלית, אך לא משקף באופן דרמטי, אלא גם את התכונות הביורוקרטית, אלא גם את התכונות המנוגדת, אלא גם את התכונות ה" (Ricentreliology, אך ורק על ידי ראג', אך ורק על ידי כך, אך ורק על ידי ראג') של מנהגים, אך ורק על ידי ראג', אך ורק על ידי כך, לא מעט, אלא גם את התכונות הפות, אלא גם את התכונות ה-מסוגל, אלא גם את התכונות ה"מסוגל, אלא גם את התכונות ה"מסוגל, אך ורק על ידי כך, אך ורק על ידי כך, כמובן, אשר משקף את התכונות ה"מסוגל, כך, כך, כך,

טקסטים דתיים ותכונות צלב-תרבותיות

כתבי דת לעתים קרובות מציגים תכונות סגנוניות שעולים לגבולות גיאוגרפיים.חשבו על השימוש במקבילות בעברית המקראית ובערבית הקוראן, ניתוח פרוצדורה של מבני המשפט בגרסאות מתורגם של טקסטים אלה, מראה כי מתרגמים שמרו לעתים קרובות מבנים מקבילים גם כאשר שפת היעד חסרה צורות כאלה.

פמפיונים פוליטיים והונגריה מהפכנית

ניתוח דפוס גם הוחל על פיפיות פוליטיות מן המהפכה האמריקנית והצרפתית.נושא מודל של עשרות מונים חישוביים מ-1770-1789 מגלה שינוי במונחים כלכליים מכובדים (מסילה, ייצוג) לשפת זכויות מופשטת (חירות, שוויון, עריצות), תורות lexical אלה תואמים את ההשפעה האינטלקטואלית של פילוסופים של ההשכלה.

שפה מגדרית בספרות ויקטוריה

הרומנים הוויקטוריאנית מציעים חלון לשינוי נורמות מגדריות.ניתוח סטריאוטיפי של רומנים על ידי סופרים זכריים ונקבה מ-1837 עד 1901 מצא כי נשים סופרים השתמשו יותר פרוטנוונים (במיוחד "היא" ו"ה" שלה") מאשר עמיתיהם הגברים, בעוד גברים השתמשו יותר מאמרים ופוסטמנטורים.

השלכות על ההיסטוריה התרבותית

עדות אמפירית של חילופי תרבויות

ניתוח דפוס שפה מספק ראיות אמפיריות לתהליכים שההיסטוריונים כבר מזמן לא כוונו: תרבויות אינן מתפתחות בבידוד.על ידי העברת התנועה של מילים, ביטויים, מבנים סינקטקטיים לאורך זמן ומרחב, החוקרים יכולים למפות את מהירות הרעיונות. לדוגמה, התפשטות של אוצר מילים ערביים בטקסטים מסחריים אירופיים במאה ה-13 יכולה להיות במעקב מדויק באמצעות תדירות הולכת וגוברת של ביטויים כגון "ת" לביטויים משפטיים "סבירים" לאחר הצגתם" של נתונים מפוכחים אחרים של מושגים משפטיים.

תגית: Marginalized Voices

ארכיוןים היסטוריים רבים נשלטים על ידי האליטה -kings, אנשי דת, חוקרים, אך ניתוח דפוס יכול גם להעלות קולות שקטים.באמצעות ניתוח לשוני רגיש, החוקרים יכולים לזהות סמנים סגנוניים המבדלים גברים מסופרים בטקסטים אנונימיים, או לחשוף את הדיאלים האזוריים של אנשים משועבדים ברשומות נוף שונות.

תקופת הזיונות Redefining

תקופתיות היסטורית מסורתית (Medieval, Renaissance, Modern) מבוססת לעתים קרובות על אירועים פוליטיים או תנועות אמנותיות.אנליזה של דפוס שפה יכולה להציע תקופת זמן חלופית, מונחה טקסט, על ידי יישום ניתוח אשכוליות של פרוזה אנגלית מ-1,400 עד 1800, חוקרים מצאו כי הפריצה המשמעותית ביותר מתרחשת לא בתקופת טאדור (1485), עם עלייה של פילוסופיה אמפירית ואגודה המלכותית של 1795, אשר מציעה שינוי היסטורי דומה יותר מאשר בתקופה של תקופה של תקופה של תקופה של תקופה של שנים.

כיוונים עתידיים והתקדמות טכנולוגית

Machine Learning and Large Language Models

הופעתם של מודלים לשוניים גדולים (LLMs) כמו GPT-4 ו- ליבר פתחה גבולות חדשים.מודלים אלה יכולים להיות מנוסחים היטב על פני אורורה היסטורית כדי ליצור טקסטים סבירים בשפה של זמן, אך חשוב יותר LLM יכול לשמש גלאי של אנמונים מודרניים, אם מודל מאומן על בסיס גלגולים היסטוריים של מאות שנים, מייצר ציון גבוה עבור מסמך ספציפי, אשר עשוי לשמש מודלים מקבילים, כולל טקסט רגיל, או מודלים סטנדרטיים, אם מודל רגיל, לדוגמה, או סטנדרטיים, או סטנדרטיים, לדוגמה, לדוגמה, על ידי טקסט רגיל, או סטנדרטיים, על ידי טקסט רגיל, או סטנדרטיים, על ידי טקסט רגיל, אם מודל רגיל, או סטנדרטיים.

Multimodal ו- Multilingual Corpora

מחקר עתידי יכיל יותר ויותר טקסטים רב-ממדיים (תמונות, שוליים, הוראות מחייבות) וירחיב מעבר לשפות אנגלית ואירופיות. פרויקטים כמו FLT:0Ancient World Digital LibraryFLT:1 הם טקסטים דיגיטציה סינית, סנסקיט וערבית עם מקבילות של ניתוח נוף ספציפי צלב-לשוני יכול להשוות בין כמה שינויים תרבותיים דומים (למשל, "צדק") הם ביטויים בין משפחות שונות, לדוגמה, זיהוי בין-לשוני, לבין ניתוח נוף בין תרבויות שונות.

קוד פתוח ופלטפורמות שיתופיות

הדמוקרטיזציה של כלים היא מגמה נוספת.פלטפורמות מבוססות אינטרנט כמו FLT:0) ו-Voyant ToolssFLT:1 מאפשרות לכל אחד עם דפדפן לנתח טקסט ללא מיומנויות תכנות.זה מוריד את המחסום להיסטוריונים שאין להם הכשרה טכנית, המאפשרים צוותים שיתופיים יותר ובינתחומיים יותר, כמו פלטפורמות אלה מתפתחות, הם משלבים מודולים למידה ממוחשבת שיכולה, למשל, לזהות באופן אוטומטי או לחלץ שמות גדלים של זמינות לשיטות לימוד מסורתיות כגון:

מסקנה: לנס חדש לניסויים היסטוריים

ניתוח דפוס שפה אינו תחליף לשיטות היסטוריות מסורתיות, אלא חיזוק רב עוצמה.זה מאפשר לחוקרים להציב שאלות שלא היו אפשריות קודם לכן לענות בקנה מידה: כמה מהר השפעות תרבותיות מתפשטות באמצעות שפה כתובה? אילו תכונות לשוניות הן עמידות ביותר לשינוי פייתון?האם אנו יכולים לזהות את הרגע שבו חברה מקוטעת מתחילה לחדור את תפיסת העולם של המיישב, אך ורק על ידי מתן נתונים קוונטיים, כהירים, גישה זו, שתגלה את המסמכים המדעיים, אך ורק על פני ההיסטוריה האנושית, אך ורק על פני מערכת מדעית אחת, אך ורק על פני מערכת מדעית אחת, אך ורק על פני מערכת מדעית אחת, שעדיין לא תתפתחת, האם היא, שנראית לעין, היא שתתפתח, שנראית לעין, אך ורק על פני מערכת מדעית אחת, אך ורק על ידי כך שתתפתחת, האם היא משפרת, אך ורק על ידי כך שתתפתח, אך ורק על ידי כך שתתפתח, אם היא הופכת את הדינמית, עם מערכת מדעית חדשה, שתתפתח, עם מערכת מדעית חדשה, עם מערכת מדעית סגורה, שנראית בעלת מערכת מדעית סגורה, עם מערכת מדעית סגורה, אך ורק על ידי כך שתתפתח, אך ורק על ידי כך שתתפתח, שתתפתח, עם מערכת מדעית סגורה, שתתפתח, אך ורק על ידי כך

בסופו של דבר, כל טקסט הוא פסיפס של התרבויות שיצרו אותו.אנליזה של דפוס שפה מעניקה לנו את הכלים לראות את האריחים הבודדים ולהבין את התמונה הגדולה יותר.