Table of Contents

Применение анализа чувств к исторической личной переписке

Анализ настроений, отрасль обработки естественного языка (НЛП), стал ценным инструментом для историков, изучающих личную переписку из прошлого. Анализируя эмоциональный тон писем и дневников, исследователи могут получить представление об индивидуальном опыте и общественных настроениях в конкретные исторические периоды. За последнее десятилетие пересечение компьютерной лингвистики и исторических исследований открыло новые пути для понимания того, как люди в более ранние эпохи выражали радость, горе, беспокойство или надежду. В этой статье представлен углубленный взгляд на то, как анализ настроений применяется к исторической личной переписке, задействованные технические и методологические проблемы, иллюстративные тематические исследования и будущее этой развивающейся области.

Происхождение и эволюция анализа настроений

Анализ настроений, также известный как минирование мнений, возник в начале 2000-х годов как подполе НЛП, направленное на автоматическое обнаружение и количественную оценку эмоций, выраженных в тексте. Ранние системы полагались на лексические подходы — словари слов, помеченных эмоциональной валентностью (позитивными или отрицательными) и интенсивностью. Например, слово, такое как «радостный», будет иметь высокий положительный балл, в то время как «отчаяние» будет сильно отрицательным. Более поздние методы включали классификаторы машинного обучения, обученные на аннотированных корпусах, и современные системы используют модели глубокого обучения, такие как BERT и GPT, которые захватывают контекст и нюансы.

При применении к историческим текстам анализ настроений должен бороться с языком, который значительно развился. Слово, которое имело нейтральную коннотацию в 18-м веке, теперь может иметь другой эмоциональный вес. Например, термин «ужасный» первоначально означал «полный благоговения» (потенциально положительный) перед переходом к отрицательному значению. Для решения таких сдвигов исследователи часто строят пользовательские лексики, которые отражают историческое использование или точную настройку моделей на данных обучения периода. Такие проекты, как Корпус исторического американского английского языка (COHA) [[FLT: 1]], позволили лингвистам отслеживать семантические изменения с течением времени, ресурс, который аналитики настроений могут использовать.

Технические подходы: от лексиконов к глубокому обучению

Методы на основе лексикона

Простейшая форма анализа настроений использует предопределенный словарь слов и их оценки настроений. Такие инструменты, как VADER (Valence Aware Dictionary и sEntiment Reasoner), предназначены для социальных сетей, но были адаптированы для исторических текстов. В исследовании писем солдат Гражданской войны исследователи применили модифицированный лексикон, который включал сленг 19-го века и региональные выражения. Результаты показали явное снижение настроений вокруг крупных сражений, за которым следовал осторожный оптимизм во время затишья в бою. Однако лексиконные методы борются с сарказмом, иронией и контекстно-зависимыми значениями, все из которых появляются в личной переписке.

Классификаторы машинного обучения

Подходы машинного обучения обучают модель (например, машины вектора поддержки, случайные леса) на меченом наборе данных исторических букв. Аннотаторы вручную кодируют образец букв для общего настроения (позитивного, отрицательного, нейтрального) и часто для конкретных эмоций (страх, грусть, гнев, удивление). Затем модель изучает шаблоны - не только присутствие слов, но и порядок слов и пунктуацию. Например, частые восклицательные точки в викторианских письмах часто коррелируют с повышенными эмоциями. Исследование 2022 года Бенуа и его коллеги использовали случайный классификатор леса для анализа 10 000 писем из Франции 18-го века, достигая 82% точности в выявлении негативных настроений в годы плохого урожая.

Глубокое обучение и трансформаторы

Трансформаторы, такие как BERT (Bidirectional Encoder Representations from Transformers), произвели революцию в анализе настроений, понимая контекст двунаправленно. Для исторических текстов исследователи часто используют модели, предварительно обученные на больших исторических корпусах, такие как Исторический BERT (обученные на текстах 1500-1900 гг.) Точная настройка этих моделей на небольшом наборе аннотированных исторических букв дает сильные результаты. Исследование Свидетельства Холокоста использовало тонкую настроенную модель BERT для отслеживания эмоций в письмах выживших, написанных во время и после Второй мировой войны, выявляя переход от отчаяния к охраняемой надежде, которая отражала известные исторические события.

Проблемы анализа настроений для исторической переписки

Несмотря на свою перспективность, применение анализа настроений к исторической личной переписке представляет уникальные трудности, требующие тщательного методологического внимания.

Архаический язык и семантический дрифт

Значения слов меняются с течением времени. «Ницца» когда-то означала «глупый» (13-й век), прежде чем принять его современный положительный смысл. «Сильный» первоначально означал «благословенный» или «невинный». Анализатор настроений, не знающий о таких сдвигах, может привести к вводящим в заблуждение результатам. Исследователи смягчают это, создавая пользовательские лексики из исторических словарей или используя встраивания слов, обученные на текстах, специфичных для периода. Проект Стэнфорда Исторические векторы слов обеспечивает встраивания в течение нескольких веков, позволяя моделям захватывать изменяющиеся значения слов.

Расшифровка вариантов и почерк

Личные письма до 20-го века часто содержат непоследовательное правописание, даже тем же автором. «Would» может выглядеть как «wou’d», «joy» как «ioy» и «receive» как «recieve». Стандартное правописание не применялось, и многие писатели использовали фонетические правописания под влиянием региональных диалектов. Оптическое распознавание символов (OCR), применяемое к оцифрованным буквам, часто вводит ошибки, превращая «надежду» в «hooe» или «happy» в «happp». Эти ошибки ухудшают классификацию настроений. Решение состоит в том, чтобы использовать современные OCR-двигатели, обученные на исторических шрифтах или вручную исправлять подмножество. Для машинного обучения модели могут обучаться на шумном тексте, но точность часто снижается.

Контекст и тонкие эмоции

Анализ настроений часто упрощает эмоции в позитивные/отрицательные или базовые категории, но исторические письма передают сложные чувства. Письмо может выражать печаль о больном ребенке, одновременно выражая благодарность за поддержку друга. Смешанные эмоции являются общими. Более того, эмоциональные нормы отличались во времени и культуре. В Британии 18-го века выражение сильных эмоций в письмах часто рассматривалось как неблаговидное, поэтому чувства могут быть занижены. Исследователи должны решить эту проблему, используя мелкозернистые категории эмоций (например, восемь основных эмоций Плутчика) и рассматривая риторические условности письма в период.

Спаривание данных и репрезентативность

Выжившие личные переписки — неслучайная выборка. Письма богатых и грамотных представлены преувеличенно; письма бедных, женщин и маргинализированных групп встречаются реже. Результаты анализа настроений, основанные на сохранившихся письмах, могут отражать эмоциональную жизнь привилегированных, а не населения в целом. Исследователи должны признать эту предвзятость и, по возможности, дополнять дневники, мемуары или другие записи. Например, исследование писем иммигрантов с острова Эллис (1900—1920) использовало письма из ряда социально-экономических слоев, ориентируясь на этнические газеты, которые публиковали рассказы иммигрантов.

Тематические исследования: анализ настроений в исторических исследованиях

Письма о гражданской войне и солдатская мораль

Одним из наиболее широко изученных тел личной переписки являются письма, написанные американскими солдатами гражданской войны. В знаковом исследовании историки использовали комбинацию лексиконных и машинных методов обучения для анализа более 20 000 писем Союза и Конфедерации. Они обнаружили, что моральный дух неуклонно снижался для обеих сторон после 1863 года, причем писатели Конфедерации выражали значительно более негативные чувства после битвы при Геттисберге. Интересно, что письма от афроамериканских солдат показали всплески позитивных настроений после объявлений об эмансипации, даже когда их материальные условия оставались суровыми.

Эмоции и социальные конвенции викторианской эпохи

Викторианское письмо-письмо следовало жестким конвенциям этикета, которые могли бы замаскировать подлинные чувства. Письмо могло бы начаться с «Я скорблю, чтобы услышать...» как формула, даже если писатель чувствовал мало эмоций. Анализ настроений с использованием BERT, тонко настроенного на корпусе из 5000 викторианских писем (1850-1900) из Великобритании, смог отличить формулярные выражения от подлинного эмоционального содержания, анализируя окружающий контекст. Модель определила, что выражения горя были более подлинными, когда сопровождались упоминаниями конкретных воспоминаний или задач (например, «Я посетил его могилу сегодня»). Это позволило исследователям нанести на карту подлинные события горя по всей викторианской продолжительности жизни, находя пики в переписке после младенческой смертности и во время Крымской войны.

Письма и травма переживших Холокост

Письма, написанные пережившими Холокост сразу после освобождения, предлагают уникальное окно в посттравматические эмоции. В рамках совместного проекта историков и компьютерных ученых было проанализировано 2000 писем из архивов Мемориального музея Холокоста США. Используя модель глубокого обучения, обученную свидетельствам переживших Холокост, они отслеживали настроения с течением времени. Письма 1945-1946 годов показали высокий уровень гнева и отчаяния, но к 1948 году, когда выжившие эмигрировали или перестроили семьи, положительные чувства постепенно увеличивались. Однако модель также помечала многие письма с нейтральными чувствами, которые, по отзыву человека, выявили стоическое подавление эмоций — механизм выживания. Это подчеркнуло необходимость сочетания вычислительного анализа с близким чтением.

Преимущества анализа настроений для исторических исследований

При тщательном применении анализ настроений предлагает несколько конкретных преимуществ:

  • Масштабируемость: Исследователи могут обрабатывать миллионы букв за часы, выявляя широкие эмоциональные паттерны, которые потребовали бы годы ручного чтения.
  • Временная гранулярность:] Анализируя настроения в месяц или даже в день, историки могут соотносить эмоциональные сдвиги с конкретными событиями (например, сражениями, экономическими депрессиями, государственными праздниками).
  • Генерация гипотез: Неожиданные закономерности, такие как всплеск позитивных настроений во время голода, могут вызвать новые исследовательские вопросы и более глубокое архивное исследование.
  • Сравнительный анализ: Профили настроений можно сравнивать в разных популяциях (пол, класс, национальность) для выявления расходящихся переживаний одного и того же исторического события.

Этические соображения и историческая ответственность

Применение автоматизированных инструментов для глубоко личных документов поднимает этические вопросы. Исторические письма часто писались с ожиданием конфиденциальности. В то время как большинство из них сейчас находятся в публичных архивах, у семей все еще могут быть чувства. Исследователи должны уважать достоинство писателей и избегать сокращения их жизни до статистики. Кроме того, анализ настроений может быть редуктивным; ярлык «негативный» не отражает богатство любви скорбящего родителя или страха солдата, смешанного с гордостью. Лучшая практика заключается в том, чтобы представить анализ настроений как один слой доказательств, всегда основанный на историческом контексте и дополненный качественным анализом.

Еще одна проблема связана с алгоритмическим уклоном. Классификатор, обученный современному английскому языку, может неправильно оценивать исторические письма из незападных культур. Например, письма из Японии 19-го века (если они переведены) могут использовать вежливые формулировки, которые маскируют негативные настроения. Исследователи должны проверять модели на культурно-специфических наборах тестов и, по возможности, привлекать историков, знакомых с периодом и регионом, к обучению и оценке.

Будущие направления

Область анализа исторических настроений стремительно развивается. Несколько перспективных направлений, вероятно, определят следующее десятилетие:

Мультимодальный анализ

Личная переписка часто включает визуальные элементы: наклон почерка, цвет чернил, подчеркивание, вставленные рисунки. Современное компьютерное зрение может извлекать особенности из оцифрованных букв (например, интенсивность давления, интервал линий) и соотносить их с эмоциональными состояниями. Испуганный писатель может писать с более тяжелым давлением или большими буквами. Интеграция этих визуальных сигналов с текстовыми чувствами может производить более тонкие чтения.

Кросс-лингвальная и кросс-культурная модели

Большинство инструментов анализа настроений предназначены для английского. Для многоязычных исторических коллекций писем (например, от колониальных администраций) критически важно расширение на другие языки (французский, немецкий, китайский, арабский). Для многоязычных исторических коллекций писем (например, от колониальных администраций) модели должны обрабатывать переключение кода и переводы. Обучение на основе больших многоязычных моделей, таких как XLM-RoBERTa, предлагает путь вперед.

Объясняемый ИИ для историков

Историки могут опасаться моделей черного ящика. Новые методы объяснимости (SHAP, LIME) могут выделить, какие слова или фразы привели к оценке настроений, позволяя исследователям проверять анахронические интерпретации. Инструменты, которые предоставляют визуальные объяснения, такие как тепловая карта эмоциональных ключевых слов в письме, могут повысить доверие и облегчить более близкое чтение.

Интеграция с геопространственными и демографическими данными

Сочетание анализа настроений с картографированием ГИС того, где были написаны письма, и демографических метаданных о писателях (возраст, пол, профессия) может показать, как эмоциональное выражение менялось в зависимости от местоположения и социальной группы. Например, письма из сельских районов в Ирландии 19-го века могут показывать различные эмоциональные модели, чем те из Дублина, связанные с голодом или миграцией.

Заключение

Анализ настроений исторической личной переписки является мощным дополнением к инструменту историка. Он позволяет масштабное, количественное исследование эмоционального выражения во времени, проливая свет на то, как обычные люди испытывали и сообщали свою внутреннюю жизнь. Однако метод не является заменой традиционной науки. Он лучше всего работает в сочетании с глубокими контекстуальными знаниями, тщательным вниманием к языковым изменениям и этической приверженностью к человечности писателей. По мере того, как инструменты становятся более сложными и доступными, мы можем ожидать более богатого, более тонкого понимания прошлого - того, что слушает не только публичные декларации и официальные записи, но и тихие голоса в личных письмах.

Для дальнейшего чтения по вычислительным подходам к историческим текстам, Дебаты в серии Digital Humanities предлагает отличные методологические обзоры.Лингвистическое общество Америки предоставляет руководства по изменению языка, которые полезны для построения исторических сентиментальных лексиконов. Для тех, кто интересуется технической стороной, ACL Anthology содержит много соответствующих статей по анализу сентиментов для исторических областей.