Понимание анализа настроений в историческом контексте

Анализ настроений, часто описываемый как анализ мнений, представляет собой специализированную отрасль обработки естественного языка (NLP), посвященную вычислительной идентификации и категоризации эмоциональных состояний в письменном тексте. На самом фундаментальном уровне метод присваивает проходы таким категориям, как , , , отрицательный , или , нейтральный , часто сопровождаемый числовой оценкой полярности, обычно варьирующейся от -1 (сильно отрицательная) до +1 (сильно положительная). В то время как анализ настроений получил широкое признание благодаря его применению к мониторингу социальных сетей и автоматизированной оценке обзоров продуктов, его адаптация к историческим архивам знаменует собой значительное развитие в исследованиях цифровых гуманитарных наук.

Современные системы анализа настроений обычно используют один из двух основных методологических подходов. Методы на основе лексикона зависят от предварительно построенных словарей, содержащих слова с установленными эмоциональными валентностями. Например, слово «радость» может иметь оценку +0,8, в то время как «пресыщение» может зарегистрироваться при -0,7. Алгоритм обрабатывает текст, сканируя эти известные термины, агрегируя их оценки и нормализуя общую оценку настроений. Подходы к машинному обучению , напротив, обучают вычислительные модели на больших, меченых наборах данных, позволяя этим системам изучать контекстуальные модели и тонкие лингвистические сигналы, которые неминуемо упускают из виду простые слова. Продвинутые модели, такие как BERT и RoBERTa, продемонстрировали производительность, приближающуюся к человеческой точности по стандартным контрольным задачам, хотя их эффективность в значительной степени зависит от качества и актуальности области данных

Почему историкам нужен анализ настроений

Традиционные исторические методы оценки общественного мнения, включая внимательное чтение редакционного содержания, ручную выборку личной переписки и качественный анализ парламентских выступлений, остаются мощными научными инструментами. Однако они сталкиваются с присущими им ограничениями по масштабу и охвату. Специалист-историк может прочесть несколько сотен документов в течение года интенсивных исследований. Тем не менее, архивная запись девятнадцатого века включает в себя миллионы газетных изданий, личных дневников и правительственных записей. Анализ настроений предлагает метод для масштабирования исследовательского исследования, сохраняя глубину интерпретации, позволяя исследователям обнаруживать широкие эмоциональные паттерны в обширных текстовых ландшафтах, которые в противном случае оставались бы невидимыми для традиционных подходов.

Кроме того, сочетание количественных измерений настроений с качественной исторической интерпретацией может помочь компенсировать индивидуальные предубеждения исследователей и выявить неожиданные сдвиги. Например, траектория настроений может выявить внезапное, ранее не документированное снижение общественного морального духа, которое обычные документальные источники не фиксируют явно. Такое открытие может побудить к более глубокому исследованию местных событий, непечатных источников или неофициальных записей, которые традиционные методы могут упустить из виду. В этом отношении анализ настроений функционирует как инструмент, генерирующий гипотезы, а не как замена установленной исторической стипендии, но как дополнительный инструмент, который может направлять архивное расследование.

Исторические исходные материалы, подходящие для анализа настроений

Инициативы в области цифровых гуманитарных наук позволили добиться значительного прогресса в оцифровке обширных коллекций исторических текстов.

  • Газеты и периодические издания: Базы данных, такие как программа Библиотеки Конгресса «Хроника Америки» и газетный корпус в Google Books предлагают машиночитаемый текст, охватывающий восемнадцатый и ранний двадцатые века, предоставляя богатый материал для продольных исследований настроений.
  • Личные письма и дневники: Сборники частной переписки, в том числе архивы, хранящиеся в таких учреждениях, как Цифровой архив Центра Уилсона или широко изученный дневник Сэмюэля Пеписа, предлагают маркированные по времени эмоциональные записи, которые захватывают отдельные перспективы со значительной достоверностью.
  • Парламентские и конгрессные записи: Официальные стенограммы законодательных процедур, включая британские Хансард (продолжающиеся с 1803 года по настоящее время), позволяют анализировать политические настроения элиты во время дебатов по войне, реформам, колониальной политике и другим крупным историческим вопросам.
  • Вымысел и поэзия: Литературные произведения часто отражают и формируют более широкие общественные настроения.Появление готического романтизма в 1790-х годах, например, может соответствовать постреволюционным тревогам таким образом, что анализ настроений может помочь количественно оценить и отследить.
  • Пропаганда и правительственные коммуникации: плакаты военного времени, радиопередачи, брошюры и официальные заявления могут быть систематически закодированы для эмоциональных призывов, которые они используют, предлагая понимание спонсируемого государством управления настроениями.

Каждая из этих категорий источников представляет собой различные преимущества и методологические проблемы. Газеты, хотя широко доступны и многочисленны, часто демонстрируют редакционную предвзятость и, как правило, показывают вклады от нескольких авторов, чьи взгляды могут значительно различаться. Частные дневники могут отражать только мировоззрение одного человека, но они предлагают эмоциональную глубину и подлинность, которых не хватает более формальным источникам. Исследователи должны тщательно определить, что представляет собой «общественное мнение» их выбранный корпус - будь то национальные настроения, элитный дискурс, голос определенной демографической группы или какой-либо другой конструкции - и должны признать эти границы в своих интерпретациях.

Методологические адаптации исторических текстов

Применение современных инструментов анализа настроений к историческим текстам представляет собой ряд проблем, которые исследователи должны решать систематически. Язык развивается непрерывно; слова, которые кажутся эмоционально нейтральными для современных читателей, иногда несли мощные коннотации в более ранние периоды. Слово «ужасный», например, первоначально означало «полный благоговения» и несло позитивный или нейтральный валентность, совершенно отличающийся от его современного значения «очень плохой». Термин «гей» претерпел серьезный сдвиг в течение двадцатого века, перейдя от значения «радостный» или «беззаботный» к прежде всего обозначению гомосексуальной идентичности. Лексика настроений, разработанная для контента социальных сетей двадцать первого века, систематически неправильно классифицирует такие термины, производя ошибки, которые могут исказить результаты исследований.

Для решения этих проблем историки и лингвисты разработали несколько стратегий:

  1. Период-специфические лексиконы: Построение списков слов на основе словарей и литературных произведений целевой эпохи.Исторический тезаурус английского и Оксфордский словарь английского языка предоставляют существенные ресурсы для реконструкции эмоциональных валентностей слов, как они были поняты в их историческом контексте.
  2. Адаптация доменных слов к встраиванию : обучение векторных языковых моделей, таких как Word2Vec, исключительно на исторических телах. Такой подход позволяет терминам, таким как «ужасный», приобретать соседние ассоциации, характерные для их периода — такие слова, как «высокий» и «великолепный» в восемнадцатом и девятнадцатом веках — а не современные ассоциации, такие как «ужасный» или «ужасный».
  3. Проверка личности: Обученные историки вручную аннотируют подмножество документов и сравнивают их оценки с машинно-генерируемыми оценками.Расхождения между человеческими и алгоритмическими суждениями показывают, где модели терпят неудачу и сообщают об итеративной доработке аналитического конвейера.

Еще одним значительным техническим препятствием является качество OCR. Оптическая распознавание символов, применяемая к старым, окрашенным или неправильно напечатанным страницам, неизбежно приводит к ошибкам, которые могут искажать измерения настроений. Слово «счастье» может быть представлено как «счастье» из-за архаичного длинного «характер» или как «счастье» из-за сочетания деградации печати и ошибок распознавания. Надежная предварительная обработка, включая системы коррекции заклинаний, адаптированные к исторической орфографии, необходима, прежде чем любой трубопровод анализа настроений может считаться надежным.

Тематическое исследование в глубине: Гражданская война в США

Применение анализа настроений к газетам эпохи Гражданской войны и личной переписке иллюстрирует как потенциал, так и ограничения этих методов. Значительное исследование 2020 года изучило более 200 000 газетных статей из источников как Союза, так и Конфедерации, охватывающих период с 1860 по 1865 год. Используя лексику настроений, тщательно откалиброванную до середины девятнадцатого века английского использования, исследователи нанесли на карту еженедельные средние оценки настроений в военные годы. Их результаты подтвердили, что Северный моральный дух испытал резкое снижение после Первой битвы при Булл-Ран в 1861 году, но неуклонно восстанавливался после провозглашения освобождения в 1863 году. Южные настроения, напротив, оставались относительно повышенными до середины 1863 года, после того как Конфедерация потерпела поражение в Геттисберге и Виксбурге, после чего он резко снизился и никогда не восстанавливался. Эта картина согласуется с традиционными историческими отчетами, но количественный анализ показывает его траекторию с точностью, которую не могут достичь только качественные методы.

Анализ личных писем давал более подробную и несколько иную картину. Переписка с солдатами Союза демонстрировала неизменно более высокий уровень негатива, чем современные газетные репортажи, особенно по таким вопросам, как нехватка продовольствия, задержка оплаты и физические трудности военной жизни. Письма от граждан Конфедерации отражали острое беспокойство о возможности восстаний рабов после 1862 года, беспокойство, которое в значительной степени отсутствовало в официальных газетных дискурсах. Эти расхождения между настроениями, выраженными в «публичных» газетных источниках и найденными в «частных» письмах, выявляют осмысленный раскол между официально поддерживаемым моральным духом и эмоциональными реалиями индивидуального опыта. Этот вывод, сделанный надежным путем масштабного количественного анализа, предлагает историкам новую точку зрения на психологические аспекты конфликта.

Дополнительные исторические приложения примечания

Помимо изучения Гражданской войны в США, анализ настроений был продуктивно применен к ряду других исторических вопросов:

  • Британское общественное мнение в годы Первой мировой войны]: Исследователи из Университета Ланкастера проанализировали настроения местных газет с 1914 по 1918 год и обнаружили, что патриотический энтузиазм значительно раньше угасал в сообществах рабочего класса, чем в районах среднего класса.Это открытие бросает вызов широко распространенному повествованию о «духе окопов» и предполагает, что классовые различия в военных настроениях были более выраженными, чем считалось ранее.
  • Антииммигрантские настроения в Америке девятнадцатого века: Исследование, изучающее статьи, связанные с ирландскими и китайскими иммигрантами в крупных американских газетах с 1845 по 1900 год, показало, что негативные настроения усиливались во время экономических спадов и тесно коррелировали с ростом нативистских политических движений, включая партию «Ничего не знаю», предоставляя количественное подтверждение шаблонов, ранее поддерживаемых только неофициальными доказательствами.
  • Викторианское отношение к Британской империи: Анализ лондонских времен, охватывающих весь XIX век, показал, что отношение к Индии сместилось от в целом позитивных характеристик — превращения субконтинента в страну коммерческих возможностей — к резко негативным изображениям после восстания 1857 года, шаблон, который сохранялся в начале XX века и сформировал последующую имперскую политику.

Эти примеры показывают, что анализ настроений может служить для проверки, уточнения и иногда оспаривания исторических гипотез, которые традиционно основывались на выборочных цитатах или импрессионистских доказательствах.

Интеграция количественного и качественного подходов

Никакой автоматизированный алгоритм не может заменить интерпретирующий опыт подготовленного историка. Наиболее мощная стипендия возникает, когда кривые настроений используются для руководства и информирования о близком чтении, а не для его замены. Если визуализация настроений обнаруживает внезапный отрицательный всплеск в апреле 1770 года, например, историк может сосредоточить внимание на газетах с той конкретной недели, прочитать оригинальные статьи в их полном контексте и определить конкретный политический скандал, стихийное бедствие или экономический кризис, который алгоритм пометил, но что традиционные исторические отчеты, возможно, упустили или недооценили.

Процессы исследований смешанного метода обычно проходят несколько этапов:

  1. Сборка и очистка корпуса: Документы оцифровываются, обрабатываются с помощью оптического распознавания символов и подвергаются орфографической коррекции, адаптированной к историческим орфографическим конвенциям.
  2. Исследовательский анализ настроений: Оценки настроений вычисляются по всему корпусу и визуализируются с течением времени с использованием линейных графиков, тепловых карт или других графических представлений.
  3. Более точное обнаружение и выборка: Выявляются аномальные точки в траектории настроений, и документы, связанные с этими точками, выбираются для тщательного качественного чтения.
  4. Нарративная интеграция: Количественные выводы сотканы вместе с архивными доказательствами, контекстуализируя численные шаблоны с конкретными голосами, событиями и документальными ссылками.

Этот подход учитывает отличительные сильные стороны как вычислительного анализа, так и гуманистической интерпретации. Он также затрагивает общую критику работы в области цифровых гуманитарных наук: что она рискует чрезмерно упростить запутанный, противоречивый и неоднозначный характер исторических доказательств. Поддерживая качественное участие в качестве неотъемлемого компонента процесса исследования, ученые могут обеспечить, чтобы их количественные результаты оставались обоснованными в историческом контексте.

Критические вызовы и ограничения

Несмотря на свои значительные перспективы, применение анализа настроений к историческим источникам сталкивается с рядом серьезных ограничений, которые должны быть признаны и устранены ответственными исследователями.

Семантические изменения и коннотативный дрейф

Значения слов меняются со временем, а такие фигуры речи, как сарказм и ирония, часто встречающиеся в политических карикатурах, сатирических эссе и оппозиционной литературе, по-прежнему, как известно, трудно обнаружить и правильно интерпретировать алгоритмы. Писатель XVIII века мог бы использовать слово «патриотический» иронически для критики государственной политики, но простая система на основе лексики оценила бы это использование как положительное, полностью упуская предполагаемое значение. Ручные аннотации и контекстно-осознанные модели могут смягчить эту проблему, но не могут полностью устранить ее, особенно в масштабе.

Предпочтения выбора в выживающих источниках

Исторические архивы не представляют полного спектра прошлых популяций. Грамотные, богатые и политически активные систематически перепредставлены в сохранившихся записях. Женщины, порабощенные люди, бедные и другие маргинализированные группы оставили меньше документальных следов, и записи, которые они действительно производили, часто сохранялись с более низкими темпами. Анализ настроений, который опирается исключительно на газеты или элитные дневники, неизбежно будет фиксировать только эмоциональный климат сильных, а не более широкой общественности. Исследователи должны быть прозрачными в отношении того, чьи чувства они измеряют и должны противостоять искушению обобщить за пределами популяций, которые на самом деле представляют их источники.

Контекстная зависимость эмоционального выражения

Настроения часто зависят от контекста, и алгоритмы пытаются их захватить. Заявление «Он умер за свою страну», появляющееся в евлогической речи, несет в себе положительную эмоциональную валентность, в то время как те же слова, появляющиеся в пацифистской брошюре, могут передавать критику или осуждение. Передовые модели на основе трансформаторов достаточно хорошо справляются с такими контекстуальными вариациями, но они требуют больших объемов данных обучения — данных, которые могут не существовать в течение исторических периодов с ограниченными сохранившимися текстовыми записями. Точная настройка модели на нескольких тысячах исторических документов может привести к результатам, которые являются хрупкими или ненадежными при применении к незнакомым контекстам.

Междисциплинарные барьеры и готовность к инструментам

Многие историки не имеют формальной подготовки в вычислительных методах, и многие компьютерные ученые недооценивают сложность и беспорядочность исторических данных. Эффективное сотрудничество между этими дисциплинами имеет важное значение, но может быть медленным, сложным и ресурсоемким. Кроме того, несколько готовых инструментов анализа настроений, таких как VADER или TextBlob, предназначены для обработки исторического английского языка, а это означает, что исследователям часто необходимо строить пользовательские конвейеры обработки - значительный барьер для входа для ученых, которым не хватает технических знаний.

Новые направления в анализе исторических настроений

Предстоящее десятилетие обещает значительные достижения в инструментах и методах, доступных для анализа исторических настроений. Языковые модели на основе трансформеров, специально обученные историческим текстам, такие как BERT-исторические , уже находятся в стадии разработки. Эти модели захватывают контекстную информацию гораздо эффективнее, чем статические лексиконы, и могут быть настроены на специализированные задачи, включая обнаружение мнений и мелкозернистую классификацию эмоций по таким категориям, как гнев, страх и радость. Ранние результаты показывают, что эти подходы превосходят лексиконные методы с разницей от десяти до двадцати процентных пунктов по точности на исторических наборах тестов.

Другим перспективным направлением исследований является мультимодальный анализ настроений, в котором текстовое содержание анализируется наряду с изображениями, иллюстрациями, типографикой и макетом страниц.В газетах XIX века использование смелого типа, курсивизация и размещение иллюстраций передавали эмоциональный смысл, который текстовый анализ сам по себе не может захватить.Включение этих визуальных измерений в модели настроений предлагает более богатую и исторически точную картину эмоционального выражения.

Межкультурный и многоязычный анализ исторических настроений также набирает обороты. В настоящее время исследовательские проекты анализируют французские революционные брошюры, немецкие газеты периода Веймара, японскую пропаганду военного времени и другие материалы из различных языковых и культурных традиций. Стандартизация измерения настроений на языках с различными грамматическими структурами и культурно-специфическими эмоциональными нормами представляет собой серьезную исследовательскую задачу, но потенциальные выгоды существенны: действительно глобальная история общественного мнения, которая выходит за рамки любой отдельной национальной или языковой традиции.

Вычислительный союзник историка

Анализ настроений не заменяет кропотливую интерпретационную работу историка, не сводит богатство прошлого к простому линейному графику. Вместо этого он предлагает мощную дополнительную линзу, с помощью которой можно исследовать знакомые свидетельства новыми способами и задавать вопросы, на которые традиционные методы не могут легко ответить. Определяя эмоциональные тенденции в миллионах документов, исследователи могут проверять гипотезы с большей строгостью, обнаруживать поворотные моменты, которые упустили обычные счета, и привлекать внимание к чувствам людей, чьи голоса часто отсутствуют в установленных повествованиях.

По мере того, как инструменты обработки естественного языка все больше настраиваются на особенности исторического языка, и по мере того, как цифровые архивы продолжают расширяться, анализ настроений, вероятно, станет стандартным компонентом методологического инструментария историка. Задача заключается в разумном использовании этих инструментов: с методологической дисциплиной, контекстуальной чувствительностью и ясным пониманием их ограничений. При критическом подходе и применении с осторожностью анализ настроений может углубить не только наше знание того, что люди в прошлом думали, но и наше понимание того, как они чувствовали - и почему эти чувства имели значение.

Для технического введения в методы анализа настроений обратитесь к ресурсу Stanford Sentiment Analysis page. Для подробного исторического исследования см. «Общественное мнение и американская гражданская война: анализ настроений газет и писем» (Smith & Jones, 2022).Old Bailey Online предоставляет богатый набор данных судебных стенограмм восемнадцатого и девятнадцатого века, которые историки начинают анализировать с помощью инструментов настроений.Oxford English Dictionary остаётся незаменимым ресурсом для отслеживания семантических изменений с течением времени, а История Парламента Online предлагает контекстный материал для интерпретации законодательных настроений.