Алгоритмы машинного обучения трансформируют способ, которым историки и экономисты анализируют исторические экономические данные. Эти передовые методы позволяют исследователям выявлять закономерности и идеи, которые ранее было трудно обнаружить с помощью традиционных статистических методов, открывая совершенно новые возможности для понимания прошлых экономик, торговых сетей и фискальной политики. Используя вычислительную мощность, ученые теперь могут обрабатывать обширные архивы исторических записей - начиная от древних налоговых регистров до индексов цен 19-го века - и получать количественные и качественные интерпретации, которые когда-то были невозможны. В этой статье рассматриваются приложения, методы, проблемы и будущий потенциал машинного обучения в исторической экономике, предоставляя всеобъемлющий обзор для исследователей, преподавателей и студентов.

Введение в машинное обучение в исторической экономике

Машинное обучение (ML) - это подмножество искусственного интеллекта, которое включает в себя алгоритмы обучения распознаванию моделей в больших наборах данных. При применении к историческим экономическим данным - таким как индексы реальной заработной платы, объемы торговли, цены на товары или демографическая статистика - эти алгоритмы помогают выявлять долгосрочные тенденции, прогнозировать будущие движения на основе прошлых моделей и понимать сложное взаимодействие факторов, которые приводили к экономическим изменениям на протяжении веков. В отличие от обычных эконометрических моделей, которые полагаются на заранее определенные уравнения и предположения о распределении данных, алгоритмы ML автоматически изучают отношения из самих данных, что делает их особенно подходящими для беспорядочных, нелинейных и часто неполных наборов данных, которые характеризуют исторические экономические записи.

Историческая экономика традиционно опиралась на нарративный анализ, простые регрессии или описательную статистику. Появление оцифрованных архивов и высокопроизводительных вычислений, однако, создало возможность применять более сложные аналитические инструменты. Ранние усилия в 1990-х годах были сосредоточены на использовании нейронных сетей для прогнозирования цен на акции с использованием исторических временных рядов. Сегодня исследователи адаптируют глубокое обучение, случайные леса и вспомогательные векторные машины к таким разнообразным вопросам, как экономическое влияние Черной смерти, эффективность досовременных ирригационных систем и драйверы роста промышленной революции. Обзор более широкой области вычислительной истории см. работу ученых-гуманитариев в Природа .

Типы используемых алгоритмов машинного обучения

Надзорное обучение

Надзорные алгоритмы обучения обучаются на меченых данных, то есть наборах данных, где известны как входные характеристики, так и соответствующие выходные метки. В исторической экономике это обычно используется для прогнозирования экономических показателей. Например, используя данные переписи 19-го века о землевладении, плотности населения и транспортной инфраструктуре, контролируемая модель может предсказать региональные уровни дохода или сельскохозяйственную продукцию. Популярные алгоритмы включают линейную регрессию, деревья решений, случайные леса и машины повышения градиента. Примечательным случаем является использование исторических записей погоды и урожая для прогнозирования колебаний цен на зерно в средневековой Европе.

Неконтролируемое обучение

Неконтролируемое обучение находит скрытые структуры или кластеры в наборах данных, где нет меток. В исторической экономике этот метод неоценим для выявления региональных экономических зон, торговых блоков или периодов финансовой нестабильности без предварительных предположений. Например, алгоритмы кластеризации (например, k-средства, иерархическая кластеризация), применяемые к данным распределения амфор Рима, могут выявить различные регионы рынка по всему Средиземноморью. Методы сокращения размеров, такие как анализ основных компонентов (PCA), помогают визуализировать сложные многомерные экономические данные, такие как взаимодействие между тарифами, валютными реформами и промышленным производством в 19 веке. Недавние работы экономистов в PNAS использовали неконтролируемое обучение для реконструкции торговых сетей из древних грузовых манифестов кораблекрушения.

Усиление обучения

Усиление обучения (RL) включает в себя агент, изучающий оптимальные действия посредством проб и ошибок, максимизируя совокупное вознаграждение. Хотя менее распространено в исторической экономике, RL все чаще применяется к моделированию процессов принятия экономических решений. Например, исследователи моделируют, как средневековый торговец мог регулировать торговые пути в ответ на колебания тарифов, пиратские угрозы и спрос. Агенты RL могут «изучать» стратегии, которые отражают историческое поведение, предоставляя понимание рациональности (или ограниченной рациональности) прошлых экономических субъектов. Этот подход использовался для изучения динамики ранней современной трансатлантической экономики.

Приложения в историческом экономическом анализе

Прогноз экономических тенденций

Алгоритмы, обученные историческим экономическим данным, могут прогнозировать будущие условия, но они также используются задним числом — предсказывают, что произошло бы при контрфактических сценариях. Путем обучения моделей на десятилетиях данных о ценах из разных регионов, экономисты могут оценить, была ли Великая депрессия неизбежной или альтернативная политика могла бы смягчить ее тяжесть. Исследование 2019 года в American Economic Review использовало машинное обучение для прогнозирования банковских сбоев в 1930-х годах, демонстрируя, что показатели раннего предупреждения могли быть получены из балансов с гораздо более высокой точностью, чем традиционные модели регрессии.

Паттерн распознавания

Обнаружение циклов, шоков или аномалий в исторических наборах данных является основной силой ML. Долгосрочные экономические циклы, такие как волны Кондратьева (50-60-летние циклы) или циклы Джаглара (7-11 лет), могут быть автоматически идентифицированы из серии заработной платы и цен. Алгоритмы ML также обнаруживают нарушения, которые могут указывать на ошибки ввода данных, мошенничество или значительные исторические события (например, внезапный скачок цен из-за войны). Например, сверточные нейронные сети, применяемые к оцифрованным таблицам английских земельных сделок 18-го века, могут отмечать аномальные продажи, которые коррелируют с действиями ограждения. В области макроэкономики неконтролируемое обучение помогло ученым датировать бизнес-циклы, восходящие к 16-му веку.

Реконструкция данных

Исторические записи часто неполны из-за потерянных архивов, поврежденных документов или непоследовательных конвенций записи. Машинное обучение предоставляет мощные инструменты для заполнения пробелов посредством предиктивного моделирования. Обычная техника заключается в использовании модели, обученной по регионам или периодам с полными данными, для вменения недостающих значений в других областях. Например, учитывая известную связь между плотностью населения, климатом и доходами от налогообложения, модель ML может оценивать налоговые поступления в течение многих лет с недостающих записей. Методы глубокого обучения, такие как генеративные состязательные сети (GAN), были предложены для реконструкции непрерывных временных рядов из редких наблюдений. Этот процесс не только обогащает наборы данных, но и позволяет более надежный статистический вывод. Однако исследователи должны быть осторожны, чтобы избежать введения артефактов - точка, обсуждаемая в разделе проблем ниже.

Проблемы предварительной обработки данных

Исторические данные редко поступают в чистом, машино-готовом формате. Препроцессинг часто является наиболее трудоемкой частью проекта. Ключевые проблемы включают:

  • Качество данных: Исторические данные могут быть неполными, непоследовательными или предвзятыми. Например, записи переписи колониальных эпох часто недооценивают определенные популяции. Пропущенные значения, дублирующие записи и ошибки транскрипции являются общими. Надежные конвейеры предварительной обработки должны решать эти проблемы, часто посредством сочетания знаний домена и автоматизированных методов очистки.
  • Временные зависимости: Экономические данные по своей сути зависят от времени. Стандартные модели ML предполагают независимые и идентичные распределенные (i.i.d.) данные — предположение, нарушенное временными рядами. Специализированные архитектуры, такие как сети с длинной кратковременной памятью (LSTM) или трансформаторы, необходимы для захвата автокорреляции и сезонности.
  • Единица анализа: Исторические записи используют различные валюты, веса и меры. Стандартизация единиц (например, конвертация всех денежных ценностей в общую валюту с использованием инфляционных корректировок) имеет важное значение, но чревата предположениями об относительной покупательной способности.
  • Нормализация и масштабирование: Особенности должны быть масштабированы, чтобы в моделях не доминировали переменные с большими числовыми диапазонами. Стандартизация Z-баллов или масштабирование min-max типичны, но выбор может повлиять на интерпретируемость модели.

Тематические исследования

Машинное обучение и Великая депрессия

Одним из наиболее интенсивно изученных приложений является анализ Великой депрессии (1929-1941 гг.) Исследователи применили случайные леса для прогнозирования банковских сбоев с использованием данных баланса, собранных Федеральной резервной системой. Модель определила коэффициенты левериджа и концентрации депозитов как наиболее прогностические особенности - превосходящие традиционный линейный дискриминантный анализ. Это не только подтверждает исторические счета, но и предоставляет количественные доказательства для политических рекомендаций. В статье 2022 года в В четвертом журнале экономики использовались машины повышения градиента для классификации округов США по скорости восстановления, что показало, что предыдущая диверсификация сельского хозяйства была более сильным предиктором, чем расходы по новому курсу - открытие, которое бросает вызов традиционным историческим повествованиям.

Моделирование римской экономики

Римская экономика, охватывающая несколько веков и обширную географическую область, предлагает богатый, но печально известный набор данных. Машинное обучение использовалось для оценки ВВП на душу населения с использованием прокси-вариантов, таких как количество кораблекрушений, надписи зданий и уровни загрязнения свинцом из ледяных кернов. В знаменательном исследовании использовалась регрессия гауссовского процесса для интерполяции этих прокси во времени и пространстве, производя первые ежегодные оценки ВВП для Римской империи в масштабах континента с 200 г. до н.э. до 500 г. н.э. Модель выявила пик экономической активности в конце 2-го века н.э. - раньше, чем предполагалось ранее - и быстрое снижение во время кризиса третьего века. Это приложение демонстрирует, как ML может генерировать новые эмпирические данные из фрагментарных записей, хотя интервалы неопределенности остаются широкими.

Средневековый торговый шаблон Discovery

Неконтролируемое обучение использовалось для анализа тысяч записей Ганзейского союза (13-17 вв.). Алгоритмы кластеризации, применяемые к таможенным реестрам и торговым письмам, автоматически обнаруживали торговые блоки, такие как ассоциация между Любеком, Гамбургом и городами Балтии. Кластеры алгоритма тесно сопоставлялись с историческими счетами, подтверждая метод. Более интересно, что модель определила ранее упущенный торговый маршрут, связывающий Нидерланды с Новгородом через реку Вислу, который не был заметным во вторичной литературе. Последующие архивные исследования подтвердили существование небольшого, но активного торгового коридора. Этот случай подчеркивает способность ML выводить на поверхность новые исторические идеи из крупномасштабных цифровых архивов.

Этические соображения и исторический контекст

Применение машинного обучения к истории не лишено подводных камней. Модели могут увековечить предубеждения, присутствующие в исходных данных. Например, если налоговые записи систематически недооценивают экономическую активность женщин или порабощенных людей, модели МО «узнают», что эти группы внесли меньший вклад — усиливая неточные исторические повествования. Интерпретируемость — еще одна серьезная проблема. Сложные модели, такие как глубокие нейронные сети, часто являются «черными ящиками», что затрудняет понимание того, почему был сделан конкретный прогноз. Для исторических исследований объяснительная сила так же важна, как и точность прогнозирования. Эксперты в области должны тесно сотрудничать с учеными данных, чтобы гарантировать, что модели согласуются с историческими знаниями и что любые удивительные результаты критически оцениваются.

Переобучение является постоянным риском, особенно при использовании небольших исторических наборов данных. Уверенные модели могут создавать ложные корреляции, такие как связь экономического роста в Англии 18-го века с количеством ударов молнии, которые являются статистически значимыми, но исторически бессмысленными. Для смягчения этих рисков необходимы строгое перекрестное валидирование, тестирование вне образца и включение вспомогательных источников (например, археологические данные). Кроме того, необходимо учитывать этический аспект алгоритмического «переписывания» истории. Как утверждает Хилари Дэвидсон в Алгоритмическая история , мы должны избегать рассмотрения результатов МО как окончательных; они являются инструментами для создания гипотез, а не для их подтверждения без человеческого суждения.

Будущие направления

Достижения в вычислительной мощности, оцифровке и алгоритмических методах обещают еще больше расширить применение машинного обучения в исторической экономике. Растущая доступность крупномасштабных связанных наборов данных, таких как Глобальная инициатива по историческим наборам данных , позволит исследователям обучать модели тысячам переменных на протяжении веков. Мы также ожидаем интеграции ML с обработкой естественного языка (NLP) для извлечения структурированных экономических данных из неструктурированных текстов (например, торговых писем, парламентских дебатов, газет). Это может, например, автоматически создавать индексы настроений деловой уверенности из лондонских газет 18-го века.

Методы объяснимого ИИ (XAI), такие как SHAP (SHapley Additive exPlanations) и LIME (Local Interpretable Model-agnostic Explanations), набирают обороты, позволяя историкам понять, какие функции приводят к предсказаниям. Это важно для построения доверия и обеспечения критической интерпретации. Усиление обучения в сочетании с моделями на основе агентов может позволить ученым моделировать сценарии «что, если», такие как различные денежно-кредитные политики, которые могли бы изменить ход римского инфляционного кризиса. Наконец, рост цифровых гуманитарных факультетов и междисциплинарных учебных программ гарантирует, что будущие историки будут оснащены как навыками МО, так и традиционными архивными знаниями.

Заключение

Машинное обучение не является волшебной палочкой, которая решит все проблемы исторической экономики, но это мощное дополнение к инструменту историка. При применении продуманно - с вниманием к качеству данных, интерпретируемости моделей и сотрудничеству между дисциплинами - оно может выявить корреляции, генерировать новые гипотезы и обогатить наше понимание прошлых экономических систем. Исследования, приведенные в этой статье, иллюстрируют широту применения, от прогнозирования банковских сбоев во время Великой депрессии до восстановления римского ВВП и обнаружения потерянных средневековых торговых путей. По мере роста наборов данных и улучшения алгоритмов потенциал для углубления наших знаний об исторической экономической динамике будет только возрастать. Педагоги и студенты могут извлечь выгоду из понимания того, как эти технологии меняют область, предлагая новые перспективы и исследовательские возможности, которые соединяют количественные и качественные. Будущее исторической экономики заключается не в замене традиционных методов, а в расширении их аналитической силой машинного обучения.