Table of Contents

Введение: почему мультимодальный анализ имеет значение для исторических источников

Исторические политические карикатуры и печатные тексты — это не просто записи прошлых событий; они тщательно сконструированы риторическими артефактами. Одна карикатура XVIII века или памфлет эпохи Гражданской войны смешивает визуальное зрелище, текстовые аргументы и пространственный дизайн, чтобы убедить, спровоцировать или развлечь. Слишком долго историки рассматривали изображения и слова как отдельные области, анализируя визуальную символику мультфильма в отрыве от его подписи или игнорируя то, как макет газеты формировал интерпретацию читателя. Эта фрагментация упускает существенную синергию: смысл часто возникает именно на пересечении режимов. Мультимодальный текстовый анализ обеспечивает систематический инструментарий для декодирования этой синергии, позволяя исследователям реконструировать, как исторические актеры создавали свои сообщения для конкретных аудиторий и целей.

Подход, основанный на социальной семиотике, разработанной Гюнтером Крессом и Тео ван Леувеном, утверждает, что все коммуникативные режимы — изображение, типография, цвет, пространственное расположение — несут различные потенциалы для смысла. Их основополагающая работа Чтение изображений: Грамматика визуального дизайна: Кресс и ван Леувен заложила основу для анализа того, как визуальные элементы функционируют как своего рода грамматика. Для историков, применяя эту структуру к материалам, таким как антикоррупционные карикатуры Томаса Наста или пропагандистские плакаты Первой мировой войны, раскрывает не только явный аргумент, но и невысказанные культурные предположения, встроенные в выбор дизайна. Метод заставляет ученых спрашивать больше, чем , что говорит источник; он требует отчета о , как , как каждый семиотический элемент работает вместе, чтобы произвести риторический эффект.

Мультимодальный текстуальный анализ: основа для историков

По своей сути, мультимодальный текстовый анализ рассматривает, как несколько семиотических ресурсов взаимодействуют для создания смысла.

  • Визуальные образы: Иконы, символы, карикатуры, аллегорические фигуры и стилистические условности, несущие культурно-специфические коннотации.
  • Письменный язык: Выбор слов, синтаксис, риторические фигуры и типографские вариации, которые устанавливают тон и акцент.
  • Раскладка и композиция: Пространственная иерархия, обрамление, контрасты размеров, пути чтения и использование белого пространства для привлечения внимания.
  • Материальность: Качество бумаги, формат (широкоугольный, памфлетный, связанный объем) и физическое состояние, которое сигнализирует предполагаемой аудитории, стоимость и долговечность.

Эти режимы не действуют независимо; они сочленяют смысл. Смелый красный заголовок над мрачной иллюстрацией создает иной эффект, чем тот же заголовок в небольшом засечённом шрифте под изображением. Задача аналитика — проследить, как каждый режим способствует общему риторическому эффекту, обращая внимание на моменты согласия, напряжения или противоречия. Например, мультфильм 1790-х годов, который соединяет достойный портрет с насмешливым заголовком, может намеренно подорвать собственный визуальный авторитет, используя разрыв между режимами для создания сатиры.

Исторические и теоретические основы

Мультимодальный анализ не возникает из вакуума, он опирается на несколько устоявшихся интеллектуальных традиций, каждая из которых предлагает объектив для понимания того, как визуальные и текстовые элементы объединяются, чтобы убедить.

Иконография и иконология (Панофски)

Трехуровневый метод Эрвина Панофски — предиконографическое описание (отождествление объектов и событий), иконографический анализ (интерпретация условных символов) и иконологическая интерпретация (открытие базовых культурных ценностей) — тесно связаны с мультимодальным мышлением. Панофски показал, что даже, казалось бы, простые изображения кодируют слои смысла, доступные только тем, кто знаком с визуальным языком конкретного времени и места (FLT:0) Иконология Панофского]. Историки могут применять этот многоуровневый подход как к визуальным, так и к текстовым элементам одновременно. Например, мультфильм викторианской эпохи, показывающий Британию в окружении колониальных фигур, требует иконографического знания аллегорических атрибутов (шлем, щит, трезубец) и иконологическое понимание имперской идеологии. Текст в таких изображениях часто закрепляет или расширяет иконографию, делая метод Панофски естественным предшественником современного мультимодального анализа.

Социальная семиотика и анализ критического дискурса

Кресс, ван Леувен и более поздние теоретики, такие как Тео ван Леувен и Дэвид Мачин, расширили семиотику от языка до всех режимов. Их работа подчеркивает, что режимы формируются социальными контекстами и отношениями власти - точка, имеющая решающее значение для анализа пропаганды, сатиры и политической риторики. Анализ критического дискурса (CDA) далее предоставляет инструменты для раскрытия того, как язык и изображение работают вместе, чтобы натурализовать идеологию. В антикоммунистической карикатуре 1950-х годов, например, визуальное изображение красного пятна, распространяющегося по карте, взаимодействует с предупреждением о «инфильтрации». Комбинация натурализует угрозу как неизбежный и биологический, а не как политический выбор.

История искусства и визуальные исследования культуры

Традиционные художественные исторические методы — изучение стиля, атрибуции и иконографии — предлагают глубокое понимание визуальных конвенций. Мультимодальный анализ обогащает их, явно связывая визуальные варианты с текстовыми и дизайнерскими стратегиями, что делает его особенно полезным для изучения массовых предметов, таких как мультфильмы и плакаты. Историки искусства долго анализировали композиционные правила сатиры, но мультимодальный анализ добавляет систематический отчет о том, как типография, макет и материальность усиливают или подрывают эти правила.

Применение мультимодального анализа к историческим политическим мультфильмам

Политические карикатуры являются идеальными тематическими исследованиями, поскольку они сжимают сложные аргументы в единую, часто юмористическую или сатирическую рамку. Следующий процесс направляет систематический анализ этих плотных артефактов.

Шаг 1: Установить контекст и провенанс

Определить дату публикации, периодическое издание, карикатуриста (если известно), и конкретный политический или социальный вопрос, к которому обращаются. Например, карикатура 1784 года Джеймса Гиллрея, высмеивающая Чарльза Джеймса Фокса и Ост-Индский Билл, не может быть понята, не зная яростных парламентских дебатов того года. Контекст определяет цель мультфильма, аллюзии и предполагаемое влияние на читателей. Без контекста историк может пропустить, что фигура, держащая пернатый головной убор, не является родовым «индийским», а олицетворением коррупции Британской Ост-Индской компании. Всегда консультируйтесь с современными новостными сообщениями, политическими брошюрами и частной перепиской, чтобы восстановить первоначальный предполагаемый смысл.

Шаг 2: Каталог визуальных элементов

Составьте исчерпывающий перечень всех визуальных компонентов: персонажей (настоящие лица, мифические фигуры, животные с символическим значением), объектов (цепи, чешуя, мешки с деньгами, национальные флаги), настройки (придворная комната, поле битвы, земля фантазий) и выразительные детали (лицевые выражения, язык тела, одежда). Например, в «Плумб-пудинге Гиллрея», изображении земного шара, вырезанного как пудинг Уильямом Питтом и Наполеоном, богато значением: премьер-министр и император олицетворяют имперские амбиции своих стран, в то время как земной шар как пудинг тривиализирует глобальный конфликт как обжорливую еду. Тщательный инвентарь также фиксирует использование цвета - будь то оригинал был ручного цвета или напечатан в черно-белом цвете - поскольку цвет имел дополнительный символический вес в 18 веке.

Шаг 3: Анализ всех письменных компонентов

Напишите и просмотрите каждый фрагмент текста: подписи, речевые пузыри, ярлыки на предметах, подписи и любые встроенные надписи. Обратите внимание на риторические устройства — ирония, преуменьшение, гипербола — и как они взаимодействуют с визуальным. Подпись, которая прямо противоречит изображению (например, «Справедливое и справедливое соглашение» над мультфильмом, показывающим, что собака вынуждена подписать контракт с волком) часто доставляет сатирический удар. Типографические варианты имеют значение: смелый, без засечек подпись в плакате 1917 года передает срочность, в то время как богато украшенный сценарий в печати 1780-х годов предполагает элегантность или сатиру. Всегда проверяйте, был ли текст добавлен после изображения или был неотъемлемой частью оригинального дизайна — некоторые принтеры вставляли подписи позже, изменяя предполагаемый смысл.

Шаг 4: Оцените состав и визуальную иерархию

Карта макета: что занимает центр? Что на переднем плане против фона? Есть ли обрамляющие устройства, такие как границы или речевые пузыри? Как глаз перемещается по изображению? Большие фигуры и смелый текст привлекают основное внимание; меньшие фоновые детали часто кодируют вторичные комментарии или внутренние шутки для внимательных зрителей. В знаменитых мультфильмах Херблока 1950-х годов о маккартизме доминирует огромная фигура сенатора Маккарти, держащая кисть, «коммунистические» ярлыки, в то время как крошечные маргинальные жертвы сужаются по краям - композиция, которая визуально утверждает, что обвинения Маккарти были непропорциональны и нацелены на уязвимых. Путь чтения, созданный этой иерархией, известен как спираль, и она направляет внимание зрителя в преднамеренной последовательности.

Шаг 5: Интерпретация мультимодального взаимодействия

Совместите выводы, чтобы построить единую интерпретацию. Спросите: как визуальная метафора усиливает или подрывает текст? Какие предположения о знании аудитории необходимы? Какие культурные стереотипы используются? Например, мультфильм 1908 года, показывающий, как дядя Сэм предлагает бутылку с лекарством «Новый курс» рваной фигуре с пометкой «Безработный» использует как визуальный (бутылка с лекарством как панацея), так и текстовый (ироничный термин «Новый курс») режимы для критики обещаний правительства. Взаимодействие между режимами создает многоуровневый аргумент, который ни изображение, ни текст не могут достичь в одиночку. Этот шаг также требует от историка рассмотреть потенциальную полисемию: может ли один и тот же мультфильм быть прочитан по-разному сторонником правительства против критика? Мультимодальный анализ помогает выявить эти расходящиеся чтения.

Анализ исторических текстов с помощью мультимодальной линзы

В то время как мультфильмы явно мультимодальные, многие исторические тексты, которые появляются «просто слова», также полагаются на визуальные особенности, которые влияют на значение. Газетная статья 18-го века может использовать декоративные головные уборы, правила колонки и различные шрифты, чтобы сигнализировать о важности. В памфлете аболициониста 19-го века часто сопоставляются резкие гравюры порабощенных людей с красноречивыми призывами в контрастных шрифтах (] Коллекция Библиотеки Конгресса ). Мультимодальный анализ таких текстов рассматривает:

  • Типография: Смелые, курсивные и размерные вариации сигнализируют о акценте или контрасте. Например, газеты в 1700-х годах использовали курсив для цитат, римский для новостного текста и чёрный список для официальных прокламаций.
  • Раскладка: Ширина колонки, края и вставка изображений или списков направляют скорость чтения. Узкая колонка заставляет глаз двигаться быстро, в то время как широкая центральная колонка предлагает более медленное, более отражающее чтение.
  • Паратекст: Заголовки, субтитры, строки и информация о публикации обрамляют текст риторически. Смелый заголовок в значении сигналов большого типа, в то время как небольшой подзаголовок может квалифицировать или подрезать заголовок.

Тема исследования: Печатная речь

Рассмотрим Геттисбергское обращение Авраама Линкольна 1863 года, как оно появилось в современных газетах. Некоторые версии поместили речь под большой заголовок с декоративными границами, другие сконденсировали его в одну колонку. Чикагская трибуна запустила его с блестящим редакционным введением. Анализ этих паратекстовых элементов показывает, как был сформирован прием речи - не только словами Линкольна, но визуальным престижем или скромностью его презентации. Простая версия в газете небольшого города могла быть прочитана как рутинное событие, в то время как богато украшенная макет Трибуны , в то время как богато украшенная макет Трибуны , в то время как мультимодальный историк поэтому читает не только текст, но и дизайн в качестве основного источника.

Пропагандистские плакаты: Мультимодальный мастер-класс

Пропагандистские плакаты Первой и Второй мировых войн представляют собой пик преднамеренной мультимодальной инженерии. Каждый элемент — визуальная, текстовая, пространственная и даже подразумеваемая временная последовательность (например, «Сейчас или никогда») — был разработан для того, чтобы вызывать определенные эмоции и действия. В отличие от мультфильмов, которые часто полагаются на юмор или иронию, пропагандистские плакаты часто используют прямые призывы и резкие контрасты.

Возьмите знаменитый британский плакат «Ваша страна нуждается в вас» с лордом Китченером: пронзительный палец, указывающий прямо на зрителя (обращающийся к «вы») в сочетании с смелым, бескомпромиссным типом создает чувство личной обязанности. Красный цвет текста сигнализирует о срочности и жертве. Композиция вынуждает читать путь: сначала лицо, затем палец, затем команда. Мультимодальный анализ раскрывает, как эти выборы превращают простой портрет в императив. Позже пародии антивоенных групп подрывают ту же самую планировку, чтобы критиковать джингоизм, демонстрируя, как изменение текста может перепрофилировать визуальный режим. Соединенные Штаты приняли аналогичные проекты, такие как Джеймс Монтгомери Флэгг «Я хочу вас для армии США», который использовал тот же жест указательного пальца, но заменил британскую форму костюмом дяди Сэма — тонкий сдвиг, который персонализировал призыв к американской аудитории.

Цифровые инструменты и архивные ресурсы для мультимодальных исследований

Историки сегодня могут использовать цифровые инструменты для поддержки мультимодального анализа. Платформы аннотации изображений, такие как Apero или Mirador, позволяют слоистую маркировку визуальных элементов наряду с транскрипциями. Текстовый майнинг исправленных OCR подписей на тысячах мультфильмов может идентифицировать повторяющиеся визуальные метафоры (например, «корабль государства», «национальный дядя»). Географические информационные системы (ГИС) могут отображать распространение конкретных пропагандистских изображений. Цифровые информационные системы (ГИС) могут отображать распространение конкретных пропагандистских изображений. Цифровые архивы, такие как Библиотека Конгресса Печати и Отдел фотографий, часто с контекстными метаданными. Однако цифровые инструменты не могут заменить герменевтическую интерпретацию. Историк всегда должен спрашивать: что выделяет инструмент и что он неясный? Потеря оригинального цвета, масштаба и существенности в оцифрованных изображениях требует осторожности. Где это возможно, комбинируйте цифровой доступ с изучением оригиналов или высококачественных факсимиле. Например, мультфильм, напечатанный на дешевой газетной бумаг

Проблемы и этические соображения

Мультимодальный анализ несет в себе риски. Анахронизм — это первичная опасность: символы, которые сегодня кажутся расистскими или женоненавистническими, возможно, были мейнстримом в своё время, но историк должен оценить, задумывались ли они как критика или подкрепление. Например, мультфильм 19 века, изображающий ирландских иммигрантов с симовскими чертами, возможно, был прочитан как юмористический некоторыми современниками, но он также укреплял этнические стереотипы. Аналитик должен тщательно контекстуализировать такие образы с помощью современных обзоров, писем и других первоисточников, которые раскрывают, как оригинальные зрители расшифровывали артефакт. Другим этическим соображением является воспроизведение оскорбительных образов: учёные должны решить, показывать ли источник в его первоначальной форме или описывать его без воспроизведения. Собственные культурные предубеждения исследователя также могут искажать интерпретацию. Для смягчения этого всегда наземный анализ в диапазоне первоисточников и быть прозрачным в отношении границ своей исторической перспективы.

Кроме того, оцифровка часто лишает материальных доказательств - бумажной текстуры, складных отметок, запаха - которые передавали статус и использование. Дешево напечатанная широкая сторона, наклеенная на стену таверны, работала иначе, чем тонкая цветная пластина, связанная в журнале. Историки должны учитывать эти материальные контексты, когда это возможно. Плакат, который первоначально отображался на открытом воздухе с клейкими отметками, рассказывает другую историю от нетронутой копии, хранящейся в портфолио. Мультимодальный анализ должен отметить эти следы материала как часть доказательств.

Педагогическое использование в классе истории

Обучение студентов выполнению мультимодального анализа развивает критическое мышление и визуальную грамотность. Подход с использованием лесов работает хорошо:

  1. Фаза описания: Студенты перечисляют все, что они видят и читают без интерпретации. Это тренирует наблюдение и предотвращает преждевременные выводы.
  2. Фаза анализа: Студенты определяют шаблоны, символы и риторические устройства в каждом режиме отдельно. Они могут сравнить использование цвета в двух плакатах или выбор типографики в двух брошюрах.
  3. Фаза интеграции: Студенты объясняют, как режимы взаимодействуют, чтобы создать единый аргумент.
  4. Фаза оценки: Студенты оценивают предвзятость источника, предполагаемую аудиторию и эффективность на основе мультимодальных доказательств.

Назначения могут включать сравнение двух мультфильмов на одном и том же мероприятии из противостоящих газет или воссоздание пропагандистского плаката на основе современного вопроса и написание размышления о выборе дизайна. Такие упражнения готовят студентов к строгому анализу источников, который выходит за рамки «Мне нравится эта картина». Оценка должна фокусироваться на качестве мультимодальных рассуждений, а не на эстетическом суждении. Например, студент, который может объяснить, почему карикатурист выбрал определенный шрифт или кадрирование, демонстрирует более глубокое историческое понимание, чем тот, кто просто описывает сообщение мультфильма.

Преимущества для исторического понимания

Мультимодальный текстовый анализ дает историкам конкретные преимущества:

  • Восстанавливает стратегическую коммуникацию: Она показывает, как авторы намеренно организовали несколько режимов, чтобы максимизировать убеждение для конкретной аудитории.
  • Разоблачает скрытые идеологии: Неявные ценности — о расе, поле, классе, нации — часто проявляются более четко в визуальных решениях, чем в явном тексте. Плакат 1915 года, показывающий женщин в домашних ролях, в то время как мужчины маршируют на войну, натурализует гендерные различия, не заявляя их.
  • Проверяет различные источники: Он узаконивает изучение эфемерных материалов (плакат, мультфильмы, реклама) как серьезных исторических свидетельств, а не просто как иллюстрации текстовых источников.
  • Содействует междисциплинарной строгости: Он соединяет историю, историю искусства, лингвистику и медиа-исследования, производя более богатые стипендии, которые могут говорить с несколькими академическими аудиториями.

По мере того, как цифровые архивы расширяют доступ к визуальным и печатным материалам, историк, оснащенный мультимодальными инструментами, может задавать более интересные вопросы - не только , что говорит , но , как , почему был выбран дизайн. , этот подход гарантирует, что прошлое понимается не как плоский текст, а как яркое, оспариваемое взаимодействие изображений, слов и материалов. Этот метод также готовит историков к анализу современных средств массовой информации, где мультимодальная коммуникация является нормой. Понимание полной риторики прошлого - визуальная композиция, типографские выборы, материальные условия - позволяет ученым реконструировать, как формировалось общественное мнение и как культурные предположения были усилены или оспорены.

Анализируя сатиру 1790-х годов Гиллрея или плакат с набором персонала 1917 года, мультимодальный текстовый анализ помогает историкам слушать полную риторику прошлого, захватывая многоуровневые аргументы, которые сформировали общественное мнение и наследие. Он превращает изучение исторических СМИ из простого извлечения «фактов» в тонкое исследование того, как был сделан смысл — и все еще может быть сделан сегодня. Следующее поколение цифровых гуманитарных инструментов в сочетании со строгой теорией обещает углубить это понимание еще дальше, делая мультимодальный анализ важным компонентом исторической методологии.