Analisando textos históricos com ferramentas de processamento de linguagem natural

Componentes Principais de um Pipeline NLP para História

Para entender como o NLP funciona em documentos históricos, é útil quebrar o oleoduto padrão de processamento. Cada passo transforma texto bruto em um formato legível por máquina:

• Tokenização: Dividir um fluxo de texto em palavras individuais, marcas de pontuação ou frases. Isto soa simples, mas textos históricos com espaçamento irregular, pontuação arcaica e uso do caractere longo 's' (que se assemelha a um 'f") pode tropeçar em tokenizadores modernos. Tokenizadores sofisticados permitem ao pesquisador definir regras personalizadas para lidar com essas anomalias.
• Parte-de-Speech (POS) tagging: Marcação de cada palavra com o seu papel gramatical (substantivo, verbo, adjetivo, advérbio). Isto é essencial para desambiguar o significado. Por exemplo, a palavra “luz” pode ser um substantivo (fonte de iluminação) ou um adjetivo (não pesado). A marcação de POS permite que algoritmos distingam estes usos, o que é crítico para tarefas como modelagem de tópicos ou análise de sentimentos.
• Lematização e Estivamento: Reduzindo palavras para sua base ou forma de dicionário. “Running” torna-se “corrida”; “melhor” torna-se “boa.” Para textos históricos, isso ajuda a agregar variantes de uma palavra em um corpus. No entanto, um lêmmatizador treinado em inglês moderno pode não reconhecer formas arcaicas como “doth” (does) ou “hath” (has), assim dicionários personalizados ou correção manual são muitas vezes necessários.
• Nomeado Reconhecimento de Entidade (NER):] Identificar e classificar substantivos próprios em categorias pré-definidas, tais como nomes de pessoas, organizações, locais, datas e valores monetários. Esta é uma das ferramentas mais úteis para historiadores. Um pesquisador que analisa um século de correspondência diplomática pode usar NER para extrair todas as menções de um ministro estrangeiro, capital ou tratado, e depois mapear essas entidades através do tempo e do espaço.

Aplicações-chave em Pesquisa Histórica

A aplicação do NLP aos materiais históricos está remodelando várias áreas de investigação. Os pesquisadores não se limitam mais a fazer perguntas simples sobre o que os textos dizem; eles podem agora fazer perguntas complexas sobre como a linguagem funciona através do tempo e do espaço. Abaixo estão as aplicações mais proeminentes, cada uma com exemplos concretos.

Leitura e macroanálise distantes

A leitura distante permite que os estudiosos analisem tendências ao longo de um século de publicação em uma única tarde. Calculando a frequência de palavras ou temas específicos ao longo do tempo, os pesquisadores podem acompanhar o aumento e a queda de ideias. Por exemplo, o rastreamento do uso de termos como “liberdade”, “império”, ou “república” em jornais do século XVIII fornece uma medida quantitativa do discurso público. Ferramentas como Google Ngram Viewer] oferecem uma versão simples, com face pública, mas mais robusta, a pesquisa acadêmica depende de corpora curado e roteiros personalizados que contam para variação ortográfica e erros OCR. Um estudo de referência do Laboratório Literário de Stanford usou leitura distante para mostrar como o vocabulário de romances tornou-se menos diversificado ao longo do século XIX, refletindo uma padronização da linguagem literária.

Modelação de Tópicos

A modelagem de tópicos é uma técnica de aprendizado de máquina não supervisionada que escaneia uma coleção de documentos e descobre automaticamente clusters de palavras que aparecem frequentemente juntos. Esses clusters, ou “tópicos”, representam temas latentes dentro do corpus. Um historiador trabalhando com discursos parlamentares vitorianos pode usar modelagem de tópicos para descobrir que um tópico agrupa consistentemente palavras como “trilho”, “vaga”, “motor” e “frete”, enquanto outro grupo “sanitação”, “colera”, “sewer” e “saúde”. Esse agrupamento computacional fornece um mapa orientado por dados da paisagem intelectual do período. Importantemente, a modelagem de tópicos não atribui rótulo; o pesquisador deve interpretar o que cada tópico representa, combinando saída computacional com conhecimento de domínio.

Estilometria e atribuição de autoria

A estilometria utiliza a análise estatística para quantificar o estilo de escrita único de um autor. Medindo características como o comprimento das frases, a riqueza de vocabulário e a frequência das palavras funcionais (por exemplo, “o”, “e” de”), os pesquisadores podem distinguir entre autores com alta precisão. Isto é particularmente útil para resolver questões de autoria disputada em documentos históricos, dos Documentos Federalistas às peças renascentistas. Num caso famoso, a análise estilométrica confirmou que o décimo segundo livro do poema épico Alexiad[] foi provavelmente escrito por um autor diferente dos livros anteriores, um achado que eludiava os filólogos tradicionais há décadas. A estilometria computacional pode frequentemente detectar mudanças de estilo que são invisíveis ao olho humano, fornecendo evidências fortes e reprodutíveis para ou contra uma atribuição específica.

Análise de Sentimento e Arcos Emocionais

A análise de sentimentos tenta medir o tom emocional ou polaridade de um texto (positivo, negativo, neutro). Quando aplicado a textos históricos, isso requer uma calibração cuidadosa. Aplicando um léxico de sentimentos moderno a um romance do século XIX provavelmente produziria resultados enganosos porque os significados das palavras mudam. No entanto, quando pesquisadores constroem léxicos específicos de período – extraídos de dicionários contemporâneos ou anotados por especialistas – eles podem traçar arcos emocionais em uma narrativa ou rastrear moral pública através da correspondência em tempo de guerra. Por exemplo, um estudo das cartas dos soldados da União durante a Guerra Civil Americana usou um modelo de sentimento personalizado para mostrar que a moral tendeu a mergulhar em meses de inverno e a subir após grandes vitórias, confirmando um padrão há muito suspeito pelos historiadores, mas nunca quantificado em escala.

Análise de Redes de Figuras Históricas

Ao extrair entidades nomeadas de um corpus de letras ou registros diplomáticos, pesquisadores podem construir redes complexas de relações. Isto é conhecido como análise histórica de rede. Por exemplo, um gasoduto NLP pode extrair todas as pessoas mencionadas na correspondência de John Adams. Um historiador poderia então mapear quem ele correspondeu com mais frequência, que foi citado como uma influência, e como essas redes mudaram ao longo de sua carreira. Isto transforma texto estático em um mapa social dinâmico. métricas de rede, como centralidade e densidade, permitem que pesquisadores identifiquem os principais corretores de informações, figuras isoladas ou mudanças em padrões de aliança ao longo de décadas.

Geoparsing e História Espacial

Um subcampo crescente da NLP histórica é geoparsing: a extração e desambiguação de nomes de lugares do texto. Combinado com sistemas de informação geográfica (SIG), o geoparsing permite aos historiadores mapear as dimensões espaciais dos eventos históricos e discursos. Por exemplo, um pesquisador estudando a propagação da morte negra poderia usar geoparsing em crônicas contemporâneas para traçar a sequência de surtos relatados, em seguida, comparar esses dados com modelos epidemiológicos modernos. Da mesma forma, acompanhar quantas vezes locais específicos são mencionados em um conjunto de narrativas de viagem revela quais regiões foram consideradas centrais ou marginais à visão de mundo do escritor. Geoparsing enfrenta desafios de toponímias históricas (por exemplo, “ConstaConstantinople” vs. “Istanbul”) e nomes de lugares ambíguos, mas gazetteers especializados e algoritmos de desambiguação continuam a melhorar a precisão.

Enfrentando os desafios dos dados históricos

A aplicação do NLP aos artigos de notícias contemporâneos é bastante difícil, e a aplicação a manuscritos centenários introduz um conjunto específico de desafios técnicos e interpretativos que devem ser enfrentados para que os resultados sejam válidos. Ignorar esses desafios pode levar a correlações espúrias e reivindicações históricas inválidas.

Erros de Reconhecimento de Caracteres Ópticos (OCR)

A maioria dos textos históricos digitais são criados através da digitalização de páginas físicas e da execução através do software Óptico Character Recognition (OCR). Historicamente, o software OCR luta com fontes arcaicas (como o longo-s), tinta desbotada, tipo quebrado e ligações apertadas que o texto obscuro perto da espinha. A saída resultante é muitas vezes distorcida. Uma palavra como “history” pode tornar-se “history”, “hiftory”, ou mesmo “hlstory.” Este ruído OCR] introduz um erro significativo na análise quantitativa.

Os investigadores devem investir tempo em gasodutos pós-correção – manual ou automatizado – ou usar modelos OCR especificamente treinados em tipos históricos, tais como aqueles desenvolvidos pela iniciativa ] OCR-D na Alemanha. Mesmo com a correção, é prudente executar análises de sensibilidade: repetindo cálculos-chave em um subconjunto de textos corrigidos manualmente para garantir que o ruído não conduza os resultados.

Variação Ortografia Histórica

Antes da padronização da grafia inglesa no final do século XVIII, os escritores frequentemente soletravam palavras foneticamente ou de acordo com a convenção regional. “Glorioso” pode parecer como “glorioso”, “gloyrius”, “gloyrius”, ou “gloriuserius”. Uma ferramenta moderna NLP irá tratá-las como palavras inteiramente diferentes. Para abordar isso, pesquisadores usam técnicas como correspondência regular de expressão[[]] (por exemplo, o padrão captura várias variantes] ou algoritmos de codificação fonética[ como Soundex ou Metafone, que palavras de agrupamento que soam semelhantes. Métodos mais avançados envolvem a construção de uma “mesa histórica variante” que mapeia cada grafia conhecida para uma forma canônica, desenhando recursos como o Historical Thesaurusaurus of English.

Para línguas não inglesas, o mesmo princípio aplica-se: Francês Moderno Early, Alemão e Espanhol, todos exibem considerável variação ortográfica que deve ser normalizada antes da análise.

Para pesquisas mais rigorosas, reprodutíveis e personalizadas, os historiadores estão cada vez mais voltando para linguagens de script. Python é a linguagem dominante para o NLP, com bibliotecas como Natural Language Toolkit (NLTK)[, spaCy e Gensim fornecendo funções pré-construídas para tudo, desde a tokenização até a modelagem de tópicos. R[] é um ambiente de computação estatística que oferece os pacotes e para análise de texto, juntamente com para integração com o ecossistema orgadyverse. Aprender a script permite a um pesquisador construir um pipeline transparente e repetitivo que pode ser compartilhado e criticado. Jupyter Notebooks são particularmente populares para mixagem de código, visualizações e notas interpretativas em um único documento, facilitando a colaboração e revisão por pares.

Construindo um Corpus

O primeiro passo em qualquer projeto NLP é construir um corpus de alta qualidade. A obtenção de textos de arquivos digitais confiáveis é fundamental. Os principais repositórios incluem:

• HathiTrust Digital Library: Um repositório maciço de livros digitalizados de grandes bibliotecas de pesquisa, oferecendo pesquisa de texto completo e download para obras de domínio público.
• Crônica América: Uma base de dados pesquisável de jornais históricos americanos de 1777 a 1963, fornecida pela Biblioteca do Congresso.
• Old Bailey Online: Uma edição totalmente pesquisável do processo do Tribunal Penal Central em Londres, que abrange 1674 a 1913. Inclui transcrições detalhadas de julgamentos ricos em dados sociais e linguísticos.
• Projeto Gutenberg: Um esforço voluntário para digitalizar e arquivar obras culturais, em grande parte limitadas a textos de domínio público. Embora úteis para análise literária, muitas vezes não tem os metadados e controle de qualidade dos arquivos acadêmicos.

Uma vez montado um corpus, ele deve ser limpo e pré-processado. Isto inclui remover cabeçalhos e rodapés de metadados, padronizar quebras de linha, converter ligaduras (por exemplo, ‘fi’ para ‘fi’), e aplicar as correções necessárias ao texto. Até uma pequena quantidade de limpeza pode melhorar drasticamente a precisão das tarefas de NLP a jusante.

Instruções futuras: Modelos de linguagem grandes e história digital

A recente explosão de Modelos de Linguagem Grande (MLMs) - como GPT-4, Claude, e alternativas de código aberto como Llama e Mistral - representa uma mudança de paradigma para análise de texto. Esses modelos são capazes de resumir, traduzir e gerar texto de qualidade humana. Para historiadores, LLMs oferecem a possibilidade tentadora de consultar um arquivo em linguagem natural. Em vez de escrever um roteiro de modelagem de tópicos complexo, um pesquisador pode simplesmente perguntar: “Summarize os argumentos econômicos feitos nesses cinqüenta panfletos” ou “Extraia todas as menções do termo "direitos naturais" e agrupá-los por década.”

No entanto, os LLMs introduzem riscos significativos para a pesquisa histórica. Eles são propensos a ] alucinação, o que significa que eles irão gerar informações falsas – inventando citações, atribuindo citações ou fabricando eventos. Eles também são treinados em conjuntos de dados maciços e não curados que não têm contexto histórico. Um LLM pode impor um quadro ideológico moderno em um texto histórico, produzindo um resumo anacrônico que reflete vieseses do século XXI em vez de realidades do século XVIII. Portanto, enquanto LLMs oferecem ferramentas poderosas para a exploração e geração de texto, eles não podem substituir os métodos rigorosos e baseados em hipóteses da NLP tradicional.

Sua saída deve ser tratada como um ponto de partida para análise, não como uma conclusão autorizada. Pesquisadores que usam LLMs devem sempre verificar saídas contra fontes primárias e documentar suas solicitações e versões de modelos para garantir reprodutibilidade.

O papel da análise multimodal

O futuro da análise histórica do texto reside em ir além do texto puro. Os documentos históricos não são apenas palavras; são objetos físicos com layout, ilustrações, marginalia e vinculação. A análise multimodal combina o NLP com visão computacional para analisar o texto e a imagem simultaneamente. Isto permite aos pesquisadores estudar a relação entre um texto e suas ilustrações, analisar anotações escritas à mão ao lado do texto impresso de um livro, ou transcrever automaticamente e indexar a marginalia do manuscrito. Por exemplo, um projeto estudando os primeiros tratados alquímicos modernos pode usar o reconhecimento óptico de caracteres no texto principal, ao aplicar a visão computacional para identificar e classificar os desenhos intrincados de alembicas e fornos que acompanham as instruções. Esta abordagem integrada fornece uma visão muito mais rica do objeto histórico como um todo e abre novas questões sobre a interplay de palavra e imagem na produção de conhecimento.

Perguntas Humanísticas, Ferramentas Computacionais

A integração do Processamento de Linguagem Natural em pesquisas históricas não é sobre automatizar o historiador fora de um trabalho. Trata-se de expandir o escopo do que os historiadores podem saber. A saída computacional crua não é um argumento histórico acabado; é uma evidência que requer interpretação crítica. O historiador deve perguntar: Por que esse padrão surgiu? O que os dados não conseguem capturar?

Quais vieses estão incorporados no material fonte ou no algoritmo?

Ao dominar essas ferramentas, os estudiosos podem navegar com confiança pelos vastos arquivos digitais do século XXI. Eles podem testar hipóteses em escala, descobrir padrões ocultos de influência e fazer perguntas nuances sobre linguagem, cultura e poder através do tempo. A transformação digital da história não é uma ameaça para a disciplina; é uma oportunidade para aperfeiçoar nossos métodos e aprofundar nossa compreensão do passado. As histórias digitais mais convincentes serão sempre aquelas que combinam evidências computacionais com a visão humanística, e que tratam os algoritmos não como oráculos, mas como instrumentos de investigação.