The Paradigm Shift in Historical Research

Yüzyıllar boyunca tarihçiler, bu koleksiyonları yalnızca insan bilim adamlarının ölçek ve hızlarından elde edebilecekleri el eleme kılavuz okuma ve yazma konusunda istekliydiler.Bu değişim, tarihçinin eleştirel yargılarından değil, yeni tür sorular ve edebi eserlerin geçmişteki gibi mümkün olmasını sağlıyor.

Makine öğrenme algoritmaları, büyük bir fiziksela karşı modelleri, ilişkileri ve eğilimleri tespit edebilir, politik retoriklerin savaş zamanlarında kamusal duygulara geçişlerini ortaya koyar. sınıflandırma, kümeleme ve çıkarma gibi görevleri otomatikleştirmek, ML, araştırmacıların yorum ve bağlamsal anlayışa odaklanmasını sağlar. Sonuç, geleneksel niteliksel yöntemleri tamamlayan bir yaklaşımdır.

Data Overload to Data Discovery

Bugün tarihçilerin karşılaştığı en büyük zorluklardan biri, hammadde ve eylem kabiliyetine sahip bir bilgi eksikliği değildir. Örneğin, gözetimsiz bir öğrenme teknikleri, konuyla ilgili on binlerce kitap veya milyonlarca gazete makalesi içerebilir.Bu materyalin bir kısmı bile pratik değildir. Makine öğrenme, ham sayısal metin ve eylem edilebilir tarihi anlayış arasındaki köprüyü sağlar. Örneğin, gözetimsiz öğrenme teknikleri otomatik olarak konuyla grup belgeleri konuyla grup belgeleri içerebilir, dil veya duygular, araştırmacılara yakın okumadan önce okumadan önce yüksek seviyeli bir harita sunar.

Tarihi metin hacmi şimdi şaşırtıcı.The volume of historical text now available is amazing.The volume of historical text now available is amazing.The volume of historical text now available is amazing.The volume of 20 million paper pages.urFLT:4 Europe)a}[Dörtücük dijital insan hareketlerinin kalitesi 58 milyondan fazla kültürel miras materyalini genişletiyor.

Core Machine Learning Techniques in Historical Text Analysis

ML'nin tarihsel metinleri uygulama birkaç yerleşik yöntem üzerine çizilir. [FONTT:0]Topic modelleme), Geçer Dirichlet Allocation (LDA), bir koleksiyondaki temaları temsil eden sözcükleri tanımlar.Bu teknik, 19. yüzyıldaki gazetelerin yükselişini takip etmek veya on yıllar boyunca bilimsel yayınların ortaya çıkmasını sağlamak için kullanılmıştır.

[FONT:0]Text sınıflandırması[[Döneticiler: 1), edebi veya siyasi çıktının geniş çaplı anketlerini tespit etmek için önceden tanımlanmış kategorilere yer verir. Örneğin, bir tarihçi, propaganda ve objektif raporlama arasında bir sınıflayıcıyı savaş zamanındaki raporları ayırt edebilir ve daha sonra milyonlarca isimsiz belgeye aynı kuralları uygular.

[FONT:0]Clustering Gruplar önceden tanımlanmış etiketler olmadan benzer metinler, araştırmacılar zaman ve coğrafya tarafından ayrılmış işler arasındaki beklenmedik eşitsizlikleri keşfetmelerine yardımcı olabilirler. Hierarchic clustering of 18th- century pamphlets, Boston'daki vergilendirme hakkındaki argümanları Philadelphia'dan daha resmi özelliklerle paylaştı, bölgesel entelektüel izolasyonla ilgili zorlu varsayımlar.

[FONT:0]İsviçre tanıma (NER)) İnsanların uygun isimlerini, yerlerin, örgütlerin ve tarihlerin tarihsel metinlerden alıntılar, NER sosyal ağları, göç kalıpları veya alıcılara yayılabilir. Örneğin, NER'nin 9. maddesinde inşa edilen kaynaklar [FLT)[DFLT:3D)[Döneticileri)[Döneticileri)[Döneticileri)

[FONT=0]Sentiment analizi[[Dönetici:0)[Döneticileri tarihsel dönemlere uygularken, araştırmacılar Fransız Devrimi veya Amerikan İç Savaşı gibi büyük olaylardan önce kamuoyuna görüşmüşlerdir, genellikle bu resmi anlatıları farklı bir şekilde tartışmışlardır. ancak, tarihsel metinleri dikkatli bir şekilde ifade etmek için duygu analizlerini sunmak, 17.

Vaka Çalışmaları: Eylemde Makine Öğrenmesi

Tarihçi çalışmaların ML'nin gücünü gösteren birçok büyük araştırma projesi, aynı zamanda milyonlarca sayfayı da içeriyor. [İngilizce Kısa Başlık Kataloğu)), Kongre Kütüphanesi'nde OCR'yi erken basılı kitapların baskılarını tespit etmek için kullanılan algoritmaların bir araya getirilmesini ve anahtar kelime aramasını da içeren metinleri ortaya koydu.

1800-2000'den itibaren İngiliz parlamenter konuşmalarında duygusal bir tartışmanın, tonların ekonomik stres dönemlerinde daha olumsuz ve kutuplaşmış hale geldiğini bulmak için duygu analizi kullanılmıştır. Araştırmacılar, ekonomik bir tartışma ve Word (LIWC)) Sözlüğü tarihsel İngilizce için uyarlanmış bir modele dayanarak, o zaman GSYİH büyüme, işsizlik oranları ve savaş kayıpları ile karşılaştırıldığında, ekonomik bir dil ortaya çıktı.

Başka bir proje, ABD doktora tezlerini 1861'den 2000'e kadar modelledi ve araştırma önceliklerinin sosyal bilimlere nasıl değiştiğini ve sonra STEM alanlarının% 34'üne düştüğünü gösterdi.TheDANFLT:0)ProQuest Dissertations) veri setleri% 2 ila 28 arasında yükseldi.

Bu yöntemlerin teknik tarafına daha derin bir şekilde atılması, bkz.D:0) Bu genel bakış Doğaya genel bakış), ML'nin insanlıklarında nasıl kullanıldığına dair pratik bir kılavuzluk sunar.TheDANDT:2).Directus blogu).

Obstacles: Data Quality, Language ve Interpretation

Potansiyel muazzam olsa da, ML'yi tarihsel metinleri zorlanır. En yaygın problem şu şekildedir:0)OCR hataları) Birçok OCR çıktılarında genellikle "bom" veya "mertçe" nin yerine "öpek" olarak düzeltilmiş bir hata oranı ile yazılır.

Araştırmacılar ayrıca bugünden 17. yüzyılda "Semantik" kelimesinin anlamının tarihsel fiziksel olarak dağerlendirilmesi ve anlamları değiştirmesi gerekir. Örneğin, "Semantic Change kelimesi, Stanford'da 20.000'in üzerinde kelimenin anlamının tarihsel olarak değiştirildiği ve her iki hesaplama becerisi ve alan uzmanlığını gerektiren bir görev haline getirilmesi gerekir.

[FONT:0]Bias[[Dönetici:0) Başka bir eleştirel endişedir. Birçok ML model için eğitim verileri modern metinlerden elde edilir, bu nedenle ırksal olarak ücretli dil kullanan tarihsel belgeler, cinsiyet rolleri veya sınıf ayrımları farklı bir şekilde birleştirmektedir. 20. yüzyıl gazetelerinde eğitilmiş bir model, cinsiyet eşitliğinin destekleyicisi olarak 19. yüzyıl editörünü “kadınların alanı” etiketini etiketleyebilir veya yanlış yorumlayabilir.

Başka bir ince önyargı, sadece parlamento konuşmalarında eğitilmişse, kadınların, köylülerin veya kolonileşmiş insanların deneyimlerini tamamen kaçırıyor.()

Algoritma Tarihinde Etik Bakışlar

Ayrıca etik boyutlar vardır. Tarihi metinler genellikle mahremiyet beklentisi olmayan bireyler hakkında kişisel bilgiler içerir. ML anonim verileri yeniden ifade edebilir veya özel yazışmalardan ayrıntıları açığa çıkarabilir. Araştırmacılar analizlerinin tersyüzlü topluluklara zarar verebileceğini düşünün. Örneğin, 19. yüzyıldan itibaren yapılan genetik ilişkiler veya boşanmalar ortaya çıkarabilir.

Ayrıca, algoritmaların kendileri, 19. yüzyıl romanlarının bir korpusu olarak kabul edilemezler, Jane Austen’i doğru bir şekilde tanımlayamazlar, Isabella Bird, Mary Wollstone Shelley ve diğerleri üzerinde eğitim verilerinin bir araya gelmesiyle, tarihi bir kayıtta, 19. yüzyıl romanlarının yarısından fazlasını kabul edilemezdi.

Transparency önemlidir. Yayın kodu, veri ve metodoloji diğer akademisyenlerin dijital İnsanlar için yeniden üretmesi ve eleştiri bulgularına izin verir. [Dönetici İnsanlıkları Mahallesi tarafından yayınlanan ), bu tür tartışmalar için bir forum sağlar, birçok makalede etik kullanımları tarihsel araştırmada araştırma.TheurFLT:2).

Tarihsel Projelerde ML'yi Uygulamak için Pratik Adımlar

ML'yi kabul etmeyi düşünen tarihçiler için, pratik bir iş akışı, [Dönder] [Dönderlik[Dönderlik) ile başlar. Text, Tesseract gibi standart isimler veya coğrafi yer isimleriyle standartlaştırılmış olan tablolar için başka bir kullanışlı araçtır.[Dönderler).

Sonra, uygun bir ML framework seçin. Küçük orta koleksiyonlar (100'e kadar belgeler) için Python kütüphaneleri [DüzD:0) veya [[Döneticileri için, bulut tabanlı hizmetler veya özel dijital insan platformları için [[Voyant Tools)[Döneticileri )Palladio) daha kolay ölçeklenebilir.)

OCR hatalarının veya ortak bir şekilde yapılan metinlerin grafik incelemesi, her konu kümesindeki en az geçerli bir derstir.[Dönemli kategorilere ait olan metinleri karşılaştırmak için tıklayınız).Aday view text view the view view the view text the view text the text the text the text the text the text the text tr|tr|proformation tr|the text tr|tr|tr|tr|tr|tr|tr|tr|proformasyon|s right the right tr|tr|s right the tr|s right right tr|tr|s tr|tr|tr|s tr|tr|s tr|s tr|s the the the tr|s the tr|tr|proform the tr|s tr|tr|tr|tr|s tr|tr|tr|tr|tr|tr|s the the tr|tr|tr|s the the the the the the the

Historical Corpora için doğru araçları seçmek

Tüm ML araçları tarihsel çalışma için eşit değildir. Pre-trained word containsdings ( Word2Vec veya GloVe) modern fiziksel olarak modern bir bedene dayanıyor ve 1810 ile 2009 yılları arasında yayınlanan metinlerden 400 milyondan fazla kelime daha yakından yararlanıyor ve 19. yüzyıl kelimelerini yansıtan anlamlar yetiştirmeleri gerekiyor.

Benzer şekilde, GPT gibi büyük dil modelleri (LLMs) tarihsel metinlerde iyi niyetli olabilir, ancak asla gerçekleşmemiş olan “hallucinate” plausible-sounding ama factually yanlış yorumlar gibi yorumlarda bulunur.A 2023 çalışması, 18. Yüzyıl broşürlerini özetlemek istendiğinde, 8. Yüzyılda [16.000T) ve hayali tartışmalarının analizinde daha güvenli olduğunu göstermektedir.

Geleceğin: Gerçek Zaman Analizi ve Multimodal Entegrasyon

Bir sonraki sınır, yeni sayısal metinlerin gerçek zamanlı analizini içerir. Arşivler sürekli olarak malzeme ekleyebilir, ML boru hatları otomatik olarak, mevcut olanlara yeni metinleri ayırabilir ve internet tarihi bilgilerinin dinamik bir bilgi grafiği oluşturmak.TheD:0Archives Unleashed). Örneğin, bilim insanları tarafından yayınlanan web arşivleri, ilk zamanlardaki kayıtların haritalarını ve internet dışı raporların internetteki bilgilerini ortaya çıkarmak için 19 yıl boyunca nasıl genişletilebilir.

İngilizcede yapılan araştırmalar:0) Doğal dil işleme (NLP))[Dönetici diline göre eğitilmiş modeller gibi - modern ve tarihsel kullanım arasındaki boşlukları azaltacaktır.TheTELD:2).OED (Oxford English Dictionary)).

Ayrıca, görüntüleri ile metin birleştiren çoklu mod ML (erkekler, fotoğraflar, el yazısı yazmaları) otomatik olarak analiz etmek zor olan kaynakları ortaya çıkaracak ve bu tarihçilerin resmi ve özel yorum arasındaki farkı analiz etmelerine izin verir: 0. IBM[Dönemli: 1) Bir okuyucunun el yazısına yazılmış belgelerle geliştirilmiş olan 19. yüzyıl kitabında yazdıklarına göre, marjinal notlarla ilgili duygusal analizleri yapabilmesine olanak tanır.

Makine Öğrenmesi ve Geleneksel Burslar Arasında İşbirliği

En umut verici gelecek tarihçileri algoritmaları ile değiştirmez, ancak işbirliği ile derinleştirir. Makine öğrenimi, "heavy kaldırma" veri işlemesini idare edebilir, tarihçiler Python'da daha iyi sorular sormalı ve sonuçları yorumlayabilmeli. Mezun programları artık ortaktır ve birçok tarih bölümü bilgisayar bilimleri ile ortak dereceler sunar.The Digital History Certificate).

Daha fazla disiplinli takımların büyük tarihsel soruları görmeyi bekleyebiliriz, örneğin demokrasinin uzun vadeli evrimi, geçmiş toplumlardaki iklimin etkisi veya dini hareketlerin yayılması.ŞUluskanlık Araştırma Birimi, Doğu Anglia)'de yapılan işbirliği, 18. ve 19. yüzyıllardan itibaren, iklimin ısıtılması için ML'yi uygulamaya koyması için tarihçilerle işbirliği yapmamıştır.

Sonuç: Tarihsel Keşif Yeni Bir Yaş

Makine öğrenimi sihirli bir mermi değil, ancak insan yorumu ile ilgili olarak ortaya çıkan güçlü bir lensdir, akademisyenler öncekinden daha derin bir derinlikle anlayabiliyorlar. Tarihi metinlerin sayısallaşması bir veri parçası yarattı ve MLS önyargısını sağlar - ve teknolojiyi bir şekilde keşfetmeyi sağlar.Bir son olarak, makine öğrenimi tarihçilerin daha önce hiç imkansız olduğu sorularla anlaşarak, bu yüzden yeni bir disiplinin farkına varmak için yeni bir bölüm yazmaktadır.

Bu yöntemlerin pratik uygulanması hakkında daha fazla okuma için, tarihçi ve veri bilim adamı arasındaki sınır, insan tarihinin anlayışını yeniden şekillendirmeye yönelik zengin bir disiplin alanı açmaya devam edecektir.TheDirectus management.As the technology matures, the limit between the history and the data science will go to deploy, making the rich in Disiplinler area that to reshape our understand of human history.The correctT:2.Directus[Döneticileri değiştir]