מחקר: Learning Resources
ההיסטוריה של אינטליגנציה מלאכותית: מהתיאורטיקנים ל- Deep Learning
Table of Contents
אינטליגנציה מלאכותית אינה המצאה פתאומית, אלא שיאה של עשרות שנים של חקר תיאורטי, פריצות דרך הנדסיות, ווויכוחים פילוסופיים על טבע המחשבה עצמה.הסיפור מתחיל הרבה לפני המחשב הראשון, עם מתמטיקאים ולוגיקה המבקשים האם ההיגיון האנושי יכול להיות מתווך.מימי החלוציים של ההיגיון הסמלי לרשתות העצביות העצומות של ימינו, את האבולוציה של התובנות ה-AI שלנו, את ההבנה הגוברת של האינטליגנציה שלנו – ולשכפלתפתנות שלנו.
The Genesis of Artificial Intelligence
הלידה הרשמית של AI כמשמעת מדעית היא לעתים קרובות מתוארת באמצע שנות ה-50, אבל שורשיה האינטלקטואליים משתרעים חזרה ל-40 ואפילו לפני כן, חזונים כמו אלן טורינג הניחו את היסודות הפילוסופיים על ידי שכנוע מה זה אומר עבור מכונה "לחשוב".
מבחן טיורינג ומכונה תיאורטית מוקדמת
במאמרו של ה- 1950, FLT:0 (Computing Machinery and IntelligenceFLT:1), טיורינג הציע את "משחק ההשמדה" – מבחן שבו חוקר אנושי אינטראקציה עם אדם ומכונה באמצעות טקסט, והמכונה עוברת אם היא יכולה לשטות ב-"משחק ההסתה" במחשבה שהיא אדם.
במקביל, וורן מק'קוך ווולטר פיטס פירסמו מודל מתמטי של נוירונים מלאכותיים בשנת 1943, והדגימו שרשתות של מתגים פשוטים על-off יכולות לנסח כל הצעה הגיונית.זה היה אחד הגשרים המושגים הראשונים בין מדעי המוח לבין חישוב, תוך רמז לגישה החיבורית שמאוחר יותר תהפוך דומיננטית.
סדנת דארטמות (1956)
קיץ 1956 סימנו את הקמתה הרשמית של אינטליגנציה מלאכותית.ג'ון מקארתי, מרווין מינסקי, נתנאל רוצ'סטר, ו קלוד שאנון ארגנ סדנה בת שישה שבועות במכללת דרת', והפגישה כעשרים חוקרים כדי לחקור "ההנחה שכל היבט של למידה או כל תכונה אחרת של אינטליגנציה יכול להיות מתוארת בדיוק כך שמכונה יכולה להיות מדמיינת אותה"ח לא הפיקה פריצות דרך מיידיות, אבל היא נתנה שם חדש של חזון משותף ומאוחד כמו כנס AI.
The Logic Theorist andסמלית AI
אחת ההפגנות הראשונות של חשיבה מכונה הייתה הלוגיקה התיאורטיסטית, שפותחה על ידי אלן ניול, הרברט סיימון, וקליף שו ב-1955-56.התוכנית הוכיחה 38 מתוך 52 המשפטים הראשונים בלבן ו ראסל של פול:0Principia MathematicaFLT:1, ובמקרה אחד היא גילתה הוכחה אלגנטית יותר מהתוצאה המקורית, כי המחשב יכול היה להראות כ"סימן"מסמך" (הסבר"מסמך" (IFmark) של "הסבר" (IQ) היה אמור להיות בעל אופי) או "הסבר" (IQ) של מערכת אופטי) של מערכת אופטית" (IFmark) או "הסבר) של "הסבר" (IQ) של "הסבר) של "הסבר) של מערכת יחסים לוגיקה" (Imírírírírírírírírírice) של מערכת" (IQ) של מערכת" (Imple) של מערכת יחסים לוגיקה) של מערכת יחסים לוגיקה) של מערכת יחסים הגיונית) של "הסבר) של "הסברהסברהסבר) של "הסבר) של "הסבר) של "הסבר" (Imísona
בינה מלאכותית סמלית הניחה כי ניתן ללכוד את האינטליגנציה באמצעות מניפולציה של סמלים על פי כללים רשמיים.חוקרים מוקדמים בנו תוכניות שיכולות לפתור בעיות מילים של אלגברה, לבצע הוכחות גאומטריה ואפילו לשחק שחמט.אופטימיות השדה הייתה מוחשית: בשנת 1958, סיימון חזה כי מחשב יהיה אלוף העולם בתוך עשור, וקבוצתו של מינסק עבדה ב-MIT על חיקוי הראייה והשפה האנושית.
רשתות Perceptron ו-Nural מוקדמות
במקביל לגישה הסמלית, נתיב אחר נחקר.בשנת 1958, הפסיכולוג פרנק רוזנבלט הציג את Perceptron, מכשיר אלקטרוני בהשראת נוירונים ביולוגיים.הפרספטורון יכול ללמוד לזהות דפוסים פשוטים על ידי התאמת משקלי חיבור המבוססים על דוגמאות אימון.היצירה של רוזנבלט יצרה התרגשות עצומה; ה-FLT:0New York TimesFLT:1 דיווח כי הצי מצפה שהמכונה תהיה מסוגלת לשחזר, לכתוב לעצמה, לכתוב, לכתוב, לכתוב לעצמה, לכתוב, לכתוב את קיומו.
עם זאת, המגבלות של טרמפונס חד פעמי נחשפו בקרוב.בספרם משנת 1969 (FLT:0) Perceptronssssph 1, מינסקי וסימור ניירט הוכיחו מתמטית כי אחד-layer Perceptron לא יכול לפתור בעיות לא פשוטות ולא ליניאריות כמו הפונקציה XOR.
עידן ה-AI וה- Professional Systems
בשנות ה-60 וה-70, הגישה ה-AI הסמלית של החוקרים התמקדו בבניית מערכות מבוססות כללים המסוגלות להציג ביצועים ברמת מומחים בתחומים צרים.בעוד מרשימה, המגבלות של גישה זו הפכו במהרה לברור, מה שהוביל ל"חורף התעשייה".
מערכות מבוססות כללים ו-AI חורף
בשנות ה-60 ראו את התפתחות התוכניות כמו SHRDLU על ידי טרי ווינגרד, אשר יכול להבין את הוראות השפה הטבעית על עולם בלוקים וירטואליים, אך כאשר החוקרים ניסו לדרג את המערכות הללו כדי להתמודד עם מורכבות בעולם האמיתי, הם נתקלו במציאות קשה: מספר החוקים הדרושים כדי לייצג את ההיגיון המשותף היה עצום, ומערכות התפרקו כאשר נתקלו עם מידע מעורפל או לא שלם.
מערכות מומחיות והצלחה מסחרית
AI שהושק בשנות ה-80 עם עלייתם המסחרית של מערכות מומחים.התכניות הללו חשפו את הידע של מומחים אנושיים לקבוצות גדולות של כללי IF-theN, החל באמצעות מנועי הקצינה.מערכות כמו MyCIN עבור אבחון זיהומים חיידקיים, DENDRAL לניתוח נתונים ספקטרומטריה המונית, ו- XCON (R1) עבור uring מערכות מחשב VAX ב-D ציוד דיגיטלי שיכולה לספק ערך עסקי אמיתי.
מערכות מומחים אומץו על ידי תאגידים, ותעשיית מכונות Lisp התפתחה.עם זאת, את הבירות שלהם ואת עלויות תחזוקה גבוהות, בשילוב עם הגעת מחשוב כללי זול יותר, הובילה לקירור שני.עד סוף שנות ה-80, חברות רבות זנחו מערכות מומחים, ואת החורף השני של AI התחיל.
Machine Learning Paradigm Shift
ככל שהגישה הסמלית הצטמצמה, מהפכה שקטה החלה לנוע להתמקד בחוקים מפורשים של תכנות לפיתוח אלגוריתמים שיכולים ללמוד מהנתונים.פרדיגמה זו של למידת מכונה בסופו של דבר תבוא לשלוט במחקר וביישומים של בינה מלאכותית.
חוקים לנתונים: עליית שיטות סטטיסטיות
בשנות ה-90, שדה הלמידה של המכונה התפתח כמשמעת נפרדת, תוך הדגשת מודלים סטטיסטיים, למידה מבוססת נתונים, ואימות אמפירי.במקום כללים לשמירת ידיים לכל משימה, החוקרים התאמנו מודלים על נתונים גדולים. גישה זו הוכחה יעילה להפליא לבעיות כמו זיהוי דיבור, זיהוי בכתב יד, וחידוש מידע.
רשתות ביירסיאן, דגמי מארקוב נסתרים, ועצי החלטות הפכו לכלים סטנדרטיים.ב- IBM, מחקר על תרגום מכונה סטטיסטית וזיהוי דיבור הראה כי שיטות פרוביביליסטיות יכולות לפורז מערכות מבוססות כללים על משימות בעולם האמיתי.תקופה זו גם ראתה עלייה של מכונת הווקטור התמיכה (SVM), אלגוריתם סיווג חזק שבמשך שנים רבות הייתה מדינת האמנות להכרה דיגיטלית וקטורגיזציה.
Revival of Neural Networks: Backpropagation ו- Multi-layer Networks
למרות שרשתות עצביות נפלו מהעדפה, קבוצה של חוקרים מסורים שמרה על הלפיד הבוער. בשנות ה-80, גילוי הדעת והפופולריזציה של אלגוריתם הגיבוי – במיוחד באמצעות עבודתו של דייוויד רומלרט, ג'פרי הנטון, ו רונלד וויליאמס ב-1986 – אפשר להכשיר רשתות עצביות מרובות-שכבות ביעילות.
בשנות ה-90, יאן ל-Cun החל רשתות עצביות מהפכתיות (CNN) כדי לזהות ספרות בכתב יד, יצירת ארכיטקטורת LeNet אשר בסופו של דבר נפרסה על ידי בנקים לקרוא בדיקות.למרות שרשתות אלה עבדו היטב, דרוגן לבעיות מורכבות יותר כמו ההכרה בדימוי כללי עדיין נפגע על ידי נתונים מוגבלים וכוח מחשוב.
שיטות אנסמבל וההמתנה לנתונים
במהלך סוף שנות ה-90 ובתחילת שנות ה-2000, התקדמות הלמידה של המכונה נבעה משיטות הרכב כמו יערות אקראיים ו ⁇ ⁇ שיפור, כמו גם על ידי שיטות גרעין. רשתות ניל נשאר כלי נישה למשימות מיוחדות. נקודת המפנה הייתה קרובה, עם זאת, כמו האינטרנט יצר נתונים מסיביים, וטכנולוגיית GPU - המיועדת במקור למשחקי וידאו - הייתה אמורה להיות מכוונת מחדש עבור חישובים ברשתות אימונים עמוקים.
המהפכה למידה עמוקה
ההתכנסות של נתונים גדולים, GPUs חזקים וחידושים אלגוריתמיים באמצע שנות ה-2000 עוררה פיצוץ בלמידה עמוקה.רשתות נילי עם שכבות נסתרות רבות - מחשבה בלתי-סבירה - שברו באופן פתאומי רשומות בדיבור, בראייה ובמשימות שפה.
פריצת דרך של אלכסNet ו- ImageNet
הרגע שטוף המים הגיע בשנת 2012, כאשר אלכס קריז'הבסקי, איליהה סוטסקever, וג'פרי הנטון נכנס לאתגר הזיהוי החזותי הגדול של ImageNet עם רשת עצבית עמוקה, הידועה כיום בשם "FLT:0AlexNetveFLT:1" (התוצאה הייתה טעות של 5-5 אחוזים של השקעה, תוך פיזור של 262 הבאים של הכניסה).
עיבוד שפה טבעי: מ- Word2Vec ל- Transformers
למידה עמוקה גם שינתה עיבוד שפה טבעי.ב-2013 טומאס מיקול וצוותו ב-Google הציג את Word2Vec, שיטה ללמידה וייצוגים של מילים מקורפוס גדול.החומרים האלה שלכדו מערכות יחסים סמנטיות; לדוגמה, "מלך - גבר + אישה" הביא קרוב ל"קנן" רשתות עצביות שאיפשרו להבין שפה באופן יותר מנומנם.
עם זאת, המהפכה האמיתית הגיעה בשנת 2017 עם פרסום המאמר:0) "הכוונות הן כל מה שאתה צריך"FLT 1 על ידי ואוואאני et al, אשר הציג את אדריכלות הרובוטריקר. Transformers החליפו שכבות חוזרות ו convolutional עם מנגנוני כוונות עצמיות, המאפשר מקבילה ולכידת תלות ארוכת טווח.
AI ומודלים שפה גדולים
הפוטנציאל של Transformer היה מלא בניסוי נרחב על corpora טקסט עצום. בשנת 2020, OpenAI שחרר GPT-3, מודל שפה של 175 מיליארד דולר שהראה יכולות למידה יוצאות דופן ואפס-shot יכולות לייצר מאמרים משותפים, לתרגם שפות, לכתוב קוד, לענות על שאלות מורכבות, לעתים קרובות ללא משימה ספציפית מעולה, מודל למידה מפוכחת של מערכות AIG, יכול להיות מותאם אישית של מערכות התפוצצות תעשייתיות.
Reinforcement Learning and Game Game: AlphaGo and Beyond
ניצחון נוסף של למידה עמוקה הגיע דרך השילוב של רשתות עצביות עמוקות עם למידה חיזוק. בשנת 2016, העולם של DeepMind's AlphaGo להביס את לי סעודול במשחק של חמישה משחקים. גורם ענף עצום של Go נחשב הרבה מעבר להישגים של שיטות חיפוש ברוטה כוח.AlphaGo השתמש ברשת עצבית עמוקה כדי להעריך עמדות לוח ומדריך חיפוש עץ מונטה קרלו, למידה הן ממשחקים אנושיים והן ממשחקים עצמיים מורכבים, אפילו יכול היה להפגין אבן דרך אנושית מורכבת שיכולה להראות את המשחקים הבין-AI, אפילו, וגם את המשחק הזה.
מערכות סובכות כמו אלפאזורו למדו לנגן שחמט, שגיא, וללכת לגמרי ממשחק עצמי, ללא כל מידע אנושי, להשיג ביצועים על-אנושיים בשעות. פריצות דרך אלה הציגו את יכולת ההכללה של למידה עמוקה של חיזוק.
אתגרים, אתיקה, ואת הדרך
כשמערכות בינה מלאכותית הופכות ליותר חזקות ומעמיקות, הן מביאות אתגרים חדשים המשתרעים מעבר להישגים טכניים. חוקרים וקובעי מדיניות מתמודדים עם בעיות של הוגנות, שקיפות ושליטה.
הסברה ו-Bas
מודלים למידה עמוקה הם לעתים קרובות "קופסאות שחורות" - ההיגיון הפנימי שלהם הוא בלתי נסבל אפילו ליוצרים שלהם.חוסר יכולת להסביר מציב בעיות ביישומים של קבלת גבוה כמו אבחון רפואי, ניקוד אשראי וצדק פלילי, שבו הבנת הבסיס להכרעה היא קריטית.Bas באימון נתונים יכול להנציח ולהגביר פערים חברתיים.
בטיחות, אלורמנט ובעיית הערך
כשמערכות בינה מלאכותית הופכות להיות יותר אוטונומיות, כך שהן פועלות בהתאם לערכים האנושיים הופכות קריטיות.״הבעיה של ״בעיית ההשמדה״ מבקשת לציין מטרות כך ש-AI עושה מה שאנו רוצים ללא השלכות מזיקות בלתי מאוישות.ההתקדמות בחיזוק הלמידה מה משוב אנושי (RLHF) הייתה המפתח לעשיית מודלים כמו צ'אטGPT מועילה ובטוחה יותר.
החיפוש אחר אינטליגנציה מלאכותית
החלום המקורי של AI היה ליצור מכונה עם אינטליגנציה כללית דמוית אדם, המסוגלת לפתור כל בעיה אינטלקטואלית.המערכות של היום מצטיינים במשימות צרות אבל חסר את ההיגיון הגמיש, המשותף כי בני האדם מפגינים ללא מאמץ.התקדמות כלפי AGI נותרה מאוד לא בטוחה, עם קווי זמן החל מעשור עד לעולם לא.גישות כמו שילוב נוירו-סמבסטי – תוך התחשבות עמוקה בחשיבה עם היגיון סמלי – כלומר, כדי להינשא לתבניות הסיקוגניות של יכולת זיהוי ורגישות של רשתות עצביות ושקיפות עצבית של לוגיקה.
ארגונים כמו FLT:0 (DeepMindFLT:1, OpenAI ומעבדות אקדמיות ברחבי העולם הם חוקרים באופן פעיל אדריכלות שיכולה להניע אותנו קרוב יותר ל- AGI. בעוד הנתיב קדימה הוא רחוק מברור, ההתרחבות היציבה של יכולות AI מרמזת כי המסע רחוק ממעל.
מסקנה
ההיסטוריה של אינטליגנציה מלאכותית היא סיפור של מחזורים – של שאיפות מתפתלות, חורףים מרים, ולידה מחדש מרהיבה.מסמך הלוגיקה הראשונה של התיאורטיקן לעצור הוכחה לפרוזה הנוזלית שנוצרת על ידי GPT-3, AI נסעה דרך ארוכה ורוחנית.כל פרדיגמה דומיננטית של עידן - לוגיקה פסיכוביולית, מערכות מומחים, למידה סטטיסטית ולמידה עמוקה - תרמה חתיכה מכרעת עד היום, AI, היא רק חלק בלתי נפרד של עולם של עולם, לא חלק מתחום אמנותי, ולא חלק מרכזי של עולם, הוא חלק מרכזי, הוא חלק מרכזי של עולם, הוא תחום של עולם, הוא תחום של עולם, הוא תחום של עולם של עולם של עולם של עולם של עולם של עולם של עולם, הוא פשוט של עולם של עולם של עולם, מדע בדיוני.
במבט קדימה, האתגרים של בניית מערכות חזקות, ירידות ומובנים חשובים כמו דרוג מודלים של אי פעם-הגדולים.פרק הבא של ההיסטוריה של AI יהיה כתוב על ידי אלה שיכולים למזג את החוכמה של גישות העבר עם הכוח החישובי של ההווה, תמיד מונחה על ידי מחויבות לערכים אנושיים.המסע להבנה ולשכפל אינטליגנציה ממשיך להיות אחד המחויבויות העמוקות ביותר של זמננו.