mind-544404_960_720

טכנולוגיה המתרגמת פעילות עצבית לדיבור תהיה שימושית עבור אנשים שאינם מסוגלים לתקשר כתוצאה מפגיעות נוירולוגיות. פענוח דיבור מפעילות עצבית הוא מאתגר משום שדיבור דורש שליטה רב-ממדית מדויקת ביותר של מערכת הקול.

במחקר שפורסם בעיתון הנחשב נייצ׳ר, עיצבו החוקרים מפענח עצבי המזהה במפורש ייצוגים תנועתיים וקוליים המקודדים בפעילות קליפת המוח האנושית כדי לסנתז דיבור קולי. כלומר החוקרים קלטו את האותות המוחיים לפני שהם מגיעים לשרירי הלסת, הנשימה והלשון, למדו את הקשרים בין האותות הללו לתנועת השרירים, והסיקו אלו עיצורים יופקו מאותם אותות מוחיים.

תהליך הלמידה של הקשר בין האותות לתנועת השרירים והצלילים, נעשה בעזרת שימוש בכלים של אינטליגנציה מלאכותית. הכלי החישובי בו השתמשו החוקרים נקרא: recurrent neural network.

זוהי רשת עצבים מלאכותי שבה יש מעגלים פנימיים המשמרים את רצף הקלט. חשיבות המעגלים הפנימיים היא שהמערכת ״זוכרת״ את רצף האירועים עד לתוצאה של התהליך. יש חשיבות לסדר האותות המתקבל בעת ייצור מילה מסוימת ולא רק לאילו עיצורים מרכיבים אותה. מערכת שלא 'זוכרת' את הרצף, לא תדע להבדיל למשל בן המילה אבא למילה באה.

בבחינה של אוצר מילים המוגדרות מראש, החוקרים יכלו לזהות ולייצר בקלות דיבור מסונתז מפעילות קליפת המוח, שהופק ע״י המערכת. מעניין היה לגלות כי הפיכתם של האותות לצלילים המפוענחים ע״י המערכת, נשמר גם בהערתה של המערכת בין אנשים  שונים, מה שאומר שהדרך בה האותות מתרגמים לעיצורים דומה בין אנשים שונים. עובדה זו מאפשרת להעביר את המערכת בין כמה משתתפים בניסוי. ניסוי נוסף הראה כי המפענח יכול לסנתז דיבור גם כאשר משתתף אומר משפט רק בפנטומימה.

ממצאים אלה מקדמים את הכדאיות הקלינית של שימוש בטכנולוגיה של אינטליגנציה מלאכותית כדי לשחזר תקשורת מדוברת.

Facebook
Twitter
Email
LinkedIn

המלחמה על הדבורים

רבות נכתב על היעלמותן של הדבורים, ציר מרכזי בהאבקת פרחים, וכפועל יוצא – בייצור מזון. גם אנחנו התייחסנו לכך בעבר (ראו הפנייה בתחתית המאמר). בשנים

קרא עוד »

פרו-ביוטיקה ופרה-ביוטיקה

אנו מארחים בגופנו כמה עשרות טריליונים של חיידקים, בין היתר במערכת העיכול שלנו. חיידקים אלה עוזרים לנו בתהליך העיכול של המזון. כמארחים טובים, מעוניינים לשמר

קרא עוד »