mind-544404_960_720

טכנולוגיה המתרגמת פעילות עצבית לדיבור תהיה שימושית עבור אנשים שאינם מסוגלים לתקשר כתוצאה מפגיעות נוירולוגיות. פענוח דיבור מפעילות עצבית הוא מאתגר משום שדיבור דורש שליטה רב-ממדית מדויקת ביותר של מערכת הקול.

במחקר שפורסם בעיתון הנחשב נייצ׳ר, עיצבו החוקרים מפענח עצבי המזהה במפורש ייצוגים תנועתיים וקוליים המקודדים בפעילות קליפת המוח האנושית כדי לסנתז דיבור קולי. כלומר החוקרים קלטו את האותות המוחיים לפני שהם מגיעים לשרירי הלסת, הנשימה והלשון, למדו את הקשרים בין האותות הללו לתנועת השרירים, והסיקו אלו עיצורים יופקו מאותם אותות מוחיים.

תהליך הלמידה של הקשר בין האותות לתנועת השרירים והצלילים, נעשה בעזרת שימוש בכלים של אינטליגנציה מלאכותית. הכלי החישובי בו השתמשו החוקרים נקרא: recurrent neural network.

זוהי רשת עצבים מלאכותי שבה יש מעגלים פנימיים המשמרים את רצף הקלט. חשיבות המעגלים הפנימיים היא שהמערכת ״זוכרת״ את רצף האירועים עד לתוצאה של התהליך. יש חשיבות לסדר האותות המתקבל בעת ייצור מילה מסוימת ולא רק לאילו עיצורים מרכיבים אותה. מערכת שלא 'זוכרת' את הרצף, לא תדע להבדיל למשל בן המילה אבא למילה באה.

בבחינה של אוצר מילים המוגדרות מראש, החוקרים יכלו לזהות ולייצר בקלות דיבור מסונתז מפעילות קליפת המוח, שהופק ע״י המערכת. מעניין היה לגלות כי הפיכתם של האותות לצלילים המפוענחים ע״י המערכת, נשמר גם בהערתה של המערכת בין אנשים  שונים, מה שאומר שהדרך בה האותות מתרגמים לעיצורים דומה בין אנשים שונים. עובדה זו מאפשרת להעביר את המערכת בין כמה משתתפים בניסוי. ניסוי נוסף הראה כי המפענח יכול לסנתז דיבור גם כאשר משתתף אומר משפט רק בפנטומימה.

ממצאים אלה מקדמים את הכדאיות הקלינית של שימוש בטכנולוגיה של אינטליגנציה מלאכותית כדי לשחזר תקשורת מדוברת.

Facebook
Twitter
Email
LinkedIn

הדב הרוסי והחטא הפולני הקדמון

לפני מספר ימים תקף נשיא רוסיה ולדימיר פוטין במילים חריפות את פולין והפולנים על שיתוף הפעולה הנטען שלהם עם גרמניה הנאצית. שלושה דברים אפשר למור

קרא עוד »

החיים זה שורף  

מולקולת קפסאיצין (Capsaicin ראו מבנה המולקולה באיור), היא מרכיב פעיל של פלפלי צ'ילי. קפסאיצין הוא חומר המעורר כאב כימי ליונקים, כולל בני אדם. חומר זה

קרא עוד »