mind-544404_960_720

טכנולוגיה המתרגמת פעילות עצבית לדיבור תהיה שימושית עבור אנשים שאינם מסוגלים לתקשר כתוצאה מפגיעות נוירולוגיות. פענוח דיבור מפעילות עצבית הוא מאתגר משום שדיבור דורש שליטה רב-ממדית מדויקת ביותר של מערכת הקול.

במחקר שפורסם בעיתון הנחשב נייצ׳ר, עיצבו החוקרים מפענח עצבי המזהה במפורש ייצוגים תנועתיים וקוליים המקודדים בפעילות קליפת המוח האנושית כדי לסנתז דיבור קולי. כלומר החוקרים קלטו את האותות המוחיים לפני שהם מגיעים לשרירי הלסת, הנשימה והלשון, למדו את הקשרים בין האותות הללו לתנועת השרירים, והסיקו אלו עיצורים יופקו מאותם אותות מוחיים.

תהליך הלמידה של הקשר בין האותות לתנועת השרירים והצלילים, נעשה בעזרת שימוש בכלים של אינטליגנציה מלאכותית. הכלי החישובי בו השתמשו החוקרים נקרא: recurrent neural network.

זוהי רשת עצבים מלאכותי שבה יש מעגלים פנימיים המשמרים את רצף הקלט. חשיבות המעגלים הפנימיים היא שהמערכת ״זוכרת״ את רצף האירועים עד לתוצאה של התהליך. יש חשיבות לסדר האותות המתקבל בעת ייצור מילה מסוימת ולא רק לאילו עיצורים מרכיבים אותה. מערכת שלא 'זוכרת' את הרצף, לא תדע להבדיל למשל בן המילה אבא למילה באה.

בבחינה של אוצר מילים המוגדרות מראש, החוקרים יכלו לזהות ולייצר בקלות דיבור מסונתז מפעילות קליפת המוח, שהופק ע״י המערכת. מעניין היה לגלות כי הפיכתם של האותות לצלילים המפוענחים ע״י המערכת, נשמר גם בהערתה של המערכת בין אנשים  שונים, מה שאומר שהדרך בה האותות מתרגמים לעיצורים דומה בין אנשים שונים. עובדה זו מאפשרת להעביר את המערכת בין כמה משתתפים בניסוי. ניסוי נוסף הראה כי המפענח יכול לסנתז דיבור גם כאשר משתתף אומר משפט רק בפנטומימה.

ממצאים אלה מקדמים את הכדאיות הקלינית של שימוש בטכנולוגיה של אינטליגנציה מלאכותית כדי לשחזר תקשורת מדוברת.

Facebook
Twitter
Email
LinkedIn

מדגסקר – חלק ב'

על אף שהתיירות במדגסקר מתרחבת בשנים האחרונות, התחושה היא תמיד כאילו אתה המטייל היחיד במקום. מקום בראשיתי, שבנוסף למיגוון הרחב של צמחייה ובעלי חיים הנמצאים

קרא עוד »