mind-544404_960_720

טכנולוגיה המתרגמת פעילות עצבית לדיבור תהיה שימושית עבור אנשים שאינם מסוגלים לתקשר כתוצאה מפגיעות נוירולוגיות. פענוח דיבור מפעילות עצבית הוא מאתגר משום שדיבור דורש שליטה רב-ממדית מדויקת ביותר של מערכת הקול.

במחקר שפורסם בעיתון הנחשב נייצ׳ר, עיצבו החוקרים מפענח עצבי המזהה במפורש ייצוגים תנועתיים וקוליים המקודדים בפעילות קליפת המוח האנושית כדי לסנתז דיבור קולי. כלומר החוקרים קלטו את האותות המוחיים לפני שהם מגיעים לשרירי הלסת, הנשימה והלשון, למדו את הקשרים בין האותות הללו לתנועת השרירים, והסיקו אלו עיצורים יופקו מאותם אותות מוחיים.

תהליך הלמידה של הקשר בין האותות לתנועת השרירים והצלילים, נעשה בעזרת שימוש בכלים של אינטליגנציה מלאכותית. הכלי החישובי בו השתמשו החוקרים נקרא: recurrent neural network.

זוהי רשת עצבים מלאכותי שבה יש מעגלים פנימיים המשמרים את רצף הקלט. חשיבות המעגלים הפנימיים היא שהמערכת ״זוכרת״ את רצף האירועים עד לתוצאה של התהליך. יש חשיבות לסדר האותות המתקבל בעת ייצור מילה מסוימת ולא רק לאילו עיצורים מרכיבים אותה. מערכת שלא 'זוכרת' את הרצף, לא תדע להבדיל למשל בן המילה אבא למילה באה.

בבחינה של אוצר מילים המוגדרות מראש, החוקרים יכלו לזהות ולייצר בקלות דיבור מסונתז מפעילות קליפת המוח, שהופק ע״י המערכת. מעניין היה לגלות כי הפיכתם של האותות לצלילים המפוענחים ע״י המערכת, נשמר גם בהערתה של המערכת בין אנשים  שונים, מה שאומר שהדרך בה האותות מתרגמים לעיצורים דומה בין אנשים שונים. עובדה זו מאפשרת להעביר את המערכת בין כמה משתתפים בניסוי. ניסוי נוסף הראה כי המפענח יכול לסנתז דיבור גם כאשר משתתף אומר משפט רק בפנטומימה.

ממצאים אלה מקדמים את הכדאיות הקלינית של שימוש בטכנולוגיה של אינטליגנציה מלאכותית כדי לשחזר תקשורת מדוברת.

Facebook
Twitter
Email
LinkedIn

הדוכיפתיים

  הדוכיפת (The Hoopoe, Upupa epops), היא מין עוף מיוחד במינו במראהו (כרבולת מיוחדת לראשו ועיטור "זברה" לכנפיו). לדוכיפת התנהגות ייחודית הקושרת אליה אגדות ומסורות

קרא עוד »

הרובוט הביולוגי

חומר ביולוגי הוא בעל יכולות מכניות וחישוביות עדיפות ביחס למכונות מבוססות מתכת פלסטיק וסיליקון. המכונות המלאכותיות שאנו מייצרים חסרות את יכולת ההרכבה העצמית והתיקון שיש

קרא עוד »