BRAIN2SPEECH: EEG alapú kommunikációs agy-gép interfész deep learning módszerekkel

A beszéd az emberi kommunikáció elsődleges és legfontosabb eszköze. Sokan azonban elvesztették ezt a képességüket betegség vagy egészségkárosodás okán. A kommunikációs agy-gép interfész (BCI) célja, hogy természetes vagy ahhoz közeli kommunikációs csatornát biztosítsanak olyan személyek számára, akik fizikai vagy neurológiai károsodás miatt nem tudnak beszélni. A beszéd valós idejű szintézise közvetlenül a mért idegi aktivitásból (EEG) lehetővé tenné a természetes beszédet, és jelentősen javítaná az életminőségét, különösen a kommunikációban súlyosan korlátozott személyek számára. A hallgató feladata megismerkedni a BRAIN2SPEECH területtel, majd új típusú neurális hálózat architektúrák (pl. konvolúciós és rekurrens hálózatok) kidolgozása és tanítása több beszélő adataival. Az önálló munka / diplomaterv a BME Beszédtechnológia és Intelligens Interakciók Laboratóriumában készül. A hallgató feladatának a következőkre kell kiterjednie: - Tekintse át beszédtechnológiában az electroencephalogram-akusztikum becslés szakirodalmát. - Vizsgálja meg, milyen típusú neurális hálózatokat alkalmaztak eddig a kommunikációs agy-gép interfész területen! - Vizsgálja meg különböző neurális hálózat architektúrák (pl. konvolúciós és rekurrens hálózatok, ResNet, SkipNet) alkalmazhatóságát. - Az elkészült modelleket tesztelje objektív mérőszámokkal és szubjektív teszt keretében! - Munkáját részletesen dokumentálja!

Kapcsolódó tárgyak:

• Info, BSc, Önálló laboratórium
• Önálló laboratórium, VIR BSc szakirány
• Önálló laboratórium, Infokommunikációs hálózatok szakirány
• Önálló laboratórium, Médiainformatika és -biztonság szakirány, Médiainformatika ágazat
• Önálló laboratórium 1, Médiainformatika
• Önálló laboratórium 2, Médiainformatika
• Önálló laboratórium 1, Info, Msc,
• Önálló laboratórium 2, Info, MSc,
• Önálló laboratórium 2, Hálózatok és szolgáltatások
• Önálló laboratórium 1, Hálózatok és szolgáltatások
• TesztÖnlab kettő
• Teszt önlab 3
• Önálló laboratórium 1, MSc, Infokommunikációs rendszerek
• Önálló laboratórium 2, MSc, Infokommunikációs rendszerek
• Önálló laboratórium 1 Villamosmérnök, MSc,
• Önálló laboratórium 2, Okos város, Vez.nélk. rendsz.
• Teszt Önlab tárgy
• Önálló laboratórium
• Önálló laboratórium, Infokommunikációs rendszerek szakirány