-
Speech recognition technology has been used for a long time, but recognizing a speech accurately is a very difficult task. In this topic, we mainly use the conformer-ctc model provided by open-source toolkits (Nemo), and fine-tune the model to achieve better training results. If you are interested in automatic speech recognition, and have a good foundation in python, it is highly recommended that you choose this topic.
Témavezető : Meng Yan
-
A beszéd az emberi kommunikáció elsődleges és legfontosabb eszköze. Sokan azonban elvesztették ezt a képességüket betegség vagy egészségkárosodás okán. A kommunikációs agy-gép interfész (BCI) célja, hogy természetes vagy ahhoz közeli kommunikációs csatornát biztosítsanak olyan személyek számára, akik fizikai vagy neurológiai károsodás miatt nem tudnak beszélni. A beszéd valós idejű szintézise közvetlenül a mért idegi aktivitásból (EEG) lehetővé tenné a természetes beszédet, és jelentősen javítaná az életminőségét, különösen a kommunikációban súlyosan korlátozott személyek számára.
A hallgató feladata megismerkedni a BRAIN2SPEECH területtel, majd új típusú neurális hálózat architektúrák (pl. konvolúciós és rekurrens hálózatok) kidolgozása és tanítása több beszélő adataival.
Az önálló munka / diplomaterv a BME Beszédtechnológia és Intelligens Interakciók Laboratóriumában készül. A hallgató feladatának a következőkre kell kiterjednie:
- Tekintse át beszédtechnológiában az electroencephalogram-akusztikum becslés szakirodalmát.
- Vizsgálja meg, milyen típusú neurális hálózatokat alkalmaztak eddig a kommunikációs agy-gép interfész területen!
- Vizsgálja meg különböző neurális hálózat architektúrák (pl. konvolúciós és rekurrens hálózatok, ResNet, SkipNet) alkalmazhatóságát.
- Az elkészült modelleket tesztelje objektív mérőszámokkal és szubjektív teszt keretében!
- Munkáját részletesen dokumentálja!
Témavezető : Arthur Frigyes Viktor
-
Examine the application of a convolutional neural network (CNN) in conjunction with conventional methodologies for speaker verification, within the context of utilizing low-resource datasets and diverse linguistic contexts.
Témavezető : Abed Mohammed Hamzah
-
A gépi beszédfelismeréshez (automatikus szövegleiratozáshoz) hagyományosan nagy mennyiségű hangra és hozzá tartozó szöveges leiratra van szükség. Ennek előállítása drága és időigényes. Az újabb, önfelügyelt tanításon alapuló megközelítések lehetővé tették a leiratmentes akusztikus előtanítást, így csupán egy pár órányi felügyelt tanítás is elegendő a beszédfelismerő betanításához. Ennél is továbbmegy a teljesen felügyelet nélküli tanítás: csupán írott szöveg alapján GAN (Generative Adversarial Network) segítségével sikerült a META (FB) kutatóinak "rávenni" az előtanított akusztikus modelleket a hang szöveges leiratozására. Magyar nyelvre szeretnénk a világon elsőként ilyen rendszer készíteni, amibe lehetőség van bekapcsolódni. Python programozási és deep learning ismeretek előnyt jelentenek.
https://ai.facebook.com/blog/wav2vec-unsupervised-speech-recognition-without-supervision/
Témavezető : Dr. Mihajlik Péter
-
Ultrasound imaging plays a key role in this part, where currently it has become a high target than before, especially as a clinical information resource. However, speckle noises are significantly degrading the quality of ultrasound imaging which influenced the accurate diagnosis. The proposed methods to solve the speckle phenomenon and enhance ultrasound images still suffer from low computational efficiency, image features damaging, and characterized also by low speckle reduction. Therefore, this project attracts a highly effective method for phenomenon reduction on medical ultrasound imaging by means of a new optimized GUI post-processing technique.
Témavezető : Aboali Maged Yahya Ali Hussein
TIPPEK AZ ÖNÁLLÓ LABOR (ÉS SZAKDOLGOZAT, DIPLOMATERVEZÉS) TANTÁRGYAKHOZ
A lényege: A hallgató az év elején választ egy témát és vele egy egyéni konzulenst. Év közben egyéni munkarendben dolgozik (esetleg több labortárssal közösen), majd az év végén a tárgyfelelősnek írásban(elektronikusan beadva) és szóban (vetített képekkel) beszámol. (Vesd össze az ún. "szakirány labor" fogalmával: adott időpontban bemégy a laborba, ahol adott mérési utasítás alapján kell egy adott feladot "lemérned"). A tanszéken a témalabor tevékenység többféle tárgy keretében zajlik a résztvevők hallgatók szakjának (vill, infó), képzésének (BSc, MSc, ötéves), évfolyamának és szakirányának/ágazatának függvényében. A különféle tárgyak történeti és egyéb okokból más-más nevet viselnek, formailag más és más tárgyadatlapot, tárgykövetelményt tartalmaznak, történeti és terhelés megosztási okokból részben más és más a tárgyfelelős oktatójuk, de ettől függetlenül a tárgyak tematikája, követelmény rendszere harmonizált, lényegileg azonos. A témalabor tárgyak tematikai célja a mérnöki életben szokásos tipikus feladatok (lehetőleg az összes!) gyakorlása: A feladat specifikációjának részletes megértése, kidolgozása A szakmában, vagy a szakirodalomban az adott feladattípusra esetlegesen ismert megoldási lehetőségek felkutatása, bemutatása, elemzése. Az előző pont alapján a megoldás megtervezése, ideértve a helyes megvalósítás ellenőrzésének módját is (teszt tervek) A megoldás megvalósítása, elkészítése A megoldás ellenőrzése, értékelő elemzése A fenti séma nagyon sokféle feladatra alkalmazható, legyen az hardver, vagy szoftver.
MITŐL ÖNÁLLÓ A TÉMALABOR/ÖNÁLLÓLABOR?
Ha a konzulens ezt lehetővé teszi, akkor lehet csapatban dolgozni, de néhány dologra oda kell figyelni: A témalabor tárgyak tematikai célja a mérnöki életben szokásos tipikus feladatok (lehetőleg az összes) gyakorlása (lásd a témalabor fogalmi definícióját). Ezeket minden hallgatónak önállóan gyakorolnia kell (az összeset!), még ha esetleg csoportban is dolgozik. Ezért általában nem fogadható el, ha egy csapatban valaki csak "dokumentál", és valaki csak "kódol". Hangsúlybeli, aránybeli különbségek (akár jelentősek is) persze lehetnek a csapattagok között, de mindenkinek minden tevékenységfajtával foglalkoznia kell valamennyit. Adott esetben a tárgyfelelős előírásai szerint a csapattagok készíthetnek (részben) közös írásbeli és/vagy szóbeli beszámolókat, de ezekből minden esetben kideríthetőeknek kell lenni az egyéni csapattagok egyéni részfeladatainak és azok megoldásának.
HOGYAN VÁLASSZAK TÉMÁT?
Böngéssz az aktuális témakiírások között, és válassz 1-2-3 szimpatikus témát. Feltétlenül beszélj interaktívan a szimpatikus témák konzulenseivel (telefonon, vagy személyesen). Ha szükséges, akkor ehhez kérj személyes találkozót is. Faggasd ki, hogy mit lehet tudni a feladatról! Ha megegyeztetek, akkor végezd el az adott tárgy adott félév-eleji kötelező adminisztrációs és/vagy programozott mérési feladatait. Az adminisztrációs feladatok hasonlóak, de az aktuális tárgyfelelős szájaíze szerint vannak kisebb-nagyobb eltérések. Ez ügyben nézd meg: a tantárgy követelményét(!) a tárgy, vagy a tárgyfelelős honlapját, ahol adott esetben fontos, a tárgykövetelményekben nem szereplő hirdetményt találhatsz. Ezeket a hirdetményeket a tárgyfelelősök tudottnak veszik! Miután elvégezted a kötelező év eleji feladatokat, tennivalókat kezdj el dolgozni a konzulenseddel egyeztetett feladaton, a vele egyeztetett tempóban.
MIRE FIGYELJEK TÉMAVÁLASZTÁSKOR?
A téma legyen perspektivikus, azaz több féléven keresztül művelhető! Ideális esetben legyen diplomatervezésig vihető! Faggasd ki a konzulenst a munka jellegéről! Mondjuk az "Ismerkedés az internet világával" egysoros témacím rejthet akár a sorbanállási elméletre alapozó matematikai jellegű feladatot is! Erre ne a félév során kelljen rájönnöd. Ha a diploma után szeretnél esetleg doktori képzésben részt venni, akkor a sikeres felvételihez majdan publikációs pontok is kellenek. Ezt legegyszerűbben I-II-III. helyezést elérő TDK dolgozatokkal lehet elérni. Ehhez hasznos olyan témát keresni, amiből TDK-zni lehet.
