Témák listája

BRAIN2SPEECH: EEG alapú kommunikációs agy-gép interfész deep learning módszerekkel

A beszéd az emberi kommunikáció elsődleges és legfontosabb eszköze. Sokan azonban elvesztették ezt a képességüket betegség vagy egészségkárosodás okán. A kommunikációs agy-gép interfész (BCI) célja, hogy természetes vagy ahhoz közeli kommunikációs csatornát biztosítsanak olyan személyek számára, akik fizikai vagy neurológiai károsodás miatt nem tudnak beszélni. A beszéd valós idejű szintézise közvetlenül a mért idegi aktivitásból (EEG) lehetővé tenné a természetes beszédet, és jelentősen javítaná az életminőségét, különösen a kommunikációban súlyosan korlátozott személyek számára. A hallgató feladata megismerkedni a BRAIN2SPEECH területtel, majd új típusú neurális hálózat architektúrák (pl. konvolúciós és rekurrens hálózatok) kidolgozása és tanítása több beszélő adataival. Az önálló munka / diplomaterv a BME Beszédtechnológia és Intelligens Interakciók Laboratóriumában készül. A hallgató feladatának a következőkre kell kiterjednie: - Tekintse át beszédtechnológiában az electroencephalogram-akusztikum becslés szakirodalmát. - Vizsgálja meg, milyen típusú neurális hálózatokat alkalmaztak eddig a kommunikációs agy-gép interfész területen! - Vizsgálja meg különböző neurális hálózat architektúrák (pl. konvolúciós és rekurrens hálózatok, ResNet, SkipNet) alkalmazhatóságát. - Az elkészült modelleket tesztelje objektív mérőszámokkal és szubjektív teszt keretében! - Munkáját részletesen dokumentálja!

Témavezető: Arthur Frigyes Viktor

EEG, BCI, deep learning, speech synthesis, beszédszintézis

További információk >>

VID2SPEECH: beszédgenerálás néma videóból, deep learning alapon

A VID2SPEECH témakör során a beszélő arcának (elsősorban ajkának) mozgásából generálunk beszédet, tipikusan deep learning eszközök használatával. Ehhez többféle mély tanuló eljárás is alkalmazható, melyek a bemenő adatok (ajakvideó) és a cél adatok (beszéd spektrális paraméterei) különböző reprezentációi közötti összefüggést becsülik meg. "A beszédhangok az artikulációs szervek (hangszalagok, nyelv, ajkak stb.) koordinált mozgásának eredményéből állnak elő. Az artikuláció és a keletkező beszédjel kapcsolatát gépi tanulás alapú eszközökkel is vizsgálták már. Az artikuláció-akusztikum konverzió eredményei a szakirodalomban elsősorban az ún. 'Silent Speech Interface' (SSI, magyarul 'némabeszéd-interfész') rendszerek fejlesztéséhez járulnak hozzá. Az SSI lényege, hogy az artikulációs szervek hangtalan mozgását felvéve a gépi rendszer ebből beszédet szintetizál, miközben az eszköz használója valójában nem ad ki hangot. A hallgató feladata mély neurális hálózat alapú (pl. Konvolúciós és rekurrens neurális hálózatok) megoldás megismerése és továbbfejlesztése a Silent Speech Interface témakörben. A kidolgozott módszerek hozzájárulhatnak beszédsérültek számára kommunikációs segédeszköz készítéséhez."

Témavezető: Arthur Frigyes Viktor

Python, deep learning, speech synthesis, képfeldolgozás

További információk >>

Explainable Deep Learning Models for Text-to-Speech Conversational AI

Conversational AI uses machine learning to develop speech-based apps that allow humans to interact naturally with devices, machines, and computers using audio. Several deep learning models are connected to a pipeline to build a conversational AI application. This project aims to study and refine the TTS part in one Conversational AI toolkit (for example, NVIDIA NeMo or SpeechBrain).

Témavezető: Al-Radhi Mohammed Salah Hamza

speech synthesis, TTS, deep learning, neural vocoder

További információk >>

Exploring Efficient Neural Architectures for Text-to-Speech Synthesis

Text-to-Speech (TTS) is a comprehensive technology that involves many disciplines such as acoustics, signal processing, and machine learning. This project focuses on developing a deep-learning model designed to provide a high-quality TTS system. The student's task is mapping from linguistic to acoustic features with various deep neural networks. Students must evaluate the updated system from different aspects, including intelligibility, naturalness, and preference for synthetic speech.

Témavezető: Al-Radhi Mohammed Salah Hamza

deep learning, speech synthesis, TTS, neural end-to-end models

További információk >>

BlinkTalk: Turning Eye Blinks into Speech

This project aims to develop a simple assistive communication system that can convert eye-blink patterns into speech or text. The idea is especially useful for people who cannot speak or move easily but can still control their eye blinks. Students will explore how eye blinks can be detected using a webcam, simple computer vision methods, or lightweight machine learning models. The detected blink patterns can then be mapped to commands, letters, words, or short spoken messages.

Témavezető: Al-Radhi Mohammed Salah Hamza

machine learning, healthcare technology, eye blink detection, assistive communication, speech synthesis, text-to-speech, Computer Vision, human-computer interaction, accessibility

További információk >>

NeuroTalk: Turning Brain Signals into Speech

This project aims to explore how brain signals can be decoded and converted into speech or text using artificial intelligence. The main idea is to develop an assistive communication system for people who cannot speak, by using neural signals as an alternative communication channel. Students will work with brain-signal data such as EEG or similar neural recordings and investigate how signal processing, feature extraction, and machine learning models can be used to detect patterns related to speech intention or communication commands. The project may include preprocessing brain signals, extracting useful features, training classification or regression models, and generating text or speech output using text-to-speech technology. The project combines brain-computer interfaces, speech technology, machine learning, signal processing, and assistive communication. The final outcome can be a small prototype or experimental pipeline that demonstrates how brain activity may be translated into meaningful communication. This project is suitable for students interested in AI, neuroscience, speech technology, healthcare technology, and human-computer interaction.

Témavezető: Al-Radhi Mohammed Salah Hamza

brain-to-speech, brain-computer interface, EEG, neural decoding, speech synthesis, assistive communication, machine learning, signal processing, text-to-speech, healthcare technology

További információk >>

AI NewsReader: Building a Virtual TV News Presenter

This project focuses on developing an AI-based virtual news presenter that can read and present news in a TV-style format. The system takes written news text as input, generates natural speech using text-to-speech technology, and presents it through a virtual avatar or digital human. Students will explore how generative AI, speech synthesis, avatar generation, and human-computer interaction can be combined to create a simple news-reading prototype. The system may include automatic news summarization, script generation, voice generation, avatar animation, and video output. The final demo can show an AI presenter reading short news items in a clear and professional way. Students should clearly indicate that the presenter is AI-generated. This project is suitable for students interested in generative AI, speech technology, media technology, virtual avatars, human-computer interaction, and responsible AI.

Témavezető: Al-Radhi Mohammed Salah Hamza

AI newsreader, virtual presenter, digital human, text-to-speech, avatar generation, generative AI, speech synthesis, media technology, human-computer interaction, responsible AI

További információk >>