This projects is regarding high available services hosted in the cloud using different cloud technologies.
The project work includes investigating development and deployment of cloud-native services and increasing their availability, fault tolerance and operating costs and energy.
Automated Machine Learning methods using Reinforcement Learning
My research focuses mainly on:
-Design AutoML related models
-Neural Architecture Search
-Hyperparameters optimization
-Performance and Evaluation optimization
-Adaptive methods
Automatic speech recognition for less-resource language
Focused on Automatic Speech Recognition (ASR)
1.Attempting to explore the implications of data augmentation solution for limited-resource languages.
2.trying to find the optimal data augmentation solution by using Automatic Data Augmentation technical.
Automatic speech recognition for low-resource languages
Speech recognition technology has been used for a long time, but recognizing a speech accurately is a very difficult task. In this topic, we mainly use the conformer-ctc model provided by open-source toolkits (Nemo), and fine-tune the model to achieve better training results. If you are interested in automatic speech recognition, and have a good foundation in python, it is highly recommended that you choose this topic.
Automatic speech recognition for low-resource languages
Speech recognition technology has been used for a long time, but recognizing a speech accurately is a very difficult task. In this topic, we mainly use the conformer-ctc model provided by open-sourch toolkits(Nemo), and fine-tune the model to achieve better training results. If you are interested in automatic speech recognition, and have a good foundation in python, it is highly recommended that you choose this topic.
BRAIN2SPEECH: EEG alapú kommunikációs agy-gép interfész deep learning módszerekkel
A beszéd az emberi kommunikáció elsődleges és legfontosabb eszköze. Sokan azonban elvesztették ezt a képességüket betegség vagy egészségkárosodás okán. A kommunikációs agy-gép interfész (BCI) célja, hogy természetes vagy ahhoz közeli kommunikációs csatornát biztosítsanak olyan személyek számára, akik fizikai vagy neurológiai károsodás miatt nem tudnak beszélni. A beszéd valós idejű szintézise közvetlenül a mért idegi aktivitásból (EEG) lehetővé tenné a természetes beszédet, és jelentősen javítaná az életminőségét, különösen a kommunikációban súlyosan korlátozott személyek számára.
A hallgató feladata megismerkedni a BRAIN2SPEECH területtel, majd új típusú neurális hálózat architektúrák (pl. konvolúciós és rekurrens hálózatok) kidolgozása és tanítása több beszélő adataival.
Az önálló munka / diplomaterv a BME Beszédtechnológia és Intelligens Interakciók Laboratóriumában készül. A hallgató feladatának a következőkre kell kiterjednie:
- Tekintse át beszédtechnológiában az electroencephalogram-akusztikum becslés szakirodalmát.
- Vizsgálja meg, milyen típusú neurális hálózatokat alkalmaztak eddig a kommunikációs agy-gép interfész területen!
- Vizsgálja meg különböző neurális hálózat architektúrák (pl. konvolúciós és rekurrens hálózatok, ResNet, SkipNet) alkalmazhatóságát.
- Az elkészült modelleket tesztelje objektív mérőszámokkal és szubjektív teszt keretében!
- Munkáját részletesen dokumentálja!
Computer Vision and Natural Language Processing in machine learning
Computer vision (CV) and Natural Language Processing (NLP) are two main subfields of machine learning, and a lot of research is going on there.
These two subfields overlap together in tasks such as text generation out of image (image2text) or vice-versa (text2image).
A main obstacle in the way of teaching models (supervised learning) which are able to perform such tasks is the lack of labeled data, and a way to overcome this is to follow unsupervised learning approach.
The task of the student(s) is to get familiar with those tasks and try to reproduce available solutions in order to be able to improve them later.
No. of students: 1 - 3
contact email: alshouha@edu.bme.hu
COMPUTER VISION AND NATURAL LANGUAGE PROCESSING IN MACHINE LEARNING
Computer vision (CV) and Natural Language Processing (NLP) are two main subfields of machine learning, and a lot of research is going on there.
These two subfields overlap together in tasks such as text generation out of image (image2text) or vice-versa (text2image).
A main challenge that is facing these models (and ML based models in general) is the explaination of the model's output, e.g.: why a certain object appears in a certain image captioning.
The task of the student(s) is to get familiar with those tasks and try to reproduce available XAI (explainable AI) algorithms in order to utilize them later.
Number of students: 1 - 2.
COMPUTER VISION AND NATURAL LANGUAGE PROCESSING IN MACHINE LEARNING
Computer vision (CV) and Natural Language Processing (NLP) are two main subfields of machine learning, and a lot of research is going on there.
These two subfields overlap together in tasks such as text generation out of image (image2text) or vice-versa (text2image).
A new subfield has emerged, i.e. Story Visualization, with the help of the advancement of GANs and Diffusion models.
The task of the student(s) is to explore Story Visualization topic by investigating and utilizing the state-of-the-art models in the field.
No. of students: 1 - 3 contact email: alshouha@edu.bme.hu
Valódi, hanggal beszélgető robot (virtuális ügynök) kialakítása a cél, melyhez az NVIDIA NeMo/RIVA toolkiteket használjuk. Magyar nyelven elsőként valósulhat meg a projekt. Python programozási ismeretek, mélytanulási alapok előnyt jelentenek.