A HuLU-t (Hungarian Language Understanding Benchmark Kit) a GLUE és a SuperGLUE benchmark adatbázisok mintájára hoztuk létre. A HuLU célja az, hogy lehetővé tegye a neurális nyelvmodellek egyszerű és többszempontú kiértékelését valamint az eredmények összehasonlítását és közzétételét, hogy az egyes nyelvmodellek feladatspecifikus teljesítménye könnyen hozzáférhető legyen a nyelvtechnlógiai szakma számára. Így a HuLU jelenleg 2 fő komponensből áll:
(1) 6 sztenderd nyelvértési feladatra annotált korpusz alkotja jelenleg az adatbázist, melyek mindegyike tanító-, validációs és teszthalmazra bontva van közreadva.
(2) Az adatbázist egy webszolgáltatás egészíti ki, amely egyfelől lehetővé teszi a nyelvmodellek gyors és egyszerű kiértékelését az adott feladatokon, másfelől az eredményeket táblázatos, illetve grafikus formában is megjeleníti.
Terveink szerint a jövőben a HuLU-t további korpuszokkal bővítjük. Célunk, hogy támogassuk azokat a kutatásokat, amelyek a magyar nyelv általános megértését célozzák.
A HuLU projektet az alábbi publikációk részletezik:
Ligeti-Nagy, N., Ferenczi, G., Héja, E., Jelencsik-Mátyus, K., Laki, L. J., Vadász, N., Yang, Z. Gy. and Váradi, T. (2022) HuLU: magyar nyelvű benchmark adatbázis kiépítése a neurális nyelvmodellek kiértékelése céljából [HuLU: Hungarian benchmark dataset to evaluate neural language models]. In: Berend, G., Gosztolya, G. and Vincze, V. (eds), XVIII. Magyar Számítógépes Nyelvészeti Konferencia. Szeged, Szegedi Tudományegyetem, Informatikai Intézet. 431–446.
Ligeti-Nagy, N., Héja, E., Laki, L. J., Takács, D., Yang, Z. Gy. and Váradi, T. (2023) Hát te mekkorát nőttél! - A HuLU első életéve új adatbázisokkal és webszolgáltatással [Look at how much you have grown! - The first year of HuLU with new databases and with webservice]. In: Berend, G., Gosztolya, G. and Vincze, V. (eds), XIX. Magyar Számítógépes Nyelvészeti Konferencia. Szeged, Szegedi Tudományegyetem, Informatikai Intézet. 217-230.