Tahlil vositasi
Shaxs, joy, tashkilot, sana va boshqa nom birliklarini bir zumda ajratib, BIO sxemasi asosida tasniflaydigan tabiiy tilni qayta ishlash vositasi.
UzNER — o'zbek tilidagi matnlarda nomlangan obyektlarni aniqlash va tasniflashga mo'ljallangan dasturiy vosita. Bu tabiiy tilni qayta ishlash (NLP) sohasining raqamli lingvistika, axborot qidiruvi, mashina tarjimasi va sun'iy intellekt tizimlari uchun muhim yo'nalishidir.
Matn tarkibidagi shaxs nomlari, geografik obyektlar, tashkilotlar, vaqt birliklari, pul miqdorlari va boshqa muhim atamalarni aniqlab, ularni ma'lum toifalarga ajratish.
Natijalar elektron hujjatlar tahlili, axborot qidiruvi, media monitoring, raqamli arxivlar va korpus lingvistikasida qo'llaniladi.
Dastlab nomlangan obyektlarning 26 ta turi belgilangan va shu asosda teglangan edi. Tahlillar davomida toifalar optimallashtirilib, yakuniy bosqichda eng muhim sinflarga qisqartirildi:
Obyektlarni belgilash uchun xalqaro amaliyotda keng qo'llaniladigan BIO (Begin-Inside-Outside) teglash sxemasidan foydalanilgan — bu obyektning boshlanish va davomiy qismlarini aniq ajratib beradi.
Model 10 ming tokenli o'zbek tili korpusi (shundan 5 ming tokeni qo'lda annotatsiyalangan) asosida o'qitilgan.
Zamonaviy transformer arxitekturasiga asoslangan BERT modeliga o'tish orqali aniqlik sezilarli oshirilib, hozirda 92% F1 ballga erishilgan.
Korpus hajmini kengaytirish, obyekt turlarini yanada takomillashtirish, real vaqt rejimida ishlovchi tizim yaratish va o'zbek tilining turli uslubiy qatlamlari uchun moslashtirilgan modellarni ishlab chiqish rejalashtirilgan. Dastur ochiq kodli (open source) tamoyili asosida rivojlantirilmoqda.