Logično sklepanje v naravnem jeziku za slovenščino
Na področju strojnega razumevanja naravnega jezika so v zadnjih letih najuspešnejši veliki jezikovni modeli. Pomemben problem s tega področja je logično sklepanje v naravnem jeziku, za reševanje katerega morajo modeli vsebovati dokaj široko splošno znanje, strojno generiranje razlag sklepov pa nam...
Saved in:
| Main Authors: | , |
|---|---|
| Format: | Article |
| Language: | English |
| Published: |
University of Ljubljana Press (Založba Univerze v Ljubljani)
2024-08-01
|
| Series: | Slovenščina 2.0: Empirične, aplikativne in interdisciplinarne raziskave |
| Subjects: | |
| Online Access: | https://journals.uni-lj.si/slovenscina2/article/view/16388 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| _version_ | 1849319348651425792 |
|---|---|
| author | Tim Kmecl Marko Robnik-Šikonja |
| author_facet | Tim Kmecl Marko Robnik-Šikonja |
| author_sort | Tim Kmecl |
| collection | DOAJ |
| description |
Na področju strojnega razumevanja naravnega jezika so v zadnjih letih najuspešnejši veliki jezikovni modeli. Pomemben problem s tega področja je logično sklepanje v naravnem jeziku, za reševanje katerega morajo modeli vsebovati dokaj široko splošno znanje, strojno generiranje razlag sklepov pa nam omogoča dodaten vpogled v njihovo delovanje.
Preizkusili smo različne pristope za logično sklepanje v naravnem jeziku za slovenščino. Uporabili smo dva slovenska velika jezikovna modela, SloBERTa in SloT5, in mnogo večji angleški jezikovni model GPT-3.5-turbo. Za učenje modelov smo uporabili slovensko podatkovno množico SI-NLI, strojno pa smo prevedli še 50.000 primerov iz angleške množice ESNLI.
Model SloBERTa, prilagojen na SI-NLI, doseže na testni množici SI-NLI klasifikacijsko točnost 73,2 %. Z vnaprejšnjim učenjem na prevodih ESNLI smo točnost izboljšali na 75,3 %. Ugotovili smo, da modeli delajo drugačne vrste napak kot ljudje in da slabo posplošujejo med različnimi domenami primerov. SloT5 smo na množici ESNLI prilagodili za generiranje razlag pri logičnem sklepanju. Ustreznih je manj kot tretjina razlag, pri čemer se model dobro nauči pogostih stavčnih oblik v razlagah, večinoma pa so pomensko nesmiselne. Predvidevamo, da so slovenski veliki jezikovni modeli z nekaj sto milijoni parametrov zmožni iskanja in uporabe jezikovnih vzorcev, njihovo poznavanje jezika pa ni povezano s poznavanjem resničnosti.
Za uvrščanje primerov in generiranje razlag smo uporabili tudi večji model GPT-3.5-turbo. Pri učenju brez dodatnih primerov doseže na testni množici SI-NLI točnost 56,5 %, pri pravilno uvrščenih primerih pa je ustreznih 81 % razlag. V primerjavi z manjšimi slovenskimi modeli kaže ta model dokaj dobro razumevanje resničnosti, pri čemer pa ga omejuje slabše poznavanje slovenščine.
|
| format | Article |
| id | doaj-art-9f9a7ea666b74a8181d97b33f8b9a9fe |
| institution | Kabale University |
| issn | 2335-2736 |
| language | English |
| publishDate | 2024-08-01 |
| publisher | University of Ljubljana Press (Založba Univerze v Ljubljani) |
| record_format | Article |
| series | Slovenščina 2.0: Empirične, aplikativne in interdisciplinarne raziskave |
| spelling | doaj-art-9f9a7ea666b74a8181d97b33f8b9a9fe2025-08-20T03:50:31ZengUniversity of Ljubljana Press (Založba Univerze v Ljubljani)Slovenščina 2.0: Empirične, aplikativne in interdisciplinarne raziskave2335-27362024-08-0112110.4312/slo2.0.2024.1.1-53Logično sklepanje v naravnem jeziku za slovenščinoTim Kmecl0Marko Robnik-Šikonja1Univerza v Ljubljani, Fakulteta za računalništvo in informatikoUniverza v Ljubljani, Fakulteta za računalništvo in informatiko Na področju strojnega razumevanja naravnega jezika so v zadnjih letih najuspešnejši veliki jezikovni modeli. Pomemben problem s tega področja je logično sklepanje v naravnem jeziku, za reševanje katerega morajo modeli vsebovati dokaj široko splošno znanje, strojno generiranje razlag sklepov pa nam omogoča dodaten vpogled v njihovo delovanje. Preizkusili smo različne pristope za logično sklepanje v naravnem jeziku za slovenščino. Uporabili smo dva slovenska velika jezikovna modela, SloBERTa in SloT5, in mnogo večji angleški jezikovni model GPT-3.5-turbo. Za učenje modelov smo uporabili slovensko podatkovno množico SI-NLI, strojno pa smo prevedli še 50.000 primerov iz angleške množice ESNLI. Model SloBERTa, prilagojen na SI-NLI, doseže na testni množici SI-NLI klasifikacijsko točnost 73,2 %. Z vnaprejšnjim učenjem na prevodih ESNLI smo točnost izboljšali na 75,3 %. Ugotovili smo, da modeli delajo drugačne vrste napak kot ljudje in da slabo posplošujejo med različnimi domenami primerov. SloT5 smo na množici ESNLI prilagodili za generiranje razlag pri logičnem sklepanju. Ustreznih je manj kot tretjina razlag, pri čemer se model dobro nauči pogostih stavčnih oblik v razlagah, večinoma pa so pomensko nesmiselne. Predvidevamo, da so slovenski veliki jezikovni modeli z nekaj sto milijoni parametrov zmožni iskanja in uporabe jezikovnih vzorcev, njihovo poznavanje jezika pa ni povezano s poznavanjem resničnosti. Za uvrščanje primerov in generiranje razlag smo uporabili tudi večji model GPT-3.5-turbo. Pri učenju brez dodatnih primerov doseže na testni množici SI-NLI točnost 56,5 %, pri pravilno uvrščenih primerih pa je ustreznih 81 % razlag. V primerjavi z manjšimi slovenskimi modeli kaže ta model dokaj dobro razumevanje resničnosti, pri čemer pa ga omejuje slabše poznavanje slovenščine. https://journals.uni-lj.si/slovenscina2/article/view/16388logično sklepanje v naravnem jezikuveliki jezikovni modeliarhitektura transformerSloBERTaSloT5GPT-3.5-turbo |
| spellingShingle | Tim Kmecl Marko Robnik-Šikonja Logično sklepanje v naravnem jeziku za slovenščino Slovenščina 2.0: Empirične, aplikativne in interdisciplinarne raziskave logično sklepanje v naravnem jeziku veliki jezikovni modeli arhitektura transformer SloBERTa SloT5 GPT-3.5-turbo |
| title | Logično sklepanje v naravnem jeziku za slovenščino |
| title_full | Logično sklepanje v naravnem jeziku za slovenščino |
| title_fullStr | Logično sklepanje v naravnem jeziku za slovenščino |
| title_full_unstemmed | Logično sklepanje v naravnem jeziku za slovenščino |
| title_short | Logično sklepanje v naravnem jeziku za slovenščino |
| title_sort | logicno sklepanje v naravnem jeziku za slovenscino |
| topic | logično sklepanje v naravnem jeziku veliki jezikovni modeli arhitektura transformer SloBERTa SloT5 GPT-3.5-turbo |
| url | https://journals.uni-lj.si/slovenscina2/article/view/16388 |
| work_keys_str_mv | AT timkmecl logicnosklepanjevnaravnemjezikuzaslovenscino AT markorobniksikonja logicnosklepanjevnaravnemjezikuzaslovenscino |