Ինչպես կարդալ AI բենչմարքերը՝ առանց «ճշգրտության տոկոսի» թակարդն ընկնելու

Երկու թիվ համեմատելուց առաջ հստակեցրեք առաջադրանքը, ընտրանքը, հղումային պատասխանները, մետրիկան, կարգավորումները, մոդելի տարբերակը, հուշումը (prompt) և ամսաթիվը։ SacreBLEU-ն ստեղծվել է մասամբ այն պատճառով, որ թոքենիզացիայի և թեստերի նախապատրաստման փոփոխությունները կարող են ազդել մեքենայական թարգմանության միավորների վրա։ Դրա ստորագրությունը (signature) գրանցում է կարգավորումները, որպեսզի մեկ այլ մասնագետ կարողանա վերարտադրել հաշվարկը։

chrF-ը համեմատում է նիշերի n-գրամները թեկնածուի և մեկ կամ մի քանի հղումների միջև։ chrF++-ը ներառում է նաև բառային n-գրամներ։ Սա օգտակար է ձևաբանորեն հարուստ լեզուների համար, քանի որ կարող է հաշվի առնել բառերի ընդհանուր կառուցվածքը, սակայն այն միևնույն է չափում է միայն համընկնումը։ Ճիշտ ձևակերպված այլընտրանքային նախադասությունը կարող է ավելի ցածր միավոր ստանալ, իսկ սխալ փաստ պարունակող սահուն նախադասությունը՝ պահպանել զգալի համընկնում։

Առաջին՝ հղման հետ նմանությունը ներկայացվում է որպես փաստացի ճշգրտություն։ Երկրորդ՝ մեկ ժանրի ընտրանքը տարածվում է ցանկացած կիրառության վրա։ Երրորդ՝ բենչմարքը, որտեղ առաջատար համակարգերը գրեթե հասել են առավելագույնին, դիտարկվում է այնպես, կարծես դեռ կարող է դրանք լավ տարբերակել։ Չորրորդ՝ միջին ցուցանիշը թաքցնում է կրիտիկական ձախողումները կամ թույլ ենթախմբերը։ Հինգերորդ՝ վարկանիշային փոքր տարբերությունը ներկայացվում է առանց անորոշության կամ զույգային համեմատության։

AI Index-ը զգուշացնում է նաև մեկ այլ խնդրի մասին. բենչմարքի հարցերն իրենք կարող են թերի լինել։ Զեկույցում ամփոփված վերլուծություններից մեկի համաձայն՝ անվավեր հարցերի գնահատված մասնաբաժինը տատանվել է 2 տոկոսից (MMLU Math) մինչև 42 տոկոս (GSM8K): Թերի թեստի վրա կատարված ճշգրիտ հաշվարկը միևնույն է մնում է թերի արդյունք։

Ենթադրենք, համադրելի լրատվական հոդվածների փաթեթի վրա A մոդելը ստանում է 57.8 chrF++, իսկ B մոդելը՝ 57.2: Հիմնավորված պնդումն այն է, որ այդ տվյալների բազայում և մետրիկայի տվյալ կարգավորումներով A-ն հավաքել է 0.6 chrF++ միավորով ավելի։ Սակայն հիմնավորված չէ ասել, թե A-ն 57.8 տոկոսով ճշգրիտ է կամ 0.6 տոկոսով ավելի լավ հայերեն է ապահովում։

Հաջորդիվ ուսումնասիրեք հոդվածների զույգային տարբերությունները, վստահության միջակայքերը, կիսատ մնացած ելքերն ու սխալների տեսակները։ Եթե միջին տարբերության միջակայքը ներառում է զրոն, ապա ընտրված հոդվածների հիման վրա դասակարգումն անորոշ է։ Նույնիսկ երբ տարբերությունը վիճակագրորեն զգալի է, մարդկանց համար նախատեսված վերջնական արդյունքը դեռևս պահանջում է իմաստի, անունների, թվերի, ոճի, տերմինաբանության և խմբագրման ծավալի ստուգում։

Հայերեն հրապարակման համար թեստային փաթեթը պետք է ներառի բովանդակության այն բոլոր ձևաչափերը, որոնք համակարգը գրելու է՝ լրահոս, պարզաբանումներ, հնարավորություններ, ուղեցույցներ, վերնագրեր, ամփոփումներ, անորոշության և ժխտման ձևակերպումներ, մեջբերումներ և թվային տվյալներ։ Մաքրե՛ք այն աշխատանքային նյութերի կրկնօրինակներից և պահպանե՛ք փորձարկման համար նախատեսված առանձին բարդ առաջադրանքների փաթեթ։

Ավտոմատ մետրիկաներն օգտագործեք որպես ախտորոշիչ գործիք, ոչ թե վերջնական որոշում։ Հետևեք իմաստային կոպիտ սխալներին, չհիմնավորված հավելումներին, թվային փոփոխություններին, անուններին, անբնական կառույցներին, փորձագետների անհամաձայնություններին և հետագա ուղղումներին։ Մոդելը, որն ապահովում է փոքր-ինչ ցածր համընկնում, բայց զգալիորեն քիչ լուրջ սխալներ, կարող է լինել շատ ավելի նախընտրելի տարբերակ։