Նախատպվածք. հետադարձ կապը կարող է բացահայտել ՄԼՄ-ների գնահատման թույլ կողմերը
arXiv-ի 1 տարբերակի նախատպվածքի համաձայն՝ օգտատերերի հետադարձ կապի հիման վրա կատարված փոփոխություններն ավելի հաճախ են լուծել նպատակային խնդիրները, քան առանց դրա տարբերակները, իսկ գնահատող ՄԼՄ-ները հաճախ բաց են թողել միայն հետադարձ կապով պայմանավորված շտկումները։ Աղբյուրը ներկայացնում է սրանք որպես հեղինակների հաղորդած պնդումներ, այլ ոչ թե գրախոսված կամ անկախ կերպով վերարտադրված արդյունքներ։
Այս թողարկումն անցել է «Իմանանք»-ի հրապարակման ընդլայնված ստուգումները: Որոշ էական պնդումներ շարունակում են հստակ վերագրվել պաշտոնական կամ ընկերության աղբյուրներին, քանի որ այս թողարկմանը դեռ անկախ աղբյուր կցված չէ: Համակարգը շարունակում է ստուգել հաստատված աղբյուրները և անկախ հաստատումը կավելացնի միայն ամբողջական ստուգում անցած նոր թողարկմամբ:
2026 թ. սեպտեմբերին arXiv-ում հրապարակված նախատպվածքի համաձայն՝ օգտատերերի հետադարձ կապը կարող է գործուն ազդակ հանդիսանալ մեծ լեզվական մոդելների (LLM) պատասխանները բարելավելու համար, մինչդեռ ավտոմատացված գնահատող ՄԼՄ-ները երբեմն չեն նկատում այդ կապի շնորհիվ արված շտկումները։ Աշխատանքը հասանելի է 1 տարբերակով, իսկ դրա պնդումները տրամադրված աղբյուրում դեռևս գրախոսված կամ անկախ կերպով վերարտադրված չեն [1]։
01
Ինչ գիտենք այս պահին
- 01
[1] arXiv, «User Feedback Provides a Unique Signal that LLMs Can not Detect», տարբերակ 1, ներկայացված 2026 թ. սեպտեմբերի 2-ին՝ https://arxiv.org/abs/2609.02859v1
- 02
[1] Տրամադրված առաջնային ամբողջական տեղեկությունը պարունակում է հոդվածի arXiv մետատվյալներն ու սեղմագիրը, սակայն ոչ փորձարարական ամբողջական մեթոդներն ու արդյունքները։
02
Հրապարակման կարգավիճակ
Աշխատանքը ներկայացված է որպես arXiv-ի 1-ին տարբերակի նախատպվածք (preprint) և չի անցել գրախոսում կամ անկախ վերարտադրում։Համեմատված տարբերակներ
Հեղինակները նշում են, որ համեմատել են ՄԼՄ-ների՝ հետադարձ կապով և առանց դրա կատարված փոփոխությունները սինթետիկ և բնական միջավայրերում։Գնահատման խնդիր
Ըստ հեղինակների՝ գնահատող ՄԼՄ-ները հաճախ չեն նկատել միայն հետադարձ կապի շնորհիվ շտկված տարբերակները և նախապատվությունը տվել են ելակետայինին։Ներկայացված են չգրախոսված նախատպվածքի հեղինակների հաղորդած արդյունքները։
03
Ինչ է հրապարակվել
arXiv-ում այս աշխատանքը գրանցված է «Համակարգչային գիտություններ և լեզու» բաժնում։ Հիմնական աղբյուրը arXiv-ի սեղմագրի էջն է՝ https://arxiv.org/abs/2609.02859v1։ Նյութի առկայությունը arXiv-ում փաստում է նախատպվածքի գրանցումը, սակայն չի նշանակում, որ այն անցել է գիտական գրախոսում կամ անկախ ստուգում։
- Նախատպվածքի վերնագիրն է՝ «User Feedback Provides a Unique Signal that LLMs Can not Detect»:
- arXiv-ում որպես հեղինակներ նշված են Շախար Դոն-Յեհիյան (Shachar Don-Yehiya), Լեշեմ Չոշենը (Leshem Choshen) և Օմրի Աբենդը (Omri Abend):
- Գրառման համաձայն՝ 1 տարբերակը ներկայացվել է 2026 թ. սեպտեմբերի 2-ին։
04
Հիմնական պնդումը
Հեղինակները վիճարկում են այն տեսակետը, թե օգտատերերի բնական հետադարձ կապը չափազանց աղմկոտ է օգտակար լինելու համար։ Սեղմագրում նշվում է, որ հետադարձ կապի ազդակը կարող է գործուն միջոց լինել մոդելների բարելավման համար, իսկ թույլ արդյունավետության տպավորությունը պայմանավորված է գնահատման գերիշխող մեթոդների կողմնակալությամբ։ Սա հեղինակների մեկնաբանությունն է, ոչ թե անկախ հետազոտությամբ հաստատված եզրակացություն։
- Հեղինակները նշում են, որ հետազոտությունում կիրառվել են հստակ ճշգրտված ելակետային տվյալներով սինթետիկ և բնական տվյալներ։
- Նրանք հայտնում են, որ համեմատել են հետադարձ կապի կիրառմամբ և առանց դրա ստացված տարբերակները։
- Ըստ հեղինակների՝ հետադարձ կապի հիման վրա արված շտկումներն ավելի հաճախ են լուծել կոնկրետ խնդիրները, քան ելակետային տարբերակները։
05
Պնդում ավտոմատացված գնահատման վերաբերյալ
Հեղինակների առաջ քաշած հիմնական դրույթն այն է, որ ավտոմատացված գնահատող համակարգերը կարող են թերագնահատել հետադարձ կապի շնորհիվ արձանագրված բարելավումները։ Այս հանգամանքը կարևոր է այն մասնագետների համար, ովքեր կիրառում են LLM-as-a-judge մոտեցումը տարբերակների համեմատման համար, սակայն միայն առկա սեղմագրից հնարավոր չէ պարզել այս երևույթի իրական մասշտաբը, կայունությունն ու ընդհանրականությունը։
- Սեղմագրի համաձայն՝ գնահատող ՄԼՄ-ները հաճախ չեն կարողացել նույնականացնել այն պատասխանները, որոնք շտկվել են բացառապես հետադարձ կապի միջոցով։
- Նշվում է, որ նման դեպքերում այդ համակարգերը նախապատվությունը տվել են ավելի թույլ ելակետային արդյունքին։
- Աղբյուրում բացակայում են տվյալներ գնահատող մոդելների, միավորների հաշվարկման կարգի, հաճախականության կամ քանակական ցուցանիշների մասին։
06
Ինչ կարող են քաղել ընթերցողները
Հիմնական մեթոդաբանական հետևությունն այն է, որ հետադարձ կապով իրականացվող շտկումները կարող են պահանջել գնահատման այնպիսի եղանակներ, որոնք ունակ են ֆիքսել ՄԼՄ-ների կողմից անտեսվող կոնկրետ փոփոխությունները։ Միևնույն ժամանակ պետք է հաշվի առնել անորոշությունը. աղբյուրը տրամադրում է միայն սեղմագիրը՝ առանց փորձարարական մանրամասների, որոնք անհրաժեշտ են արդյունքների հավաստիությունը, ազդեցության չափն ու այլ պայմաններում կիրառելիությունը ստուգելու համար։
- Նշված համեմատությունը կարող է առիթ հանդիսանալ հետադարձ կապի վրա հիմնված գնահատման մեթոդներն ավելի մանրամասն ուսումնասիրելու համար։
- Այն ինքնին հիմք չի տալիս ենթադրելու, որ օգտատերերի հետադարձ կապը կբարելավի ցանկացած մոդել, առաջադրանք կամ արտադրանք։
- Պնդումն ավելի լիարժեք գնահատելու համար անհրաժեշտ են մարդկային գնահատում, մեթոդաբանության բացահայտում և անկախ վերարտադրում։
07
Ինչպես դիտարկել այս նախատպվածքը
Հոդվածին պետք է վերաբերվել որպես հետազոտական ուղղության, ոչ թե ստուգված ու հաստատված մեթոդաբանության։
- 01
Ծանոթացեք arXiv-ի սկզբնական էջին և ստուգեք՝ առկա է արդյոք ավելի նոր տարբերակ կամ գրախոսված հրապարակում։
- 02
Միայն սեղմագրի հիման վրա մի արեք եզրակացություններ ազդեցության չափի, վիճակագրական հավաստիության կամ ընդհանուր կիրառելիության մասին։
- 03
Նման համակարգեր գնահատելիս համեմատեք պատասխանների տարբերակները հետադարձ կապով և առանց դրա, իսկ ավտոմատացված գնահատմանը զուգահեռ ներառեք նաև մարդկային ստուգում։
08
Այս թողարկման սահմանափակումները
Տրամադրված աղբյուրը arXiv-ի 1 տարբերակի նախատպվածքի գրանցում է, ոչ թե գրախոսված կամ անկախ փորձարկում անցած հետազոտություն [1]։
Հասանելի սեղմագրում չեն նշվում տվյալների բազաները, մոդելները, առաջադրանքների ոլորտները, հետադարձ կապի ձևաչափերը, չափանիշները, ազդեցության չափերը, վիճակագրական թեստերը կամ հետազոտության սահմանափակումները [1]։
Տրամադրված տվյալները թույլ չեն տալիս հաստատել, թե արդյոք արդյունքները կիրառելի են հոդվածում չհստակեցված սինթետիկ և բնական պայմաններից դուրս [1]։
Աղբյուրում բացակայում են ավելի նոր տարբերակների, հրապարակման կարգավիճակի, մարդկային գնահատման արդյունքների կամ անկախ վերարտադրման վերաբերյալ տվյալները [1]։
SRC
Աղբյուրների բաժին
Ուղիղ հղումներ այս ընտրանու հիմքում եղած նյութերին: Աղբյուրը տեսնելը նույնքան կարևոր է, որքան սինթեզն ընթերցելը:
Շարունակել ընթերցումը
30 օգս, 2026 թ.
Ըստ պրեպրինտի՝ ուսուցման տվյալների ընտրողական մոտեցումը կարող է բարելավել ծրագրային գործակալների արդյունքները
SWE-Prime պրեպրինտի հեղինակներն առաջարկում են ծրագրային գործակալների ուսուցման տվյալները զտել տրաեկտորիաների և սեգմենտների մակարդակով՝ միաժամանակ պահպանելով հաջորդականության ամբողջական կոնտեքստը: Նրանք նշում են, որ ընտրված 10%-անոց ենթաբազմությունը SWE-Bench-ի երկու թեստերում գերազանցել է ամբողջական տվյալներով ուսուցմանը, սակայն տրամադրված տեղեկատվությունը սահմանափակվում է պրեպրինտի սեղմագրով, որի գրախոսված լինելը հաստատված չէ, և բավարար չէ վերարտադրելիության կամ ավելի լայն կիրառելիության մասին եզրակացություններ անելու համար:
4 սեպ, 2026 թ.
ShallowStream-ն առաջարկում է մակերեսային ինդեքսավորում սթրիմինգային տեսահարցումների համար
ShallowStream-ը arXiv-ի պրեպրինտ է, որն առաջարկում է մուտքային վիդեոկադրերի մակերեսային շերտերով ինդեքսավորում և ավելի խորքային մշակում հարցումներին պատասխանելիս։ Դրա հեղինակները հայտնում են յուրաքանչյուր կադրի prefill հապաղման մինչև 52.1x և 10 վրկ end-to-end հապաղման մինչև 11.9x կրճատման մասին, սակայն տրամադրված գրառումը թույլ չի տալիս անկախ կերպով գնահատել այդ պնդումները կամ հաստատել գրախոսման առկայությունը [1]։
1 սեպ, 2026 թ.
Պրեպրինտն ուսումնասիրում է խոսքի ճանաչման սխալների ազդեցությունը մարմնավորված AI-ի անվտանգության վրա
arXiv պրեպրինտի հեղինակները նշում են, որ խոսքի ճանաչման մոդելավորված սխալները կարող են մեծացնել ձայնային կառավարմամբ մարմնավորված AI համակարգերի անվտանգության խախտումների հավանականությունը: Նրանք նաև հայտնում են ավտոմատ ուղղման անկայուն արդյունքների մասին: Մանրամասն մեթոդներն ու անկախ ստուգման տվյալները նյութում ներկայացված չեն: