ScholarCatalyst-ը հաղորդում է գիտական հոդվածների որոնման բենչմարկի արդյունքներ
ScholarCatalyst-ը arXiv-ի պրեպրինտ է, որը նկարագրում է բենչմարկ՝ հիմնված առաջատար հեղինակների այն դատողությունների վրա, թե որ ավելի վաղ հոդվածները կարող էին օգնել համակարգչային գիտությունների ավելի ուշ նախագծերին։ Հեղինակները հաղորդում են Recall@20-ի հետևյալ միավորները՝ 0.42 գործակալական որոնման, 0.48 էմբեդինգային որոնման և 0.51 Claude Fable 5.1-ի հիման վրա կառուցված գործակալի համար։ Տրամադրված գրառումը բաց է թողնում գրախոսության, անկախ գնահատման, մանրամասն մեթոդաբանության, ընտրանքի ներկայացուցչականության և նշագրման գործընթացի սահմանափակումների հարցերը։
Այս թողարկումն անցել է «Իմանանք»-ի հրապարակման ընդլայնված ստուգումները: Որոշ էական պնդումներ շարունակում են հստակ վերագրվել պաշտոնական կամ ընկերության աղբյուրներին, քանի որ այս թողարկմանը դեռ անկախ աղբյուր կցված չէ: Համակարգը շարունակում է ստուգել հաստատված աղբյուրները և անկախ հաստատումը կավելացնի միայն ամբողջական ստուգում անցած նոր թողարկմամբ:
ScholarCatalyst-ը arXiv-ի պրեպրինտ է, որը նկարագրում է բենչմարկ՝ ստուգելու գիտական որոնողական համակարգերի կարողությունը՝ գտնելու ավելի վաղ հրապարակված այն հոդվածները, որոնք նպաստել են կամ կարող էին նպաստել համակարգչային գիտությունների նոր նախագծի առաջմղմանը։ Հեղինակները հաղորդում են Recall@20-ի հետևյալ միավորները՝ 0.42 գործակալական որոնման, 0.48 էմբեդինգային որոնման և 0.51 Claude Fable 5.1-ի հիման վրա կառուցված գործակալի համար։ Առկա նյութը չի փաստում այդ արդյունքների գրախոսություն կամ անկախ վերարտադրում։ [1]
01
Ինչ գիտենք այս պահին
- 01
[1] arXiv-ի սկզբնական գրառում և ամփոփագիր՝ https://arxiv.org/abs/2610.02202v1 («ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New Research», տարբերակ 1, ներկայացված 2026 թ. հոկտեմբերի 1-ին)։ Այն պարունակում է բենչմարկի նկարագրությունը, քանակական տվյալները և հաղորդված Recall@20 ցուցանիշները։
- 02
Տրամադրված ապացույցը arXiv-ի ամբողջական սկզբնական գրառում է, սակայն այն չի փաստում գրախոսության առկայությունը, անկախ վերարտադրումը, բենչմարկի նյութերի հրապարակումը կամ ընդհանրացման հնարավորությունը գնահատելու համար անհրաժեշտ մանրամասն մեթոդաբանությունը։
02
Նշագրումներ և հիմնավորումներ տրամադրած առաջատար հեղինակներ
Ըստ հեղինակների՝ բենչմարկի ստեղծման համար օգտագործված գնահատականները տրամադրել է 184 առաջատար հեղինակ։Համակարգչային գիտությունների ներկայացված վերջին հոդվածներ
Հեղինակների փոխանցմամբ՝ բենչմարկը հիմնված է համակարգչային գիտությունների ոլորտի 207 վերջին հոդվածի վրա։Էմբեդինգային որոնման հաղորդված Recall@20 ցուցանիշը
Սա հեղինակների կողմից իրենց առաջադրանքում էմբեդինգային որոնման համար արձանագրված արդյունքն է։Claude Fable 5.1 գործակալի հաղորդված Recall@20 ցուցանիշը
Հեղինակները նշում են այս միավորը Claude Fable 5.1-ի հիման վրա կառուցված գործակալի համար։ Առկա աղբյուրը մոդելի լրացուցիչ նկարագրություն չի պարունակում։Սրանք arXiv-ի պրեպրինտում հեղինակների հաղորդած ցուցանիշներն են։ Տրամադրված նյութը չի պարունակում անկախ ստուգում կամ մեթոդաբանական ամբողջական մանրամասներ։
03
Ինչ է ստեղծվել ըստ պրեպրինտի
Հեղինակները ScholarCatalyst-ը նկարագրում են որպես բենչմարկ՝ ավելի վաղ հետազոտությունները գտնելու համար, որոնք կարող են գիտական ուղղություն հաղորդել նոր նախագծին։ Նրանք նշում են, որ ավտոմատացված գործընթացն ապահովել է հեղինակային նշագրման մասշտաբայնությունը, սակայն այն չի փոխարինել առաջատար հեղինակներին՝ որպես նշագրումների և հիմնավորումների հիմնական աղբյուր։ Սա ռեսուրսի վերաբերյալ հեղինակների ներկայացրած նկարագրությունն է, որը տրամադրված նյութերում անկախ հաստատում չունի։ [1]
- Հեղինակների խոսքով՝ համակարգչային գիտությունների ոլորտի 207 վերջին հոդվածի 184 առաջատար հեղինակ տրամադրել է նշագրումներ և մանրամասն հիմնավորումներ։
- Առաջադրանքը մեկնարկում է սկզբնական հետազոտական հարցից և համակարգից պահանջում գտնել համապատասխան ավելի վաղ հոդվածներ այն գրականությունից, որը հասանելի էր ավելի ուշ նախագծի մեկնարկի պահին։
- Հեղինակների գնահատականներն առանձնացնում են այն թեկնածու հոդվածները, որոնք նպաստել են կամ կարող էին նպաստել նախագծի առաջմղմանը։
04
Համակարգերի հաղորդված արդյունքները
Հեղինակները նշում են, որ գործակալական որոնումն իրենց առաջադրանքում չի գերազանցել էմբեդինգային որոնմանը, թեև գործակալական մոտեցումն այդ նույն որոնիչն օգտագործել է որպես գործիք։ Նրանք նաև հաղորդում են 0.51 Recall@20 արդյունք Claude Fable 5.1-ի հիման վրա կառուցված գործակալի համար՝ նշելով, որ այն ուսուցման ընթացքում հնարավոր է առնչված լինի ավարտված հոդվածներին։ Այս թվերը վերաբերում են միայն այս բենչմարկին. տրամադրված գրառումը չի նշում ընտրանքի ձևավորման և հեղինակային նշագրման սահմանափակումները, որոնք անհրաժեշտ են ներկայացուցչականությունը գնահատելու համար, ինչպես նաև չի պարունակում բավարար մանրամասներ կոնֆիգուրացիաները, անորոշությունը, տվյալների աղտոտման (contamination) վերահսկումը կամ վերարտադրելիությունը գնահատելու համար։ [1]
- Գործակալական որոնում՝ 0.42 Recall@20։
- Էմբեդինգային որոնում՝ 0.48 Recall@20։
- Claude Fable 5.1-ի հիման վրա կառուցված գործակալ՝ 0.51 Recall@20։
05
Կարգավիճակն ու սկզբնաղբյուրը
ScholarCatalyst-ը տրամադրված նյութերում ներկայացված է որպես arXiv-ի պրեպրինտ։ Սկզբնական գրառումը պարունակում է ամփոփագիրը, ներկայացման տվյալները և հեղինակների հաղորդած ցուցանիշները, սակայն ինքնին արտաքին վավերացում չի փաստում։ Սկզբնաղբյուրը հասանելի է https://arxiv.org/abs/2610.02202v1 հասցեով։ [1]
- arXiv-ը հոդվածը դասակարգում է Արհեստական բանականություն (Artificial Intelligence) բաժնում՝ Հաշվողական լեզվաբանություն (Computation and Language) և Տեղեկատվական որոնում (Information Retrieval) լրացուցիչ թեմաներով։
- Գրառման համաձայն՝ 1 տարբերակը ներկայացվել է 2026 թվականի հոկտեմբերի 1-ին։
- arXiv-ի տվյալներով՝ ձեռագիրը բաղկացած է 57 էջից։
06
Ինչպես կիրառել այս արդյունքը
ScholarCatalyst-ը պետք է դիտարկել որպես մեկ կոնկրետ բենչմարկ նկարագրող պրեպրինտ, ոչ թե գրականության որոնման համակարգերի վավերացված վարկանիշ կամ գիտական տրամաբանության ընդհանրական չափանիշ։
- 01
Հաղորդված Recall@20 ցուցանիշները դիտարկեք բացառապես հեղինակների նկարագրած առաջադրանքի և բենչմարկի շրջանակում։
- 02
Համակարգերը համեմատելուց առաջ ծանոթացեք պրեպրինտի ամբողջական տեքստին. տրամադրված նյութը չի բացահայտում մանրամասն կոնֆիգուրացիաները, միավորի սահմանումը Recall@20-ից դուրս կամ վիճակագրական անորոշությունը։
- 03
arXiv-ի գրառումից մի եզրակացրեք, որ աշխատանքն անցել է գրախոսություն, ունի անկախ վերարտադրում կամ տվյալների ու կոդի հրապարակային հասանելիություն։ [1]
07
Այս թողարկման սահմանափակումները
Տրամադրված գրառումը ScholarCatalyst-ը նույնականացնում է որպես arXiv-ի 1 տարբերակ։ Այն չի փաստում գրախոսության անցկացում, գիտական հարթակում ընդունում կամ անկախ գնահատում։ [1]
Ապացույցները չեն բացահայտում գնահատման ամբողջական արձանագրությունը, համակարգերի կոնֆիգուրացիաները, Recall@20-ից բացի միավորի սահմանումը կամ վիճակագրական անորոշությունը։ [1]
Համակարգչային գիտությունների ոլորտի 207 վերջին նախագծերի ընտրությունն ու ներկայացուցչականությունը տրամադրված աղբյուրում նշված չեն, ինչի պատճառով անհասկանալի է մնում, թե որքանով կարող են արդյունքներն ընդհանրացվել այս բենչմարկի ընտրանքից դուրս։ [1]
Տրամադրված նյութը չի մանրամասնում հեղինակային նշագրման գործընթացի սահմանափակումները՝ բացի նշելուց, որ ավտոմատացված գործընթացն ապահովել է այդ գործընթացի մասշտաբայնությունը։ [1]
Տրամադրված տվյալները չեն հաստատում բենչմարկի տվյալների, նշագրումների, հիմնավորումների, կոդի կամ գնահատման նյութերի հրապարակային հասանելիությունը։ [1]
Աղբյուրը չի հստակեցնում, թե ինչ է նշանակում «Claude Fable 5.1»-ը, և մոդելի վերաբերյալ լրացուցիչ փաստաթղթավորում չի պարունակում։ [1]
SRC
Աղբյուրների բաժին
Ուղիղ հղումներ այս ընտրանու հիմքում եղած նյութերին: Աղբյուրը տեսնելը նույնքան կարևոր է, որքան սինթեզն ընթերցելը:
Շարունակել ընթերցումը
8 սեպ, 2026 թ.
WearableQA պրեպրինտը ներկայացնում է կրելի սարքերի երկարաժամկետ գրառումների շուրջ տրամաբանելու benchmark
WearableQA-ն arXiv-ի պրեպրինտ է, որը նկարագրում է կրելի սարքերի հետ կապված երկարաժամկետ գրառումների հիման վրա կազմված 4,084 բազմակի ընտրության հարց: Հեղինակները հայտնում են 14 լեզվական մոդելի միավորների լայն միջակայքի մասին, մինչդեռ տրամադրված նյութերը բաց են թողնում գրախոսության, կրկնելիության, տվյալների կառավարման, հանրային հասանելիության և կլինիկական նշանակության հարցերը: [1]
17 սեպ, 2026 թ.
ScienceBuddy-ի նախատպվածքը նկարագրում է գիտական գործակալների զարգացման երկփուլ մոտեցում
arXiv-ում հրապարակված նոր նախատպվածքում հեղինակները ScienceBuddy-ն նկարագրում են որպես գիտական հետազոտությունների ինտերակտիվ միջավայր, որի շարունակական ուսուցման մոդելը համատեղում է harness-ի բարելավումը մոդելի ուսուցման հետ։ Աղբյուրը հաստատում է միայն նախատպվածքի առկայությունն ու նկարագրված մոդելը, բայց ոչ դրա իրական արդյունավետությունը, հասանելիությունը, գրախոսումը կամ անկախ վերարտադրումը։
4 հոկ, 2026 թ.
GALA պրեպրինտն առաջարկում է գծային blendshape-եր՝ Gaussian ավատարների անիմացիայի ծախսերը նվազեցնելու համար
arXiv-ի պրեպրինտում ներկայացվել է GALA մեթոդը, որը, ըստ հեղինակների, նախապես վարժեցված 3D Gaussian ավատարների անիմացիան դիստիլացնում է գործակիցների ոչ խորը կանխատեսչի և գծային blendshape-երի հիմքի մեջ։ Նրանք նշում են CPU-ով անիմացիայի ծախսի կրճատման և շարժական սարքերում մինչև 60 fps արագության մասին, սակայն տրամադրված աղբյուրը չի հաստատում գրախոսության կամ անկախ ստուգման առկայությունը և չի պարունակում մանրամասն թեստավորման տվյալներ։