Aleph Alpha-ն թողարկել է Kolibri բաց կշիռներով մոդելը Apache 2.0 արտոնագրով

Aleph Alpha-ն թողարկել է Kolibri բաց կշիռներով մոդելը, որն ունի 78,1 միլիարդ պարամետր և հասանելի է Hugging Face-ում Apache 2.0 արտոնագրով։

Անգլերեն-գերմաներեն այս մոդելը յուրաքանչյուր թոքենի համար ակտիվացնում է 3,46 միլիարդ պարամետր։ Kolibri-ն առաջարկում է տրամաբանելու չորս ռեժիմ և գործիքներ կանչելու հնարավորություն։ Համատեքստի ադապտացիան հասել է 256 000 թոքենի, իսկ ընկերության կարգավորումներով այն կարելի է սպասարկել մինչև 1 048 576 թոքեն ծավալով։ Kolibri-ն ուսուցանվել է 768 B200 GPU-ով՝ ընդհանուր առմամբ գրեթե 24 տրիլիոն թոքենի վրա։