Bielik.AI odpowiada jeszcze szybciej
Wskazano, że adaptery wykorzystują zastosowaną po raz pierwszy w Polsce technologię DFlash, zwiększając efektywność najnowszych modeli Bielik i Bielik Minitron.
Podano, że nowe modele draftowe Bielik-11B-v3.0-DFlash oraz Bielik-Minitron-7B-v3.0-DFlash umożliwiają generowanie odpowiedzi w krótszym czasie i przy mniejszej liczbie przetwarzanych tokenów, co przekłada się na oszczędności dla biznesu.
Nowe modele Bielika.AI pomogą obniżyć koszty firm dot. infrastruktury
Podczas trenowania modeli zastosowano autorskie podejście opracowane we frameworku ALLaMo, którego twórcą jest Krzysztof Ociepa, Head of Model Training w Bielik.AI.
„Stworzyliśmy rozwiązanie oparte na algorytmie DFlash, które pozwala znacząco zwiększyć przepustowość inferencji. Jest to szczególnie istotne dla firm budujących produkty AI, które obsługują tysiące użytkowników jednocześnie.
Dzięki uruchamianiu Bielika wraz z nowymi modelami draftowymi przedsiębiorstwa będą mogły kilkukrotnie skrócić czas generowania odpowiedzi oraz obniżyć koszty infrastruktury” – powiedział cytowany w komunikacie prasowym Krzysztof Ociepa, Head of Model Training w Bielik.AI.
Techniki dekodowania spekulatywnego – DFlash
DFlash to jedna z najnowszych metod zaawansowanej techniki dekodowania spekulatywnego (ang. speculative decoding), która pozwala na optymalizację sztucznej inteligencji poprzez istotne przyspieszenie działania modeli AI bez pogarszania jakości generowanych odpowiedzi.
Polega ona na połączeniu pracy dwóch modeli – lekkiego modelu draftowego z modelem docelowym.
Pierwszy z nich nie proponuje pojedynczych słów, lecz całe fragmenty wypowiedzi, a drugi błyskawicznie poddaje je weryfikacji, zamiast tworzyć odpowiedź od podstaw, jak to ma miejsce w przypadku standardowych rozwiązań.
