Google har presenterat TurboQuant, en ny algoritm som krymper AI-modellers minnesanvändning med upp till sex gånger.
Google har presenterat algoritmen TurboQuant, ett nytt verktyg som komprimerar AI-modellers arbetsminne. Tekniken kan minska den så kallade KV-cachen med minst sex gånger och öka hastigheten upp till åtta gånger, helt utan att AI:ns svar tappar i kvalitet.
Nätet var snabbt med att dra paralleller till "Pied Piper", företaget i HBO-serien Silicon Valley som uppfinner en snudd på magisk komprimeringsalgoritm. Enligt tekniksajten Digit fungerar Googles nya metod ungefär som när man sparar en bild som JPEG. Tekniken rensar bort osynliga dataöverflöd och behåller bara exakt det som krävs för att AI:n ska förstå sammanhanget.
I tester på AI-modellerna Gemma och Mistral lyckades forskarna pressa ner minneskravet till 3 bitar per värde, skriver News4Hackers. För att lyckas använder Google två underliggande metoder, PolarQuant och QJL, vilka tillsammans raderar behovet av de resurskrävande beräkningar som äldre komprimeringsförsök har dragits med.
Om tekniken når bred användning kan det radikalt sänka kostnaderna för att driva AI-tjänster i molnet. Det öppnar också dörren för att köra avsevärt kraftfullare språkmodeller lokalt på vanliga mobiler och datorer, där bristen på RAM-minne länge varit den största flaskhalsen. Nyheten räckte till och med för att skaka om marknaden – enligt Seeking Alpha backade aktierna för flera stora minnestillverkare kort efter Googles utspel.
Än så länge är TurboQuant ett experiment i labbmiljö som enbart påverkar själva användningen av AI, inte den tunga träningen. Forskningsteamet ska presentera sina fullständiga resultat på AI-konferensen ICLR nästa månad.
Läs också: