Chinese onderzoekers hebben een truc ontwikkeld om AI-systemen te trainen op speciale geheugenchips. Daarbij wordt in theorie tot een miljoen keer minder energie verbruikt dan met training op traditionele grafische kaarten.
Het trainen van AI-modellen zoals ChatGPT vergt enorme hoeveelheden energie. Grafische kaarten (GPU’s) hebben immers veel stroom nodig om de ontelbare berekeningen uit te voeren die modellen aandrijven. Wetenschappers zoeken al langer naar efficiëntere alternatieven en zogeheten memristors worden daarbij gezien als een veelbelovende oplossing.
Memristors zijn een speciaal type geheugenchip dat data tegelijkertijd kan opslaan en verwerken. Conventionele computers moeten voortdurend gegevens heen en weer sturen tussen processor en geheugen. Dat kost energie. Memristors slaan die stap over door berekeningen uit te voeren op de plek waar de data zich bevindt.
Het probleem is dat memristors analoge componenten zijn; ze werken met continue waarden in plaats van de enen en nullen van digitale chips. Dat maakt ze van nature gevoeliger voor ruis en kleine willekeurige afwijkingen.
Ruis bestrijden met kansberekening
Precies daar gaat het mis bij bestaande trainingsmethoden. Standaardalgoritmen gaan ervan uit dat elke aanpassing exact wordt uitgevoerd. Maar memristors introduceren kleine fouten. Het trainen wordt daardoor instabiel en de prestaties gaan achteruit.
De oplossing van de onderzoekers: in plaats van de onvoorspelbaarheid te bestrijden, omarmen ze die. Hun methode, EaPU genaamd, werkt met kansen die aansluiten bij de natuurlijke ruis van de memristors. Als een gewenste aanpassing kleiner is dan de verwachte fout, beslist het systeem willekeurig om óf een grotere aanpassing te doen, óf helemaal niets. Gemiddeld levert dat hetzelfde resultaat op, maar het sluit veel beter aan bij het daadwerkelijke gedrag van de chip.
Tot een miljoen keer minder energie
Volgens de studie leidt die aanpak tot duidelijk betere resultaten bij training op memristors. In tests met ruisgevoelige netwerken verbeterde de nauwkeurigheid met meer dan 60 procent ten opzichte van standaardmethoden voor analoge hardware. Die winst geldt vooral in situaties waarin klassieke algoritmen vrijwel vastlopen door hardware-ruis.
De grootste belofte zit echter in het energieverbruik. Vergeleken met training op GPU’s gebruikt het memristorsysteem met EaPU bijna een miljoen keer minder energie. Dat cijfer is gebaseerd op metingen op experimentele hardware en simulaties van toekomstige chiptechnologie, niet op directe vergelijkingen met bestaande datacenters.
Ook binnen het memristordomein zelf is de winst aanzienlijk: EaPU verbruikt tientallen keren minder energie dan eerdere trainingsmethoden voor dit type hardware, vooral doordat veel minder parameters hoeven te worden aangepast.
Over de auteur
