AI piekt?

AI piekt?

Large Learning Models (LLM’s) zijn duur om te bouwen en te draaien; en de hoeveelheid lesmateriaal is beperkt; dus het zou best kunnen dat de ontwikkeling van AI binnenkort een plateau bereikt. Dat we op het steilste punt van de S-curve zitten. Een LLM met 1 biljoen parameters kost nu $300 miljoen om te bouwen; eentje met 10 biljoen zou $30 miljard kosten. En LLM’s worden getraind door het hele internet te lezen en te absorberen; maar de hoeveelheid kwalitatief goede, Engelstalige tekst zou al in 2026 volledig zijn gebruikt. (zegt deze studie.) Dus hoe maak je hem dan slimmer? Nvidia zou nog snellere chips kunnen maken, massaproductie maakt onderdelen goedkoper, nieuwe trainingsmethodes laten de LLM sneller en/of slimmer leren. Maar een groeivertraging is niet denkbeeldig.