Probabilistisch

Wat heb je er aan?

tech | Ben Evans | 22 jan 25

Ben Evans schrijft: 'Ik vroeg ChatGPT40 hoeveel mensen als liftbediende werkten in de VS in het jaar 1980. (dat antwoord staat in de cijfers van het Amerikaanse CBS en het is: 21.982.) 'Eerst stel ik de vraag zonder verdere toelichting, en ik krijg een antwoord dat specifiek is, zonder bronvermelding, en fout.'

'Dan help ik hem door hem de primaire bron te vertellen, en ik krijg een ander fout antwoord met een lijst bronnen die inderdaad afkomstig zijn van het CBS, en de eerste link gaat naar de correcte PDF, maar het aantal is nog steeds fout. Hmm. Als ik hem de exacte PDF geef? Nee. Als ik hem vertel waar hij precies moet zoeken in de PDF? Nee. Als ik hem vraag het web af te stropen? Niks.'

'Het probleem is niet dat het antwoord fout is, maar dat ik dat alleen kan vaststellen door zelf al het werk te doen. Misschien kom ik dan dichter in de buurt. (...) Maar ik ben niet op zoek naar een antwoord dat misschien meer in de buurt komt, vooral als ik dat niet zelf kan zien. Ik wil een antwoord dat correct is.'

'Maar deze modellen doen niet aan 'correct.' Het zijn probabilistische, statistische systemen die jou vertellen hoe een goed antwoord er waarschijnlijk uit ziet. Het zijn geen deterministische systemen die jou vertellen wat het antwoord is. Ze 'weten' niet en ze begrijpen' niet - ze benaderen. Een 'beter' model benadert dichterbij, maar is nog steeds probabilistisch.'

OK, tot zo ver de skepsis. Evans zegt: je moet ook niet een probabilistisch systeem vragen om een deterministisch probleem op te lossen. Je moet niet een LLM vragen om een zoekopdracht uit te voeren. Misschien kun je een probabilistisch systeem (een LLM) leren om een deterministische zoekmachine te selecteren, die dan op zoek gaat naar het antwoord. En misschien is dit wel inherent aan disruptie: een totaal nieuw product doet de oude dingen slecht maar kan nieuwe dingen heel goed. Conclusie: we weten 't nog niet.