Gaga in AI-land
tech | Wes Roth,YouTube | 26 nov 23
Tot nu toe werken Large Language Models aan de hand van mensen, die antwoorden controleren, vragen stellen, grenzen stellen. Zou het niet handiger en sneller zijn als we ze lieten opvoeden door een ander computer, een andere LLM?
Dat gebeurt al. Dat heet nu 'Reinforcement Learning AI Feedback' (RLAIF).
En het bestaat al jaren, zij het in een andere variant.
Google Deep Mind maakte Alpha Go, dat in 2016 een grootmeester in Go versloeg. Dat programma trainde eerst door duizenden spellen na te spelen. Maar zo werd hij niet slimmer dan mensen. Dat gebeurde pas doordat hij zichzelf ging verbeteren.
Een OpenAI techneut vraagt zich nu af: moeten we niet dit zelflerende element toevoegen aan LLM's? Dan zouden we eerst twee ingewikkelde systemen aan elkaar koppelen voordat we de volgende sprong in AI kunnen maken.
Dat kan, maar hoeft niet. Bestaande LLM's kunnen nu al veel, alleen langzamer en duurder. (Terzijde: Alpha Go in 2015 speelde beter toen hij bij iedere zet een minuut bedenktijd kreeg.) Dit geeft een hoopvol perspectief: je kunt een schuur met computers volbouwen die zich aan een beperkte taak wijden. Die zou dan, heel langzaam en voor enkele tientallen miljoenen euro's, als een verrekijker een blik kunnen geven in wat de toekomst van AI zou brengen. Dat zou weer kunnen helpen bij het bedenken van manieren om toekomstige AI-modellen veiliger te maken.
We weten ook dat bestaande modellen beter worden als je ze groter maakt. Dat hebben ze bij OpenAI met modellen bewezen. Een beetje zoals vroeger de Amerikaanse autofabrikanten redeneerden: 'There ain't no substitute for cubic inches.'
Dus misschien is het best mogelijk dat Q*, het veelbesproken model van OpenAI, al een grote sprong heeft gemaakt. Maar een LLM die kan rekenen ('can formulate a non-trivial mathematical conjecture' correct gezegd), zoals nu wordt gespeculeerd, daar is toch meer voor nodig?
Nee, ook daar is al een voorbeeld van. Er is nu al een AI die uit triljoenen opties de goede kan kiezen. We kunnen al een tijdje aminozuren identificeren, de bouwstenen van proteïnen. Maar om een protein te worden moeten ze zich configureren ('vouwen) in een eindeloos ingewikkeld driedimensionaal patroon. Daar zijn triljoenen variaties mogelijk - letterlijk: meer vouwen dan er atomen in het heelal zijn. Maar er is een AI die dat aan kan. Die heet AlphaFold (gelanceerd in 2022) en kan voorspellen welke vorm een bepaalde set aminozuren zal aannemen. (Luister deze Economist podcast om te leren waarom dat belangrijk is voor medische wetenschap).
Dus de prestaties van Q*, als ze al bestaan, zijn niet zo ver verwijderd van wat al bestaat, en ook goed voor te stellen voor mensen die dagelijks met AI werken.
Waarom moest Altman weg?
tech |Tomas Pueyo| 23 nov 23
OpenAI heeft de doos van Pandora nog verder geopend, superieure AI's zijn ontwikkeld en dreigen te worden gelanceerd voordat ze grondig zijn bestudeerd en op veiligheid getest. Daarom maakte de raad van bestuur zich zorgen over Sam Altman. Persbureau Reuters schreef vorige week: 'Voordat Altman werd verbannen schreven verschillende werknemers een brief aan de raad van bestuur waarin ze waarschuwden dat er een belangrijke AI ontdekking was gedaan die de mensheid zou kunnen bedreigen. (...) Deze brief werd door anonieme bronnen als een van de redenen van het bestuur bestempeld, die bij elkaar hadden geleid tot het besluit hem te ontslaan.'
'In een intern memo erkende OpenAI dat er een project was genaamd Q* (Q-ster) dat een doorbraak zou kunnen vormen in de zoektocht naar 'Algemene Kunstmatige Intelligentie (AGI),' schrijft Reuters. Dit nieuwe model kon wiskundige problemen oplossen. Dit is significant. Generatieve AI kan goed schrijven door statistisch het volgende woord in een zin te voorspellen. Maar wiskunde is iets heel anders - iedere vraag heeft maar één goed antwoord. Kansberekening en statistiek spelen geen rol. Als een AI wiskunde kan doen, dan zou dat betekenen dat hij kan redeneren op een niveau dat dat van mensen benadert. Dat hij kan generaliseren, leren en begrijpen.
Dus misschien ging Altman te hard van stapel. Of - maakten de bestuurders zich te veel zorgen?
Dit is de andere kant van het debat (en nog steeds weet niemand waarom het bij OpenAI is geëscaleerd). Opvallend is dat Nick Bostrom, schrijver van 'Superintelligence,' die als een van de eersten waarschuwde voor de gevaren van een superAI, onlangs een ommezwaai maakte. Hij zei: ik maak me meer zorgen over de inspanningen die gedaan worden om de ontwikkeling van AI te vertragen, dan over de risico's van AI zelf.
Probleem is, in de woorden van een andere tech-commentator, Noah Smith: de waarschuwers hebben misschien wel gelijk dat we ons zorgen moeten maken maken, maar ze bieden geen oplossingen. Niks anders dan 'zet dat ding uit!'
Het idee dat een bedrijf dat AI ontwikkelt niet verantwoording zou moeten afleggen aan beleggers en aandeelhouders, maar aan 'de mensheid,' is lovenswaardig. (Ook weer heerlijk dat dit niet in Nederland, Zweden of Moskou is bedacht maar in Californië, het experimentele filiaal van het kapitalistische bolwerk dat de VS heet.) Maar er zullen buiten Californië altijd mensen in de wedstrijd zijn die door minder nobele motieven worden gedreven. Dus moet je als idealist dan toch maar niet meedoen? Zodat de good guys nog een kans krijgen? En was het ideaal al niet geparkeerd op het moment dat Microsoft zijn eerste miljard dollar overmaakte?
'Jeugdbeving' en migratie
politiek | NY Times | 3 nov 23
De opwinding over de verkiezingswinst van Geert Wilders herinnerde mij aan dit stuk van columnist Ross Douthat. Afrika krijgt de komende decennia een 'youthquake,' een 'jeugdbeving.'
Twee van de vijf kinderen worden na 2040 geboren in Afrika; in de jaren '50 zal een derde van alle 15-tot-24-jarigen op de wereld Afrikaans zijn.
Een andere studie neemt Engeland als voorbeeld. Het Verenigd Koninkrijk heeft al vijftig jaar een geboorteratio van minder dan 2 (de vervangingsratio); dat werd opgevangen door massa-immigratie. 'De grootste etnische verandering die de inwoners hebben meegemaakt (...) sinds de Angelsaksen op het eiland arriveerden in de 5de eeuw.' Desondanks zet de vergrijzing door, en de economie is ook niet echt dynamischer geworden. Als het VK voor iedere pensionado 2 tot 3 werkenden wil hebben, zal over nog eens vijftig jaar een derde van de bevolking uit eerste-generatie immigranten bestaan.
Dus het vergrijzende, rijke continent is buur van het continent met de geboorte-explosie, de 'jeugdbeving.' De migratiestroom die we nu zien, van Afrika en het Midden-Oosten naar het rijke Europa, is nog maar een beginnetje.
Dat soort snelle veranderingen in bevolkingssamenstelling is lastig voor democratieën. We zien nu wat voor spanningen het veroorzaakt.
Oplossingen? Meer baby's maken, maar dat is ook weer ingewikkeld. Het enige land in de OESO dat baby-productie stimuleert is Israel. Hoge muren aan de grenzen? Duur, en beperkt effectief. Vergrijzing laten gebeuren, zoals Japan doet? Cultuurbehoud op die manier leidt tot een gestage economische krimp. (betaalmuur, helaas)
OpenAI
tech | Ben Evans | 21 nov 23
'Je hoeft geen expert in bedrijfsvoering te zijn om te begrijpen dat als je de baas gaat ontslaan, je die niet moet beschuldigen van oneerlijkheid als je niet kunt aantonen dat er een ernstige ethische misstap is geweest; en als je zoiets doet, dat je dat even moet vertellen aan mensen die tien miljard dollar in het bedrijf hebben geïnvesteerd.' Zo begint de analyse van Benedict Evans, ervaren tech analist. 'Als je dan vervolgens zegt dat het eigenlijk niet zo bedoeld was en probeert hem weer in dienst te nemen, dan zou je waarschijnlijk zelf moeten aftreden. Helemaal los van die CEO en de aandeelhouders, je hebt dan ook geen vertrouwen meer bij werknemers. (...) Zelfs als ze gelijk hadden, dan nog doe je dingen niet op deze manier.'
De beknopste samenvatting die ik tot nu toe heb gelezen.
Netwerkbeheer
tech | Volts | 21 nov 23
Het internet heeft miljarden gebruikers, die voortdurend uitwisselen - informatie vragen, informatie geven; in steeds variërende hoeveelheden; op verschillende momenten van de dag.
Dat lijkt op een energienetwerk, nietwaar? En dat internet werkt. Dus waarom zou je niet de ontwikkelaars van het internet gebruiken om elektriciteitsnetwerken te moderniseren?
Vooral omdat de vraag naar elektriciteit toeneemt, en de netwerken stokoud zijn - en worden beheerd door ingenieurs die generatie lang zijn getraind op betrouwbaarheid, levensduur, veiligheid - alles, behalve flexibiliteit. En het belangrijkste: nog steeds zijn netwerken grotendeels éénrichtingsverkeer - een systeem met één leverancier, en één netwerk, dat miljoenen huishoudens en bedrijven moet bedienen. Terwijl die 'klanten' inmiddels zonnepanelen op het dak hebben, een elektrische auto voor de deur; en bedrijven hun eigen zonnepanelen en windmolens 'achter de meter' voor zichzelf installeren. Als al die capaciteit nu slim wordt gebruikt, wordt uitgewisseld, is misschien het netwerk, de 'grid,' helemaal niet overbelast maar wordt die juist ont-last.
Deze link is naar een podcast van 1 uur 20 minuten tussen twee nerds, dus dat is te veel van het goede. Maar de geïnterviewde is een mevrouw die jarenlang voor Google heeft gewerkt, precies met de opdracht om Google draaiende te houden met dat almaar toenemende verkeer. Google's monitors verzamelen 6 tot 10 biljoen datapunten per dag. Dat is niet meer centraal te doen. Dus hoe pak je dat aan? 'Eén van onze kernfilosofieën was: hoe bouw je dat zodat exponentiële groei in het systeem mogelijk is met een sub-lineaire groei van het aantal mensen dat nodig is om dat systeem te onderhouden.' (Dan krijgt u een beetje een idee van het soort gesprek.)
Ze vertelt over hoe ze dat decentraliseerden. Het kan, en het kan ook voor energienetwerken. In Australië (hoge dichtheid van zonnepanelen) is geëxperimenteerd met 'distribution system operators' en het beviel zo goed dat het waarschijnlijk landelijk ingevoerd wordt. Haar bedrijf ontwikkelt nu software voor netwerkbeheerders die willen decentraliseren.
Transitie-escalatie in China
tech | Adam Tooze | 15 nov 23
Wereldwijde investeringen in 'klimaatfinanciering' zijn in twee jaar, tussen 2019 en 2022, verdubbeld. De term is vaag (wat is investering, wanneer is die klimaatgerelateerd, hoe meet je dit) maar de bron is serieus (Climate Policy Initiative) en een verdubbeling, in zo korte tijd, daar kun je niet omheen.
Econoom Adam Tooze haalt er wat krenten uit. De bijdrage van de VS en Canada in deze klimaatinvesteringen is 14%, ongeveer hetzelfde als het aandeel van die twee landen in broeikasgassen-uitstoot. Het aandeel van West-Europa is 26%, terwijl we 9% van de CO2-uitstoot veroorzaken. China loopt ongeveer '1 op 1.'
Maar de schaal waarop China werkt is verbluffend. 'De hoeveelheid zonnepanelen die in China dit jaar geïnstalleerd wordt - iets van 210 gigawatt - is twee keer zo veel als de hele bestaande capaciteit in de VS, en 4x zo veel als China in het jaar 2020 installeerde.'
De fabricage van zonnecellen (voor panelen) is helemaal krankzinnig. Dit jaar meer dan 600 Gigawatt, tegen 375GW vorig jaar. Ter vergelijking: in de hele wereld werd vorig jaar 240 GW aan zonnepanelen geïnstalleerd.
30% van alle nieuwe auto's verkocht in China was elektrisch, de afgelopen 12 maanden. En China is nog niet klaar - in 2025 moet er 1.000GW aan zonnepanelen worden afgeleverd, en 3.000 GWh aan accu's geproduceerd.
De escalatie van zonnepanelen is verrassend genoeg te danken aan de onroerend-goed crisis. Lokale overheden, die voor een groot deel van hun inkomsten (belastingen) afhankelijk waren van projectontwikkelaars, zochten ander bedrijvigheid en vonden die in de installatie van zonnepanelen. (tip M. Petit)
politiek | Visual Capitalist | 12 nov 23
Vliegende schotels
tech | The Hill | 10 nov 23
De Amerikaanse overheid heeft na tientallen jaren van waarnemingen door de meest betrouwbare getuigen eindelijk besloten om openlijk eens te bespreken wat er toch in ons luchtruim rondvliegt. Die getuigen – jachtpiloten, hoogopgeleid en getraind op koele waarneming onder hoge druk - zien voortdurend dingen langsvliegen die ze niet kunnen plaatsen. Telkens weer spreken ze van 'metalen bollen' die onmogelijke manoeuvres uitvoeren. Ze worden niet alleen gezien door mensen, ook door sensoren. Zijn het testvluchten van ultrageheime Amerikaanse prototypes? Zijn het spionnen van de vijand - Chinezen, Russen? Of toch .... aliens? Sean Kirkpatrick, natuurkundige en benoemd tot chef van een commissie van het Huis van Afgevaardigden, constateert dat geen enkele waarneming is toe te wijzen aan buitenlandse spionage; de Amerikaanse overheid zegt dat het geen geheime testvluchten zijn. Dus ...? Kirkpatrick zegt: 'aliens.'
JFK
politiek | NY Magazine | 9 nov 23
Was Lee Harvey Osward alleen? Filmregisseur Oliver Stone suggereert in zijn film JFK in 1991 dat er een complot was, geleid door de CIA, en dat Lee Oswald een 'pion' was, een 'patsy' zoals hij zelf zei voordat hij werd vermoord.
Dit verhaal draait om Jeff Morley, een veteraan van de Washington Post die tientallen jaren in de zaak groef. Wat overeind blijft: door verschillende presidenten zijn iets van 320.000 JFK-gerelateerde documenten vrijgegeven. Maar er zijn er nog 4.000 geheim, en de meeste liggen bij de CIA. President Joe Biden stelde een nieuwe ronde van openbaring uit, op verzoek van de CIA.
Er is een gat in de reportages binnen de CIA, over de 17 maanden voorafgaand aan de moord, waarin de CIA Lee Harvey Oswald in de gaten hield. Morley begon in 2003 een WOB-zaak tegen de CIA en kreeg 500 pagina's; maar de CIA zei hij 44 documenten over een bepaalde agent uit 1963, 1978 en 1979 niet zou krijgen.
Dus weer geen sluitend verhaal. Maar waarom dan die geheimhouding?
'Drie keer zo efficiënt'
tech | New Atlas | 7 nov 23
Verticale 'zeilen' bevestigd aan een kabel, vangen wind, gaan bewegen, de kabel wordt op sleeptouw genomen en die zwengelt een generator aan. Concept van start-up Airloom, heeft net 4 miljoen ruggesteun gekregen van Bill Gates.
Dit concept heeft palen van 25 meter hoog, bladen van 10 mtr hoog, kan vervoerd worden op 1 vrachtwagen, onderdelen zijn standaard ... Airloom schat dat de bouwkosten een kwart zijn van de kosten van een windmolen met hetzelfde vermogen. Minder hoog, dus minder dominant in het landschap (en makkelijker te onderhouden). Airloom zegt dat de 'levelized cost of energy' een derde is van een moderne windmolen, 1,3 dollarcent per kwh.
meedoen, niet toekijken
politiek | Noahpinion | 7 nov 23
Liberalisme, het vrije westen, onze waarden, hoe u het maar noemen wil - verliest de informatie-oorlog. In de Tweede Wereldoorlog, betoogt Noah Smith, deden we keihard mee met goed gemaakte films, affiches en reclamespotjes. Sindsdien, ergens in die tachtig jaar, hebben we met elkaar besloten dat dat 'propaganda' is, iets voor Sovjets en Nazi's, maar niet voor ons soort mensen.
'Thought control' is voor de engerds en niet voor een vrije samenleving en dus niet voor ons. We besloten om uit de arena van de vrije meningsuiting te stappen, en het vanaf Olympische hoogte aan te zien.
Stel je nou eens voor dat een land dat wordt binnengevallen door een vreemde mogendheid, zegt dat het niet betrokken wil zijn bij geweld en de verdediging overlaat aan burgers met zelfgemaakte wapens?
Er valt iets tegen te doen. We weten dat er disinformatie is, sociale media worden overspoeld door allerlei vormen van propaganda. Waarom doen we niet mee? Als Rusland en China ons proberen te beïnvloeden via troll farms en TikTok, waarom laten we het tegengeluid dan over aan burgers? 'De Amerikaanse overheid moet meedoen,' zegt Smith. 'Het belangrijkste: onze liberale waarden duidelijk uitleggen, en vertellen waarom ze waardevol zijn, en wat de overheid doet om die te waarborgen.'
Onverbeterlijk ...
psychologie | FT | 3 nov 23
U kent het raadseltje: 'Als een bal en een racket samen €1,10 kosten, en het racket kost €1 meer dan de bal, hoe veel kost dan de bal?' Daniel Kahneman gebruikte dit om uit te leggen dat wij op twee manieren denken: snel en intuïtief, of logisch en langzaam.
Anderen hebben ontdekt dat mensen die het goede antwoord op deze test geven, minder ontvankelijk zijn voor nepnieuws.
Je zou denken dat de meeste mensen wel in staat zijn om het goede antwoord te geven, als ze even de tijd zouden nemen om te checken of hun intuïtieve antwoord wel klopt. Een nieuw onderzoek haalt dit onderuit. De proefkonijnen kregen allerlei steuntjes: “HINT: 10 cent is niet het goede antwoord." Of: "Voordat u antwoordt, overweeg of het goede antwoord misschien '5 cent' is." Of, helemaal bot: "Het antwoord is vijf cent. Zet alstublieft het cijfer vijf in dit veld: ___ cent."
Meer dan 20% van de respondenten schreef nog steeds een verkeerd antwoord op, zelfs nadat ze dus expliciet te horen hadden gekregen wat het goede antwoord was ....
De onderzoeker die eerder het verband legde tussen de racket-en-bal test en nepnieuws, is niet verbaasd over deze uitkomst: er zullen altijd mensen zijn die liever vertrouwen op hun eigen buikgevoel, zegt hij, dan op advies of suggesties van een of andere wijsneus die ze niet kennen.
Econoom Tim Harford concludeert: we kunnen misschien een deel van de mensheid leren dat ze nepnieuws kunnen herkennen - door even pauzeren, nadenken, een paar vragen stellen. Maar er zal altijd die 20% onverbeterlijken zijn. (FT heeft betaalmuur, vandaar deze wat langere samenvatting)
Goliath en David
geld | Adam Tooze | 29 okt 23
De economie van Rusland is 15 x groter dan die van Oekraïne in absolute dollars; acht keer groter in termen van 'purchasing power parity,' zeg maar koopkracht.
Dat betekent dat de leger-uitgaven van Rusland, zelfs als ze even groot zijn als die van Oekraïne, een veel kleinere fractie van de economie zijn; 6% van BBP, schat econoom Adam Tooze. 'Om dit werkbaar te maken hoeft Moskou maar klein beetje aan de economische knoppen te draaien.'
Veel industrie in Oekraïne is in elkaar gestort; en de 8-9 miljoen mensen die naar het buitenland zijn gevlucht vertegenwoordigen de grootste exodus in een halve eeuw. Alle indicatoren staan op alarm: omvang van de staat als percentage van de economie, hoeveelheid mensen die afhankelijk zijn van staatssteun, en ga zo maar door.
En toch .. draait de economie van Oekraïne, is de hryvnia niet in waarde gekelderd, zijn de staatsobligaties zelfs aan het stijgen sinds de zomer. Dankzij financiële samenwerking van centrale bank, overheid en vooral buitenlandse geldleners.
Elektrische revoluties
tech | FT, Economist | 27 okt 23
Toyota zegt dat het in 2027 in staat zal zijn om om zogenaamde 'solid state' accu's te produceren voor zijn elektrische auto's. Die zouden in tien minuten kunnen opladen en een actieradius bieden van meer dan 900 km op een volle accu. Het zou een doorbraak betekenen voor elektrische mobiliteit. Buitenstaanders zijn skeptisch, maar Toyota zet door. Dit FT-artikel bevat ook een mooie gedetailleerde uitleg over het verschil tussen 'solid state' en een gewone accu, voor leken zoals de Bicker.
Een andere hoopgevende ontwikkeling in accu-land: zout in plaats van lithium. Zout is, in tegenstelling to lithium, overal te vinden, en makkelijk te ontginnen zonder grote milieuschade. Een sodium-kathode heeft bovendien geen kobalt of nikkel nodig om optimaal te functioneren - zoals lithium die wel nodig heeft. Nadeel: zwaarder dan lithium en minder 'energiedichtheid,' dus niet ideaal voor telefoons, laptops en auto's; maar wel voor thuisaccu's (om zon- en wind-energie op te slaan), zwaar transport en netwerken. CATL, de grootste accufabrikant ter wereld, is één van de tientallen bedrijven in China die nu fabrieken bouwen voor de productie van na-ion accu's. Zo ook BYD.
Stop/go/stop ....
tech | The Verge | 24 okt 23
Een slechte week voor zelfrijdende auto's. Cruise, een van de twee bedrijven die in San Francisco zelfrijdende taxi's aanbieden, heeft zijn vergunning verloren 'met onmiddellijke ingang,' na een ongeluk. En Tesla kreeg een dagvaarding van de federale overheid om interne documenten af te geven die betrekking hebben op de 'zelfrijdende aspecten' van de auto's. Zo'n dagvaarding volgt meestal als het Openbaar Ministerie denkt dat een bedrijf niet vrijwillig alles heeft ingeleverd.
Het ongeluk met de Cruise taxi was er typisch een van de categorie 'je kunt 't niet verzinnen.' Een voetganger werd aangereden door een wegpiraat, vloog door de lucht, en landde voor de robotaxi. Die remde, week uit, maar niet voldoende, en kwam tot stilstand met het been van de voetganger nog steeds onder een achterwiel. Pas nadat Cruise op afstand de auto had ontsloten, kon de vrouw worden bevrijd. Ze is niet in levensgevaar.
China begrijpen
politiek, economie | Marginal Revolution | 18 okt 23
Econoom Tyler Cowen is lyrisch over een nieuw boek, en dat is al voldoende aanbeveling. 'China's World View: demystifying China to prevent global conflict,' door David Daokui Li.
Voorbeeld: door de anticorruptie campagne van de Communistische Partij doen ambtenaren niets meer. Wat vroeger mocht, is opeens strafbaar verklaard. Een ambtenaar die daadkrachtig is maakt onvermijdelijk vijanden, en riskeert dus aangegeven te worden door een opportunistische klokkenluider. Dan maar beter niks doen.