Semmosta se vähän on nii. Aloin jo lukemaan ensimmäistä kirjaa noista.
Olethan nämä videot jo katsonut? Lähtee aika perusteista, mutta päätyy lopulta selventämään nykyisten kielimallien toimintaa mielestäni todella hyvin.
https://youtube.com/playlist?list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi
Nämä nykyiset kielimallit pilkkovat sanat tokeneiksi, joiden välisiä suhteita verrataan moniulotteisessa vektorimatriisissa. Tuo voisi karkeasti vastata ihmisaivojen kielenprosessointia. Tulevan AGI:n pitäisi mielestäni ehkä luultavasti rakentua enemmän niin, että koko aistidatasta audio, visuaalinen, "kehon tuntemukset" jne. tokenisoidaan dynaamisesti symbooleiksi, joiden väliset suhteet rakentuvat ja täydentyvät kokemusten seurauksena osittain alitajuisina prosesseina. Jos tällaiset dynaamisesti neuroverkon avulla aistidatasta poimitut symboolit pystyttäisiin tallentamaan moniulotteiseen vektoritietokantaan lisäten aina uusia ulottuvuuksia uuden symboolin luomisen jälkeen ja josta sitten rakennettaisiin suhteita mielessä (vektoritietokannassa) jo olevien asioiden kanssa tulevien kokemusten pohjalta, niin se vastaisi ehkä paremmin sitä miten ihmismieli toimii ja teknisesti tuo pitäisi mielestäni olla jokseenkin jopa toteutettavissa. En tosin tiedä sitten onko tuo oikeasti hyvä lähestymistapa kyseiseen asiaan.
E: Ihmisaivothan siis poimivat aistidatasta vaikka auton ja tekevät siitä symboolin. Voit nähdä auton tai voit kuulla auton tai voit haistaa pakokaasun, mutta yhdistät sen samaan auto symbooliin, jota käsittelet mielessäsi. Jung: The Man and His Symbols