Paolo Caressa

Da pochi anni siamo abituati a infrastrutture IT in grado di interagire con noi per iscritto e nelle lingue umane: si tratta probabilmente della più grande innovazione dell'AI da quando esiste, cioè dalla fine degli anni '40. Eppure esattamente 60 anni fa, nel 1966, era in opera presso l'università di Stanford un programma di conversazione che diede qualche fama, e qualche inquietudine, al suo inventore, il matematico tedesco Joseph Weizenbaum. Il programma si chiamava ELIZA e simulava uno psicologo. In questo talk ne ricostruiamo la storia e ne mostriamo una implementazione, basata sui principi e sui linguaggi di programmazione dell'AI di quell'epoca, raccontando così la storia della prima estate dell'intelligenza artificiale, durata un paio di decenni, in cui le AI si potevano programmare e far girare su computer milioni di volte meno potenti di uno smartphone.

Ormai sono considerati una sorta di pre-processing per i transformer, ma gli embedding, apparsi quasi quindici anni fa, ne costituiscono la parte essenziale: infatti forniscono il dato numerico, l'unico che un transformer, come una qualsiasi altra rete neurale, sia in grado di manipolare.

Quando ci spiegano come un LLM "vede" il mondo, di solito ci parlano di vettori, distanze del coseno (che poi distanze non sono) e altre nozioni di base che si insegnano da decenni in tutti i corsi di geometria delle facoltà scientifiche.

Ma la grande trovata cartesiana di algebrizzare la geometria scrivendo coordinate per i punti ed equazioni per curve e superficie collima con la nostra intuizione solo in dimensione 2 e 3. Cosa succede in uno spazio con 1000 dimensioni, come quelli dove vivono i vettori usati dai transformer?

La risposta potrebbe sorprendervi