MIXTURE OF EXPERTS

Le moderne reti neurali, prendiamo come esempio DeepSeek V3.1, possono contare su un numero enorme di parametri: 671 miliardi. Tuttavia, non tutti questi vengono utilizzati contemporaneamente: in media, ne vengono attivati “solo” 37 miliardi.

Perché questa scelta?

La risposta è semplice: ottimizzazione. Attivare ogni nodo in ogni elaborazione sarebbe estremamente costoso in termini di calcolo ed energia. Invece, l’architettura di queste reti prevede che i parametri siano suddivisi in settori specializzati, ognuno con competenze specifiche.

Così, quando inseriamo un prompt, il modello non mobilita l’intero “cervello artificiale”, ma solo le aree pertinenti alla domanda. Questo approccio permette di:

Ridurre i costi di calcolo,

Velocizzare la generazione degli output,

Sfruttare al meglio le diverse competenze interne della rete.

Questa idea di attivazione selettiva non è nuova: le prime architetture sparse risalgono già agli anni ’90. Oggi però, con i Large Language Models (LLM), è diventata una delle soluzioni più efficaci per coniugare potenza e sostenibilità.