It's all about Gas

(come giocare con i palloncini e, nel frattempo, validare le reti neurali) Abbiamo appena finito di addestrare il nostro modello. Ma il lavoro non è ancora concluso. Adesso dobbiamo capire se l’addestramento è andato a buon fine. Quando si valuta sia l’andamento della fase di training sia lo stato finale raggiunto dal modello, entrano in gioco due concetti fondamentali: overfitting e underfitting. Nel primo caso il modello si è adattato eccessivamente ai dati di addestramento. Nel secondo, invece, non è riuscito ad “apprendere” a sufficienza. In entrambi i casi ci troviamo di fronte a un modello incapace di generalizzare. ...

Se un palloncino è mezzo sgonfio è floscio e non tiene alcuna forma. Proviamo a giocarci ma nessuna sollecitazione riesce a fargli assumere quella forma che ci servirebbe. Un palloncino troppo gonfio invece ha il problema opposto. La forma ce l’ha, ma è talmente teso da renderlo “instabile” al punto che la minima sollecitazione rischia di farlo scoppiare. Sono i due eccessi da cui siamo partiti nella prima parte, underfitting e overfitting, guardati dal lato di quanto un sistema riesce ad assestarsi. Il modello “sgonfio” non ha raggiunto alcuna “forma” vicina a quella descritta dai dati. Il modello che ha “riempito” perfettamente la forma dei dati, rumore compreso, adesso non ha più gioco per accogliere un dato nuovo. ...

Dato un modello addestrato, quando sbaglia, come facciamo a descrivere l’errore commesso? Nella Parte 1 abbiamo risposto a questa domanda scomponendo l’errore nella somma di tre parti ben distinte. Il bias dipende dal modello stesso. La varianza dipende invece dal fatto che il modello è stato addestrato su un campione finito e quindi varia al variare della composizione del dataset. E infine c’è il rumore, elemento che fa parte dei dati utilizzati e non si può eliminare in alcun modo. Il risultato che abbiamo ottenuto da questa scomposizione sta proprio nella sua natura additiva. Natura che emerge dal calcolo della media e che ci permette di studiare questi tre pezzi uno alla volta. ...