Indica un intervallo di date:
  • Dal Al

Sformaggiata di deep learning

“Condire bene e sformaggiare” credo che sia una delle frasi più classiche della cucina emiliana dove praticamente mettiamo il Parmigiano su tutto e questo mi ha fatto venire in mente un parallelo con quello che sta accadendo oggi nel mondo dell’intelligenza artificiale: se le tecnologie fossero pietanze, infatti, il deep learning sarebbe il formaggio.

L’ultimo caso è l’annuncio di Google sulla traduzione automatica: grazie a un nuovo approccio basato sul deep learning, il sistema di Google sarebbe adesso addirittura in grado di tradurre bene quasi come una persona. La notizia ha fatto il giro del mondo ma in pochissimi hanno approfondito il tema, puntando principalmente sul sensazionalismo e sulla fiducia che, a colossi come Google, si dà spesso con troppa leggerezza: mi aspettavo che prima poi anche sulla traduzione automatica arrivasse la sformaggiata di deep learning ed ecco che è successo :-)

Da quello che si legge, pare più che altro che il miglioramento sia sul cinese: prima la traduzione da e verso il cinese era veramente scarsa ed è logico che abbiano migliorato il sistema per questa lingua molto importante: per il resto, francamente, non mi aspetto che piccoli incrementi qua e là.

La cosa che voglio far notare però è un’altra, e cioè come è stata misurata la qualità del nuovo sistema per arrivare ad affermare che è molto vicina a quella ottenibile con la traduzione da parte di una persona. Da quanto si legge, hanno preso 500 frasi (neanche documenti) da Wikipedia e articoli di attualità e hanno fatto valutare ad alcune persone la traduzione di Google e quella fatta da traduttori (spero almeno professionisti).

Una misurazione di questo tipo è del tutto irrilevante e non significativa: il campione è assolutamente troppo piccolo e le fonti sono le migliori possibili per questo test. In pratica, è come fare un sondaggio sull’apprezzamento di un nuovo prodotto chiedendo in tutta Italia a 10 persone fra cui 8 dipendenti dell’azienda che ha lanciato il prodotto!

In sostanza, anche a Google piace vincere facile: ovviamente, qualunque miglioramento è positivo ma spacciare piccole evoluzioni per grandi cambiamenti non è corretto.

Naturalmente, sono disposto a cambiare opinione dopo avere provato il sistema aggiornato: i tempi di aggiornamento non sono scritti in modo chiaro, perciò mi sono segnato di fare qualche prova l’anno prossimo e condividerò i risultati in un altro post.