Maybe another Jev based on BERT
TypeSafe non ha pubblicato l’architettura di Jev, i suoi pesi né un technical paper. Ha dichiarato che il modello è basato su transformer, che è addestrato solo su dati sintetici e che non è autoregressivo, cioè non produce la risposta un token dopo l’altro. Secondo TypeSafe, Jev usa una nuova architettura con un parallel sampler, produce tutte le risposte in una sola query e valuta in parallelo e in modo indipendente le domande poste sullo stesso stato. Le probabilità sono calibrate con un post-training che TypeSafe chiama RLCD (Reinforcement Learning for Calibrated Decisions), che le confronta con gli esiti osservati e le corregge. ...