GPT-2

Μελέτη του MIT εξηγεί γιατί το scaling στα γλωσσικά μοντέλα λειτουργεί τόσο αξιόπιστα

Ερευνητές του MIT προτείνουν μια μηχανιστική εξήγηση για το γιατί η απόδοση των μεγάλων γλωσσικών μοντέλων κλιμακώνεται τόσο σταθερά με το μέγεθος. Το κλειδί, λένε, είναι ένα φαινόμενο που ονομάζεται υπέρθεση. Η…