Τα μεγάλα γλωσσικά μοντέλα (LLM) είναι ισχυρά εργαλεία και τα ChatGPT, Microsoft Copilot και Google Gemini καταφέρνουν να κλέβουν τις εντυπώσεις. Οι δυνατότητές τους είναι εκτεταμένες, όπως και τα ελαττώματά τους. Οι ψευδαισθήσεις είναι ένα μεγάλο πρόβλημα με LLMs όπως αυτά, αν και οι εταιρείες τις γνωρίζουν και προσπαθούν να τις εξαλείψουν όπου είναι δυνατόν. Ωστόσο, αυτά τα μοντέλα δεν είναι το μέλλον των LLMs. Το μέλλον της τεχνητής νοημοσύνης είναι τα μικρότερα, εξειδικευμένα μοντέλα, παρά τα εργαλεία γενικού σκοπού όπως είναι αυτά.
Φανταστείτε ότι είστε μια επιχείρηση και θέλετε να αναπτύξετε ένα εσωτερικό LLM που μπορεί να βοηθήσει τους προγραμματιστές σας με τον προγραμματισμό. Θα μπορούσατε να πληρώσετε για όλο το εύρος του GPT-4 Turbo, με το κόστος που προκύπτει για κάθε συναλλαγή… ή, θα μπορούσατε να χρησιμοποιήσετε την Nvidia, το Hugging Face και το StarCoder2 LLM της ServiceNow. Είναι σημαντικά μικρότερη, με μόλις 15 δισεκατομμύρια παραμέτρους, είναι δωρεάν στη χρήση (εκτός από τα έξοδα που προκύπτουν από την τοπική εκτέλεση) και έχει πολύ καλές επιδόσεις σε εργασίες κωδικοποίησης.
Πηγαίνοντας τα πράγματα ένα βήμα παραπέρα, υπάρχουν και άλλα LLM προγραμματισμού που είναι εξειδικευμένα μόνο για αυτό και τα οποία μπορείτε επίσης να χρησιμοποιήσετε. Μπορεί να μην είναι ακόμη πλήρως ικανά για όλα όσα μπορεί να κάνει το GPT-4, αλλά η εργασία αυξάνεται συνεχώς σε αυτόν τον τομέα, και με αυτά τα μοντέλα να είναι τόσο μικρά, υπάρχουν πολλά καλά που μπορούν να επιτευχθούν με αυτά. Όταν πρόκειται για τα πολύ μικρά μοντέλα με 7 δισεκατομμύρια παραμέτρους (ή ακόμα λιγότερες), τότε υπάρχουν ακόμα περισσότερες επιλογές.
Για παράδειγμα, αν και δεν είναι ακριβώς ένα μοντέλο εξειδικευμένης χρήσης, το Vicuna-7B είναι ένα μοντέλο που μπορείτε πραγματικά να τρέξετε σε ένα smartphone Android, αν έχει αρκετή μνήμη RAM. Τα μικρότερα μοντέλα είναι πιο φορητά, και αν επικεντρώνονται σε ένα μόνο θέμα, μπορούν ακόμα να εκπαιδευτούν ώστε να είναι καλύτερα από τα μεγαλύτερα, πιο ευέλικτα LLM όπως το ChatGPT, το Microsoft Copilot ή το Gemini της Google.
Το άλλο πλεονέκτημα των μικρότερων μοντέλων είναι ότι υπάρχουν πολύ λιγότερες απαιτήσεις και απαγορεύσεις κόστους για μεγαλύτερες εταιρείες που επιθυμούν να δημιουργήσουν το δικό τους γλωσσικό μοντέλο. Με ένα μικρότερο, υπερ-εστιασμένο σύνολο δεδομένων σε μια χούφτα θεμάτων, υπάρχει σημαντικά χαμηλότερο εμπόδιο εισόδου. Για να πάμε τα πράγματα ένα βήμα παραπέρα, το Retrieval-Augmented Generation (RAG), όπως το Chat της Nvidia με το RTX, επιτρέπει την ανάπτυξη ενός μικρότερου γλωσσικού μοντέλου που δεν χρειάζεται καν να εκπαιδευτεί σε συγκεκριμένα δεδομένα. Αντ’ αυτού, μπορεί απλώς να αντλεί απαντήσεις από την τεκμηρίωση και μάλιστα να λέει στον χρήστη σε ποιο ακριβώς έγγραφο βρήκε την απάντηση, ακριβώς για να μπορεί ο χρήστης να επαληθεύσει ότι η απάντηση είναι σωστή.
Ως εκ τούτου, ενώ τα μοντέλα ChatGPT και άλλα έχουν τη θέση τους, είναι απίθανο ότι αυτά τα μοντέλα αποτελούν το μέλλον για το πού θα μας οδηγήσει πραγματικά η τεχνητή νοημοσύνη. Είναι γενικής χρήσης, αλλά αν θέλουμε να χρησιμοποιήσουμε τα LLM ως εργαλείο, τότε αυτά τα εργαλεία πρέπει να είναι ειδικοί στα πράγματα για τα οποία εκπαιδεύονται. Το GPT-4 δεν θα είναι ποτέ ειδικός σε όλα, αλλά ένα γλωσσικό μοντέλο που έχει κατασκευαστεί για κωδικοποίηση μπορεί κάλλιστα να είναι. Συν τοις άλλοις, δεν χρειάζεστε κάτι τόσο ισχυρό όσο το GPT-4 ούτε για πολλές εργασίες, και είναι φθηνότερο και λιγότερο εντατικό να χρησιμοποιήσετε κάτι πολύ απλούστερο.
Ως παράδειγμα, φανταστείτε ένα LLM που χρησιμοποιείται για τη διαχείριση ενός έξυπνου σπιτιού. Γιατί αυτό το γλωσσικό μοντέλο πρέπει να έχει παραμέτρους γεμάτες με πληροφορίες σχετικά με τον προγραμματισμό; Κάτι τέτοιο, αν είχε αναπτυχθεί στο σπίτι κάποιου, μπορεί κάλλιστα να εκπαιδευτεί σε ένα πολύ μικρότερο σύνολο δεδομένων με παραμέτρους που είναι πραγματικά σχετικές. Μπορεί να γίνει κύριος της διαχείρισης του έξυπνου σπιτιού, χωρίς να σπαταλήσει πολύτιμους πόρους για τη δημιουργία εσωτερικών δικτύων για θέματα που δεν είναι σχετικά.
Συνολικά, τα LLM γενικού σκοπού θα έχουν τη θέση τους, αλλά το μέλλον της τεχνητής νοημοσύνης βρίσκεται πραγματικά στον μικρότερο, εξειδικευμένο χώρο. Έχουμε ήδη μικρότερα γλωσσικά μοντέλα, όπως το Vicuna-7B, ικανά να λειτουργούν σε συσκευές που χωράνε στην τσέπη μας. Ένα μοντέλο 7 δισεκατομμυρίων παραμέτρων είναι ικανό για πολλά όταν εξειδικεύεται σε μια συγκεκριμένη χρήση, και προς τα εκεί ακριβώς πιστεύω ότι ο κλάδος κατευθύνεται. Το StarCoder2 είναι ένα παράδειγμα αυτού, και με το RAG να αρχίζει να απογειώνεται επίσης, υποψιάζομαι ότι θα δούμε λιγότερα βαριά μοντέλα και πολύ περισσότερα μικρότερα αλλά ακριβή μοντέλα.
Αν θέλετε να δοκιμάσετε μερικά από αυτά τα μικρότερα LLM, μπορείτε να το κάνετε χρησιμοποιώντας εργαλεία όπως το LM Studio και μια ισχυρή GPU. Δεν είναι τόσο δύσκολο να τρέξετε, αρκεί να έχετε πολύ vRAM, και υπάρχουν πολλά εξειδικευμένα μοντέλα για κάθε είδους χρήσεις που μπορείτε να δοκιμάσετε. Υπάρχει κάτι για όλους, και μόλις τα δοκιμάσετε, θα καταλάβετε γιατί το μέλλον της τεχνητής νοημοσύνης θα είναι αυτά τα μοντέλα που μπορεί να τρέξει ο καθένας, οπουδήποτε και οποτεδήποτε.