Στο επεισόδιο #490 του podcast του Λεξ Φρίντμαν (Lex Fridman) συζητούν ο ερευνητής μηχανικής μάθησης Σεμπάστιαν Ράσκα (Sebastian Raschka) και ο Νέιθαν Λάμπερτ (Nathan Lambert), επικεφαλής μετα-εκπαίδευσης στο Allen Institute for AI. Αφετηρία τους είναι η λεγόμενη «στιγμή DeepSeek» του Ιανουαρίου 2025, όταν η κινεζική εταιρεία κυκλοφόρησε το μοντέλο ανοιχτών βαρών DeepSeek R1 με επιδόσεις κοντά στην αιχμή και πολύ χαμηλότερο κόστος, πυροδοτώντας έναν επιταχυνόμενο ανταγωνισμό σε έρευνα και προϊόντα.
Ο Ράσκα εκτίμησε ότι δεν υπάρχει σενάριο «ο νικητής τα παίρνει όλα», γιατί οι ερευνητές αλλάζουν συχνά εργαστήρια και οι ιδέες κυκλοφορούν· αυτό που διαφοροποιεί είναι ο προϋπολογισμός και το υλικό. Ο Λάμπερτ σημείωσε ότι το hype για το Claude Opus 4.5 της Anthropic είναι μεγάλο, ενώ το Gemini 3 της Google, αν και ισχυρό, δεν συζητιέται τόσο πια. Παράλληλα, στην Κίνα δεν υπάρχει μόνο η DeepSeek: μοντέλα όπως τα GLM της Z.ai, της MiniMax και το Kimi K2 Thinking της Moonshot κερδίζουν έδαφος, ενώ οι κινεζικές εταιρείες βλέπουν τα ανοιχτά βάρη ως τρόπο να αποκτήσουν επιρροή στις ΗΠΑ χωρίς να πουλήσουν ακριβές συνδρομές API.
Στο τοπίο των ανοιχτών μοντέλων ακούστηκαν ονόματα όπως DeepSeek, Kimi, MiniMax, Z.ai, Qwen, Mistral, Gemma, gpt-oss, Nemotron 3 και OLMo. Ο Λάμπερτ εξήγησε ότι τα κινεζικά ανοιχτά μοντέλα τείνουν να είναι μεγαλύτερα μείγματα ειδικών και συχνά έχουν πιο φιλικές άδειες χρήσης, ενώ μοντέλα όπως το Llama ή το Gemma έχουν περιορισμούς, για παράδειγμα υποχρεώσεις αναφοράς πάνω από κάποιο αριθμό χρηστών. Ο Ράσκα πρόσθεσε ότι το gpt-oss ξεχωρίζει επειδή εκπαιδεύτηκε με έμφαση στη χρήση εργαλείων, κάτι που μπορεί να μειώσει τις παραισθήσεις μέσω αναζήτησης ή εκτέλεσης κώδικα αντί απομνημόνευσης.
Αρχιτεκτονικά, ο Ράσκα τόνισε ότι τα σημερινά μοντέλα παραμένουν ουσιαστικά απόγονοι του transformer του GPT-2. Οι βασικές αλλαγές είναι μείγμα ειδικών, πολυκεφαλική λανθάνουσα προσοχή, ομαδική προσοχή ερωτημάτων, συρόμενο παράθυρο προσοχής και πιο πρόσφατα υβριδικές προσεγγίσεις εμπνευσμένες από μοντέλα καταστάσεων, όπως το gated delta net του Qwen3-neXt. Αυτές οι παραλλαγές βελτιώνουν την οικονομία μνήμης και συμπερασμού, αλλά δεν αλλάζουν θεμελιωδώς το αυτοπαλινδρομικό παράδειγμα· ο Λάμπερτ πρόσθεσε ότι μεγάλη πρόοδος έρχεται και από τα συστήματα, όπως η εκπαίδευση FP8 και FP4 και οι ταχύτερες επικοινωνίες GPU.
Στους νόμους κλιμάκωσης, ο Λάμπερτ εξήγησε ότι η προ-εκπαίδευση δεν έχει πεθάνει, αλλά έγινε πανάκριβη· το πραγματικό κόστος δεν είναι τόσο η εκπαίδευση όσο η εξυπηρέτηση εκατοντάδων εκατομμυρίων χρηστών. Η εκπαίδευση ενός μοντέλου μπορεί να κοστίσει μερικά εκατομμύρια δολάρια, ενώ η συνεχής εξυπηρέτηση δισεκατομμύρια. Ο Ράσκα πρόσθεσε ότι το ζήτημα είναι πού ξοδεύεις υπολογιστικούς πόρους: προ-εκπαίδευση, μέση εκπαίδευση, μετα-εκπαίδευση ή συμπερασμό. Η ενισχυτική μάθηση με επαληθεύσιμες ανταμοιβές και η κλιμάκωση χρόνου συμπερασμού έφεραν τα μεγαλύτερα οφέλη το 2025, επιτρέποντας στα μοντέλα να σκέφτονται περισσότερο πριν απαντήσουν.
Σχετικά με τα δεδομένα, ο Λάμπερτ περιέγραψε τη στροφή από ακατέργαστο Common Crawl σε φιλτραρισμένα και συνθετικά δεδομένα· τα εργαστήρια χρησιμοποιούν οπτική αναγνώριση χαρακτήρων για να μετατρέψουν δισεκατομμύρια PDF σε κείμενο, ενώ επαναδιατυπώνουν πηγές σε πιο δομημένες μορφές. Σημαντικό θέμα είναι τα δικαιώματα: η Anthropic έχασε δικαστική υπόθεση και οφείλει περίπου 1,5 δισεκατομμύριο δολάρια σε συγγραφείς, με το δικαστήριο να διακρίνει ανάμεσα σε αγορασμένα βιβλία και πειρατικά αντίγραφα. Ο Ράσκα είπε ότι η ανθρώπινη επιμέλεια πάνω σε κώδικα ή κείμενο που παράγεται από γλωσσικά μοντέλα έχει αξία, αλλά δημιουργεί και κόπωση στους συντηρητές έργων ανοιχτού κώδικα.
Στη μετα-εκπαίδευση, ο Λάμπερτ εξήγησε την ενισχυτική μάθηση με επαληθεύσιμες ανταμοιβές: το μοντέλο παράγει απαντήσεις σε μαθηματικά ή κώδικα, βαθμολογείται από επαληθεύσιμη ορθότητα και ενημερώνει βάρη με αλγορίθμους όπως PPO και GRPO. Έτσι μαθαίνει να αναλύει βήμα προς βήμα, να αυτοδιορθώνεται και να χρησιμοποιεί εργαλεία. Ο Ράσκα ανέφερε ότι με λίγες δεκάδες βήματα σε βασικό μοντέλο η ακρίβεια σε μαθηματικό benchmark μπορεί να εκτιναχθεί, όχι επειδή μαθαίνει νέα μαθηματικά αλλά επειδή ξεκλειδώνει γνώση που ήδη υπάρχει· ωστόσο ο Λάμπερτ σημείωσε προβλήματα μόλυνσης δεδομένων, ειδικά με μοντέλα Qwen. Η επόμενη φάση μπορεί να περιλαμβάνει μοντέλα αξίας και μοντέλα ανταμοιβής διαδικασίας για βαθμολόγηση ενδιάμεσων βημάτων.
Στην πράξη, οι τρεις συζήτησαν εργαλεία όπως Claude Code, Cursor και Codeium. Ο Ράσκα προτιμά προσθήκες που τον βοηθούν χωρίς να αναλαμβάνουν όλο το έργο· ο Φρίντμαν βλέπει στο Claude Code έναν τρόπο να προγραμματίζει με φυσική γλώσσα και να σχεδιάζει σε υψηλότερο επίπεδο. Έρευνα 791 επαγγελματιών προγραμματιστών που ανέφερε ο Φρίντμαν δείχνει ότι οι έμπειροι προγραμματιστές στέλνουν εξίσου ή περισσότερο κώδικα παραγμένο από τεχνητή νοημοσύνη, και περίπου το 80% βρίσκει την εργασία πιο ευχάριστη. Ωστόσο οι καλεσμένοι προειδοποίησαν ότι αν δεν αφήσουμε χώρο για δυσκολία και προσωπική προσπάθεια, κινδυνεύουμε να μη γίνουμε ποτέ πραγματικοί ειδικοί.
Για τη συνεχή μάθηση και τη μνήμη, ο Ράσκα διέκρινε την ενημέρωση βαρών από τη μάθηση εντός πλαισίου· η πρώτη είναι σήμερα πολύ ακριβή για εξατομικευμένα μοντέλα, με προσαρμογείς LoRA ως ενδιάμεση λύση. Ο Λάμπερτ εξήγησε ότι το μήκος πλαισίου αυξάνεται κυρίως με υπολογισμό και δεδομένα, από ένα εκατομμύριο tokens προς μερικά εκατομμύρια. Στους πράκτορες, η συμπίεση ιστορικού μπορεί να γίνει δράση που μαθαίνει το μοντέλο, ενώ το DeepSeek-V3.2 χρησιμοποιεί αραιή προσοχή με ελαφρύ ευρετήριο για να διαλέγει ποια tokens χρειάζεται. Η χρήση εργαλείων θεωρείται από τον Ράσκα κλειδί για τη μείωση των παραισθήσεων, αν και δεν τις εξαλείφει.
Παρότι η συζήτηση επικεντρώθηκε στα γλωσσικά μοντέλα, αναφέρθηκαν και τα παγκόσμια μοντέλα και η ρομποτική. Ο Ράσκα περιέγραψε τα παγκόσμια μοντέλα ως προσομοιώσεις που θα μπορούσαν να μοντελοποιούν και ενδιάμεσες μεταβλητές, όπως στο «Coder World Models» της Meta, αντί να ελέγχουν μόνο την τελική απάντηση. Ο Λάμπερτ δήλωσε αισιόδοξος για την αυτόνομη οδήγηση και τη βιομηχανική αυτοματοποίηση, αλλά πολύ επιφυλακτικός για ρομπότ στο σπίτι· ο Φρίντμαν τόνισε ότι στα ενσωματωμένα συστήματα η ασφάλεια δεν επιτρέπει σχεδόν καμία αποτυχία, σε αντίθεση με τα λάθη ενός chatbot.
Στα χρονοδιαγράμματα για AGI, οι ορισμοί παραμένουν ασαφείς. Ο Λάμπερτ ανέφερε ως πρακτικό κριτήριο τον τηλεργαζόμενο που μπορεί να κάνει τις περισσότερες ψηφιακές οικονομικές εργασίες, και τόνισε ότι η νοημοσύνη παραμένει «οδοντωτή»: εξαιρετική σε κάποια είδη κώδικα, αδύναμη σε άλλα, όπως η κατανεμημένη μηχανική μάθηση. Η έκθεση AI 2027, που αρχικά προέβλεπε υπεράνθρωπο προγραμματιστή έως το 2027 ή 2028, μετακινήθηκε προς το 2031· ο Φρίντμαν θεωρεί πιθανό να αργήσει περισσότερο. Ο Λάμπερτ εκτίμησε ότι η αυτοματοποίηση λογισμικού θα προχωρήσει φέτος, αλλά η αυτοματοποίηση της έρευνας τεχνητής νοημοσύνης απέχει πιθανώς περισσότερο από δέκα χρόνια.
Στο επιχειρηματικό πεδίο συζητήθηκαν οι διαφημίσεις σε chatbots, οι εξαγορές και οι δημόσιες εγγραφές. Ο Λάμπερτ είπε ότι υπάρχει πίεση συγκέντρωσης, με πολυδισεκατομμυριούχες εξαγορές, αλλά εταιρείες όπως η Anthropic δύσκολα θα πουληθούν· παράλληλα κινεζικές MiniMax και Z.ai κατέθεσαν αίτηση για IPO. Για τη Meta και το Llama, οι δύο ερευνητές είδαν ότι η προσπάθεια να κυνηγήσει benchmarks δημιούργησε αρνητική δημοσιότητα και εσωτερικές τριβές. Ο Λάμπερτ παρουσίασε την πρωτοβουλία ATOM για ανοιχτά μοντέλα των ΗΠΑ, με επιχείρημα ότι η έρευνα χρειάζεται ανοιχτά βάρη και ότι η χώρα δεν πρέπει να εξαρτάται από κινεζικά μοντέλα· το Allen Institute for AI έλαβε επιχορήγηση 100 εκατομμυρίων δολαρίων από το NSF για τον σκοπό αυτό.
Η συζήτηση έκλεισε με ανθρώπινες ανησυχίες: εξάντληση σε κουλτούρες εργασίας τύπου 9/9/6, φυσαλίδα της Silicon Valley, απώλεια «φωνής» από τη βελτιστοποίηση προτιμήσεων και ψυχική υγεία χρηστών. Ο Λάμπερτ σημείωσε ότι όσο πληθαίνει το περιεχόμενο χαμηλής ποιότητας, τόσο θα αυξάνεται η αξία της φυσικής, προσωπικής εμπειρίας και της εμπιστοσύνης. Ο Ράσκα πρόσθεσε ότι η τεχνητή νοημοσύνη δεν αφαιρεί την ανθρώπινη βούληση: παραμένει εργαλείο που κάνει ό,τι του ζητάμε. Παρά την αβεβαιότητα, και οι δύο εξέφρασαν συγκρατημένη αισιοδοξία ότι οι άνθρωποι θα βρουν τρόπο, αρκεί να κάνουμε τις δύσκολες συζητήσεις για το πώς θέλουμε να τη χρησιμοποιήσουμε.
Σχόλια