Τεχνητή νοημοσύνη: Γίνεται πιο ισχυρή, αλλά οι παραισθήσεις της επιδεινώνονται

Τον περασμένο μήνα, ένα bot AI που χειρίζεται την τεχνική υποστήριξη για το Cursor, ένα εργαλείο για προγραμματιστές υπολογιστών, ειδοποίησε αρκετούς πελάτες για μια αλλαγή στην πολιτική της εταιρείας. Ανέφερε ότι δεν τους επιτρέπεται πλέον να χρησιμοποιούν το Cursor σε περισσότερους από έναν υπολογιστές.

Θυμωμένοι πελάτες παραπονέθηκαν, ενώ κάποιοι ακύρωσαν τους λογαριασμούς τους. Και κάποιοι θύμωσαν ακόμη περισσότερο όταν συνειδητοποίησαν τι είχε συμβεί: Το bot AI είχε ανακοινώσει μια ανύπαρκτη αλλαγή πολιτικής.

«Δεν έχουμε τέτοια πολιτική. Φυσικά, είστε ελεύθεροι να χρησιμοποιείτε το Cursor σε πολλά μηχανήματα», έγραψε σε μια ανάρτηση στο Reddit ο διευθύνων σύμβουλος και συνιδρυτής της εταιρείας, Μάικλ Τρούελ. «Δυστυχώς, αυτή είναι μια λανθασμένη απάντηση από ένα bot υποστήριξης ΑΙ πρώτης γραμμής».

Πάνω από δύο χρόνια μετά την άφιξη του ChatGPT, πάρα πολλοί χρησιμοποιούν bots τεχνητής νοημοσύνης για ένα ολοένα και ευρύτερο φάσμα εργασιών. Ωστόσο, δεν υπάρχει ακόμη τρόπος να διασφαλιστεί ότι αυτά τα συστήματα παράγουν ακριβείς πληροφορίες.

Οι νεότερες και πιο ισχυρές τεχνολογίεςπαράγουν περισσότερα λάθη, όχι λιγότερα. Καθώς οι μαθηματικές τους δεξιότητες έχουν βελτιωθεί σημαντικά, η διαχείριση γεγονότων έχει γίνει πιο επισφαλής και δεν είναι απολύτως σαφές γιατί.

Τεχνητή νοημοσύνη με παραισθήσεις

Τα σημερινά bots τεχνητής νοημοσύνης βασίζονται σε πολύπλοκα μαθηματικά συστήματα που μαθαίνουν τις δεξιότητές τους αναλύοντας τεράστιες ποσότητες ψηφιακών δεδομένων. Δεν αποφασίζουν – και δεν μπορούν – τι είναι αληθές και τι ψευδές. Μερικές φορές, απλώς επινοούν πράγματα, ένα φαινόμενο που ορισμένοι ερευνητές τεχνητής νοημοσύνης αποκαλούν παραισθήσεις. Σε μια δοκιμή, τα ποσοστά παραισθήσεων των νεότερων συστημάτων τεχνητής νοημοσύνης έφτασαν το 79%.

Αυτά τα συστήματα χρησιμοποιούν μαθηματικές πιθανότητες για να μαντέψουν την καλύτερη απάντηση, όχι ένα αυστηρό σύνολο κανόνων που ορίζονται από ανθρώπινους μηχανικούς. Έτσι, κάνουν έναν ορισμένο αριθμό λαθών. «Παρά τις καλύτερες προσπάθειές μας, θα έχουν πάντα παραισθήσεις», δήλωσε στους New York Times ο Αμρ Αγουαντάλα, διευθύνων σύμβουλος της Vectara, που κατασκευάζει εργαλεία τεχνητής νοημοσύνης για επιχειρήσεις, και πρώην στέλεχος της Google. «Αυτό δεν θα εξαφανιστεί ποτέ».

Αυτό το φαινόμενο έχει εγείρει ανησυχίες σχετικά με την αξιοπιστία των συστημάτων. Σε ορισμένες περιπτώσεις τα λάθη τους μπορούν να προκαλέσουν προβλήματα.

Τα bots τεχνητής νοημοσύνης που συνδέονται με μηχανές αναζήτησης όπως η Google και η Bing μερικές φορές δημιουργούν αποτελέσματα αναζήτησης που είναι φοβερά λανθασμένα.

Αυτές οι παραισθήσεις μπορεί να μην αποτελούν μεγάλο πρόβλημα για πολλούς, αλλά είναι ένα σοβαρό ζήτημα για όποιον χρησιμοποιεί την τεχνολογία με δικαστικά έγγραφα, ιατρικές πληροφορίες ή ευαίσθητα επιχειρηματικά δεδομένα.

«Η μη σωστή αντιμετώπιση αυτών των σφαλμάτων ουσιαστικά εξαλείφει την αξία των συστημάτων τεχνητής νοημοσύνης, τα οποία υποτίθεται ότι αυτοματοποιούν τις εργασίες για εσάς», δήλωσε στην εφημερίδα ο Πρατίκ Βέρμα, συνιδρυτής και διευθύνων σύμβουλος της Okahu, μιας εταιρείας που βοηθά τις επιχειρήσεις να διαχειριστούν το πρόβλημα των παραισθήσεων.

Περισσότερες παραισθήσεις σε νεώτερα συστήματα

Για περισσότερα από δύο χρόνια, οι εταιρείες βελτίωσαν σταθερά τα συστήματα τεχνητής νοημοσύνης τους και μείωσαν τη συχνότητα σφαλμάτων. Αλλά με τη χρήση νέων συστημάτων, τα σφάλματα αυξάνονται. Τα τελευταία συστήματα OpenAI παραισθήσεις παρουσιάζουν υψηλότερο ποσοστό από το προηγούμενο σύστημα της εταιρείας, σύμφωνα με τις δικές της δοκιμές.

Η εταιρεία διαπίστωσε ότι το o3 – το πιο ισχυρό σύστημά της – παρουσίαζε παραισθήσεις το 33% του χρόνου κατά την εκτέλεση του benchmark test PersonQA, το οποίο  περιλαμβάνει την απάντηση σε ερωτήσεις σχετικά με δημόσια πρόσωπα. Αυτό είναι περισσότερο από το διπλάσιο ποσοστό παραισθήσεων του προηγούμενου συστήματος συλλογισμού της OpenAI, που ονομάζεται o1. Το νέο o4-mini εμφάνισε παραισθήσεις με ακόμη υψηλότερο ποσοστό: 48%.

Κατά την εκτέλεση μιας άλλης δοκιμής που ονομάζεται SimpleQA, η οποία θέτει πιο γενικές ερωτήσεις, τα ποσοστά παραισθήσεων για το o3 και το o4-mini ήταν 51% και 79%. Το προηγούμενο σύστημα, o1, εμφάνιζε παραισθήσεις στο 44% των περιπτώσεων.

Σε μια εργασία που περιγράφει λεπτομερώς τις δοκιμές, η OpenAI ανέφερε ότι απαιτείται περισσότερη έρευνα για να κατανοηθεί η αιτία αυτών των αποτελεσμάτων. Επειδή τα συστήματα τεχνητής νοημοσύνης μαθαίνουν από περισσότερα δεδομένα από όσα οι άνθρωποι μπορούν να κατανοήσουν, οι τεχνολόγοι δυσκολεύονται να προσδιορίσουν γιατί συμπεριφέρονται με τον τρόπο που συμπεριφέρονται.

Η Χανανέ Χατζισίρζι, καθηγήτρια στο Πανεπιστήμιο της Ουάσινγκτον και ερευνήτρια στο Ινστιτούτο Τεχνητής Νοημοσύνης Allen, είναι μέλος μιας ομάδας που πρόσφατα επινόησε έναν τρόπο ανίχνευσης της συμπεριφοράς ενός συστήματος. Αλλά επειδή τα συστήματα μαθαίνουν από τόσα πολλά δεδομένα – και επειδή μπορούν να δημιουργήσουν σχεδόν οτιδήποτε – αυτό το νέο εργαλείο δεν μπορεί να εξηγήσει τα πάντα. «Δεν γνωρίζουμε ακόμα πώς ακριβώς λειτουργούν αυτά τα μοντέλα», είπε.

Δοκιμές από ανεξάρτητες εταιρείες και ερευνητές δείχνουν ότι τα ποσοστά ψευδαισθήσεων αυξάνονται επίσης για συλλογιστικά μοντέλα από εταιρείες όπως η Google και η DeepSeek.

Από τα τέλη του 2023, η εταιρεία του Αμρ Αγουαντάλα, Vectara, παρακολουθεί πόσο συχνά τα chatbot αποκλίνουν από την αλήθεια. Η εταιρεία ζητά από αυτά τα συστήματα να εκτελέσουν μια απλή εργασία που επαληθεύεται εύκολα: Να συνοψίσουν συγκεκριμένα άρθρα ειδήσεων. Ακόμα και τότε, τα chatbot συνεχώς επινοούν πληροφορίες.

Η αρχική έρευνα της Vectara εκτίμησε ότι σε αυτήν την περίπτωση τα chatbots επινοούσαν πληροφορίες τουλάχιστον στο 3% του χρόνου και μερικές φορές έως και 27%.

Επινοούν απαντήσεις

Στο ενάμιση χρόνο από τότε, εταιρείες όπως η OpenAI και η Google μείωσαν αυτούς τους αριθμούς στο εύρος του 1 ή 2%. Άλλες, όπως η Anthropic του Σαν Φρανσίσκο, κυμαίνονταν γύρω στο 4%. Αλλά τα ποσοστά παραισθήσεων σε αυτό το τεστ έχουν αυξηθεί με τα συλλογιστικά συστήματα. Το συλλογιστικό σύστημα της DeepSeek, R1, είχε παραισθήσεις στο 14,3% του χρόνου. Το o3 της OpenAI ανέβηκε στο 6,8.

Για χρόνια, εταιρείες όπως η OpenAI βασίζονταν σε μια απλή ιδέα: Όσο περισσότερα δεδομένα διαδικτύου τροφοδοτούσαν τα συστήματα τεχνητής νοημοσύνης τους, τόσο καλύτερα θα απέδιδαν αυτά τα συστήματα. Αλλά χρησιμοποιούσαν σχεδόν το σύνολο αγγλικού κειμένου στο διαδίκτυο, πράγμα που σήμαινε ότι χρειάζονταν έναν νέο τρόπο βελτίωσης των chatbots τους.

Έτσι, αυτές οι εταιρείες βασίζονται περισσότερο σε μια τεχνική που οι επιστήμονες ονομάζουν ενισχυτική μάθηση. Με αυτήν τη διαδικασία, ένα σύστημα μπορεί να μάθει συμπεριφορά μέσω δοκιμής και λάθους. Λειτουργεί καλά σε ορισμένους τομείς, όπως τα μαθηματικά και ο προγραμματισμός υπολογιστών. Αλλά υπολείπεται σε άλλους τομείς.

Ένα άλλο ζήτημα είναι ότι τα συλλογιστικά μοντέλα έχουν σχεδιαστεί για να αφιερώνουν χρόνο «σκεπτόμενα» πολύπλοκα προβλήματα πριν καταλήξουν σε μια απάντηση. Καθώς προσπαθούν να αντιμετωπίσουν ένα πρόβλημα βήμα προς βήμα, διατρέχουν τον κίνδυνο να έχουν παραισθήσεις σε κάθε βήμα. Τα σφάλματα μπορούν να επιδεινωθούν καθώς αφιερώνουν περισσότερο χρόνο στη «σκέψη».

Τα πιο πρόσφατα bots αποκαλύπτουν κάθε βήμα στους χρήστες, πράγμα που σημαίνει ότι οι χρήστες μπορεί επίσης να δουν κάθε σφάλμα. Οι ερευνητές έχουν επίσης διαπιστώσει ότι σε πολλές περιπτώσεις, τα βήματα που εμφανίζονται από ένα bot δεν σχετίζονται με την απάντηση που τελικά παρέχει.