Πόση ηλεκτρική ενέργεια καταναλώνει ένα ερώτημα ΤΝ

Όταν υποβάλετε ένα αίτημα σε μια υπηρεσία ΤΝ, το αίτημα ταξιδεύει πρώτα μέσω του διαδικτύου στην υποδομή του παρόχου. Τα συστήματα δρομολόγησης πιστοποιούν την αυθεντικότητα του αιτήματος, εφαρμόζουν ελέγχους ασφάλειας και χρήσης και το κατευθύνουν προς έναν διαθέσιμο διακομιστή συμπερασμάτων. Ένας εξισορροπητής φορτίου μπορεί να επιλέξει μεταξύ πολλών μηχανών, ώστε η κίνηση των χρηστών να κατανέμεται χωρίς να υπερφορτώνεται ένα τμήμα του συστήματος.

Ο διακομιστής μετατρέπει την προτροπή σε σημεία (tokens), τις αριθμητικές μονάδες που επεξεργάζεται ένα γλωσσικό μοντέλο. Αυτά τα σημεία και οποιοδήποτε προηγούμενο πλαίσιο συνομιλίας φορτώνονται στη μνήμη του επιταχυντή. Στη συνέχεια, οι GPU ή άλλα τσιπ τεχνητής νοημοσύνης εκτελούν στρώματα υπολογισμών πινάκων στις παραμέτρους του μοντέλου για να προβλέψουν το επόμενο σύμβολο. Η διαδικασία επαναλαμβάνεται πολλές φορές μέχρι να ολοκληρωθεί η απάντηση ή να φτάσει σε ένα ρυθμισμένο όριο.

Η παραγόμενη έξοδος αποκωδικοποιείται σε κείμενο και μεταδίδεται πίσω στον χρήστη, συχνά ενώ οι μεταγενέστερες μάρκες εξακολουθούν να υπολογίζονται. Γύρω από αυτή την ορατή αλληλεπίδραση, ο εξοπλισμός αποθήκευσης, δικτύωσης, παρακολούθησης, μετατροπής ισχύος και ψύξης παραμένει ενεργός. Επομένως, ένα ερώτημα χρησιμοποιεί περισσότερο από την ηλεκτρική ενέργεια που μετράται μόνο στην GPU, παρόλο που ο επιταχυντής εκτελεί συνήθως το μεγαλύτερο μέρος των εντατικών υπολογισμών.

Η εξαγωγή συμπερασμάτων ΤΝ είναι ένας ενεργός υπολογισμός και όχι μια απλή ανάκτηση από μια βάση δεδομένων. Ένα μεγάλο μοντέλο πρέπει να αξιολογεί πολλές αριθμητικές πράξεις για κάθε παραγόμενο σύμβολο, χρησιμοποιώντας παραμέτρους που μπορεί να καταλαμβάνουν δεκάδες ή εκατοντάδες gigabytes μνήμης. Η μετακίνηση αυτών των παραμέτρων και των ενδιάμεσων τιμών μεταξύ μνήμης υψηλού εύρους ζώνης και πυρήνων επεξεργαστή καταναλώνει ηλεκτρική ενέργεια παράλληλα με τους ίδιους τους υπολογισμούς.

Ο όγκος της εργασίας αυξάνεται ανάλογα με το μοντέλο, την προτροπή και το ζητούμενο αποτέλεσμα. Τα μεγάλα ιστορικά συνομιλιών απαιτούν περισσότερο περιεχόμενο για επεξεργασία, ενώ οι μεγάλες απαντήσεις κρατούν τους επιταχυντές σε λειτουργία για περισσότερα βήματα παραγωγής. Τα συστήματα εικόνας, ήχου και βίντεο μπορεί να απαιτούν διαφορετικές σωληνώσεις επεξεργασίας ή επαναλαμβανόμενες λειτουργίες τελειοποίησης, οπότε ένα ερώτημα ΤΝ δεν είναι μια τυποποιημένη μονάδα εργασίας.

Το κόστος του κέντρου δεδομένων έχει επίσης σημασία. Οι διακομιστές χρειάζονται τροφοδοτικά, δικτύωση, αποθήκευση και ψύξη, και κάποια ηλεκτρική ενέργεια χάνεται κατά τη μετατροπή και τη διανομή ενέργειας. Οι φορείς εκμετάλλευσης συχνά εκφράζουν αυτό το κόστος μέσω της αποτελεσματικότητας χρήσης ενέργειας ή PUE. Μια αποδοτική εγκατάσταση φέρνει τη συνολική ενέργεια πιο κοντά στην ενέργεια που χρησιμοποιείται από τον υπολογιστικό εξοπλισμό, ενώ μια λιγότερο αποδοτική εγκατάσταση απαιτεί περισσότερη υποστηρικτική ηλεκτρική ενέργεια για τον ίδιο φόρτο εργασίας εξαγωγής συμπερασμάτων.

Δεν υπάρχει καθολικός αριθμός ηλεκτρικής ενέργειας για ένα ερώτημα ΤΝ. Οι δημόσιες εκτιμήσεις για αλληλεπιδράσεις κειμένου κυμαίνονται συνήθως από κλάσματα μιας βατ-ώρας έως αρκετές βατ-ώρες, αλλά το εύρος θα πρέπει να αντιμετωπίζεται ως τάξη μεγέθους και όχι ως σταθερή μετατροπή. Ένα σύντομο αίτημα που διεκπεραιώνεται από ένα βελτιστοποιημένο, καλά χρησιμοποιούμενο μοντέλο μπορεί να καταναλώνει πολύ λιγότερη ενέργεια από μια μακρά απάντηση από ένα μεγαλύτερο μοντέλο που εκτελείται σε ανεπαρκώς χρησιμοποιούμενο υλικό.

Η βατ-ώρα μετράει την ενέργεια, όχι τη στιγμιαία ισχύ. Για παράδειγμα, ένας διακομιστής που καταναλώνει υψηλή ισχύ για ένα κλάσμα του δευτερολέπτου μπορεί να χρησιμοποιεί λιγότερη συνολική ενέργεια από ένα σύστημα χαμηλότερης ισχύος που λειτουργεί για πολύ μεγαλύτερο χρονικό διάστημα. Για μια αξιόπιστη εκτίμηση ανά αίτημα χρειάζεται επομένως τόσο η κατανάλωση ενέργειας από τον εξοπλισμό όσο και η διάρκεια και το μερίδιο του εξοπλισμού που αποδίδεται στο αίτημα.

Οι συγκρίσεις με τις αναζητήσεις στο διαδίκτυο, τις λάμπες ή τη φόρτιση του τηλεφώνου μπορούν να κάνουν την κλίμακα πιο εύκολη στην απεικόνιση, αλλά συχνά κρύβουν σημαντικές παραδοχές. Το σχετικό ερώτημα δεν είναι αν κάθε προτροπή καταναλώνει μια συγκεκριμένη ποσότητα. Είναι ποιο μοντέλο εξυπηρέτησε το αίτημα, πόσα tokens και modalities επεξεργάστηκαν, πόσο αποτελεσματικά ομαδοποιήθηκαν τα αιτήματα και πόση ενέργεια υποδομής συμπεριλήφθηκε στον υπολογισμό.

Οι πάροχοι AI σπάνια δημοσιεύουν πλήρεις μετρήσεις που συνδέουν τα μεμονωμένα αιτήματα με το μέγεθος του μοντέλου, τη χρήση του υλικού, τον αριθμό των token και τα γενικά έξοδα των εγκαταστάσεων. Ως εκ τούτου, οι ερευνητές πρέπει να συνδυάσουν τις γνωστοποιούμενες προδιαγραφές υλικού, τα αποτελέσματα συγκριτικής αξιολόγησης, τους εκτιμώμενους χρόνους εξυπηρέτησης και τις υποθέσεις αποδοτικότητας του κέντρου δεδομένων. Διαφορετικές επιλογές σε κάθε βήμα μπορούν να δώσουν σημαντικά διαφορετικές απαντήσεις.

Η τμηματοποίηση είναι μια σημαντική πηγή διακύμανσης. Ένας διακομιστής εξαγωγής συμπερασμάτων μπορεί να επεξεργάζεται πολλούς χρήστες μαζί, μοιράζοντας τη φόρτωση του μοντέλου και τον υπολογισμό σε μια παρτίδα. Η υψηλή χρήση μπορεί να μειώσει τη μέση ενέργεια που ανατίθεται σε κάθε αίτηση, ενώ η αδρανής χωρητικότητα, οι απαιτήσεις καθυστέρησης ή οι αιχμές της κυκλοφορίας μπορούν να αφήσουν ακριβό υλικό μερικώς χρησιμοποιούμενο. Οι νεότεροι επιταχυντές μπορούν επίσης να ολοκληρώσουν τον ίδιο φόρτο εργασίας ταχύτερα ή με λιγότερα joules.

Το όριο της εκτίμησης αλλάζει επίσης το αποτέλεσμα. Ορισμένοι υπολογισμοί υπολογίζουν μόνο την ενέργεια του επιταχυντή- άλλοι περιλαμβάνουν τις CPU, τη μνήμη, τη δικτύωση, την ψύξη και τις απώλειες ισχύος. Τα περισσότερα στοιχεία ανά ερώτημα δεν περιλαμβάνουν την προηγούμενη ενέργεια που χρησιμοποιείται για την κατασκευή του υλικού και την εκπαίδευση του μοντέλου. Οι εκτιμήσεις είναι πιο χρήσιμες όταν τα όρια του συστήματός τους και οι παραδοχές τους είναι σαφείς, όχι όταν ένας μόνο αριθμός παρουσιάζεται ως καθολικός.

Η εκπαίδευση δημιουργεί ή ενημερώνει ένα μοντέλο με την επανειλημμένη επεξεργασία μεγάλων συνόλων δεδομένων και την προσαρμογή των παραμέτρων του. Μια μεγάλη εκτέλεση εκπαίδευσης μπορεί να καταλαμβάνει χιλιάδες επιταχυντές για ημέρες ή εβδομάδες, καθιστώντας την ένα συγκεντρωμένο και ιδιαίτερα ορατό υπολογιστικό γεγονός. Μόλις ολοκληρωθεί η εκπαίδευση, το μοντέλο που προκύπτει μπορεί να αναπτυχθεί σε πολλούς διακομιστές συμπερασμάτων για να απαντήσει σε αιτήματα χρηστών.

Το συμπέρασμα είναι συνήθως πολύ μικρότερο για μία αλληλεπίδραση, αλλά είναι συνεχές. Τα συστήματα παραγωγής πρέπει να ανταποκρίνονται ανά πάσα ώρα και στιγμή, να διατηρούν αρκετή χωρητικότητα διαθέσιμη για αιχμές και να εξυπηρετούν χρήστες σε πολλές περιοχές. Επομένως, το ενεργειακό προφίλ κατανέμεται σε πολλά κέντρα δεδομένων και επαναλαμβάνεται κάθε φορά που παράγεται κείμενο, εικόνες, ήχος ή άλλες εκροές.

Κανένας από τους δύο φόρτους εργασίας δεν θα πρέπει να θεωρείται αυτόματα ότι κυριαρχεί στη χρήση ηλεκτρικής ενέργειας κατά τη διάρκεια ζωής ενός μοντέλου. Η εκπαίδευση μπορεί να είναι το μεγαλύτερο μεμονωμένο συμβάν, ιδίως για τα συνοριακά συστήματα, ενώ η εξαγωγή συμπερασμάτων μπορεί τελικά να το ξεπεράσει όταν μια υπηρεσία διαχειρίζεται τεράστια κίνηση για μήνες ή χρόνια. Η ισορροπία εξαρτάται από το πόσο συχνά επανεκπαιδεύονται τα μοντέλα, πόσο ευρέως αναπτύσσονται και πόσο εντατικά τα χρησιμοποιούν οι άνθρωποι.

Η περιβαλλοντική σημασία των ερωτημάτων ΤΝ προέρχεται κυρίως από τον πολλαπλασιασμό. Μια απλή σύντομη ερώτηση μπορεί να αντιπροσωπεύει ένα μικρό ποσό ενέργειας, ωστόσο οι βοηθοί καταναλωτών, οι λειτουργίες αναζήτησης, τα εργαλεία κωδικοποίησης και οι επιχειρηματικές εφαρμογές μπορούν να δημιουργήσουν τεράστιο αριθμό αιτημάτων. Επαναλαμβανόμενη συνεχώς, η μέτρια ενέργεια ανά αίτημα γίνεται ένα σημαντικό φορτίο κέντρου δεδομένων.

Η ζήτηση δεν περιορίζεται σε ορατά μηνύματα chatbot. Οι εφαρμογές μπορούν να πραγματοποιούν αρκετές κλήσεις μοντέλων για να απαντήσουν σε μια ενέργεια του χρήστη, να χρησιμοποιούν ξεχωριστά μοντέλα για τη μετριοπάθεια ή την ανάκτηση, να επαναλαμβάνουν αποτυχημένες αιτήσεις και να δημιουργούν περιλήψεις ή συστάσεις στο παρασκήνιο. Τα πρακτορικά συστήματα μπορούν να επεκτείνουν αυτό το μοτίβο καλώντας επανειλημμένα μοντέλα και εργαλεία λογισμικού ενώ ολοκληρώνουν μια ενιαία εργασία.

Η κλίμακα επηρεάζει επίσης το σχεδιασμό των υποδομών. Οι πάροχοι δημιουργούν χωρητικότητα για την ανάπτυξη και την αιχμή της κίνησης, η οποία μπορεί να αυξήσει τη ζήτηση ηλεκτρικής ενέργειας πριν από την πλήρη χρήση κάθε διακομιστή. Ο συνολικός αντίκτυπος εξαρτάται τόσο από την αποδοτικότητα ανά ερώτημα όσο και από τον ρυθμό με τον οποίο επεκτείνεται η χρήση. Εάν η ζήτηση αυξάνεται ταχύτερα από τη βελτίωση της αποδοτικότητας, η συνολική κατανάλωση ηλεκτρικής ενέργειας μπορεί να συνεχίσει να αυξάνεται ακόμη και όταν κάθε μεμονωμένη αλληλεπίδραση γίνεται λιγότερο ενεργοβόρα.

Η εξαγωγή συμπερασμάτων ΤΝ είναι πιθανό να γίνει πιο αποδοτική ενεργειακά στο επίπεδο μιας συγκρίσιμης εργασίας. Οι νέοι επιταχυντές παρέχουν περισσότερους υπολογισμούς ανά μονάδα ηλεκτρικής ενέργειας, ενώ η κβάντιση, το κλάδεμα, η κερδοσκοπική αποκωδικοποίηση και οι βελτιωμένες αρχιτεκτονικές μοντέλων μπορούν να μειώσουν τις λειτουργίες που απαιτούνται για χρήσιμη έξοδο. Ο καλύτερος προγραμματισμός και η ομαδοποίηση μπορούν επίσης να αυξήσουν τη χρήση του υλικού χωρίς να αλλάξουν την εμπειρία του χρήστη.

Τα μικρότερα εξειδικευμένα μοντέλα προσφέρουν έναν άλλο δρόμο. Μια υπηρεσία δεν χρειάζεται πάντα το μεγαλύτερο μοντέλο της για ταξινόμηση, εξαγωγή ή ερωτήσεις ρουτίνας. Η δρομολόγηση απλών εργασιών σε συμπαγή μοντέλα, ο περιορισμός του περιττού περιβάλλοντος και η προσωρινή αποθήκευση επαναχρησιμοποιήσιμων αποτελεσμάτων μπορούν να μειώσουν τόσο την καθυστέρηση όσο και τη χρήση ηλεκτρικής ενέργειας. Τα κέντρα δεδομένων μπορούν να βελτιώσουν περαιτέρω τη συνολική αποδοτικότητα μέσω της παροχής ενέργειας, της ψύξης και της τοποθέτησης του φόρτου εργασίας.

Η αποδοτικότητα δεν εγγυάται χαμηλότερη συνολική κατανάλωση. Η ταχύτερη και φθηνότερη τεχνητή νοημοσύνη μπορεί να ενθαρρύνει περισσότερες εφαρμογές, μεγαλύτερες αλληλεπιδράσεις και νέα χαρακτηριστικά έντασης υπολογιστών, ένα φαινόμενο που περιγράφεται μερικές φορές ως επαναλαμβανόμενη ζήτηση. Επομένως, το μελλοντικό αποτύπωμα ηλεκτρικής ενέργειας των ερωτημάτων ΤΝ θα εξαρτηθεί από δύο ανταγωνιστικές τάσεις: πόσο γρήγορα κάθε μονάδα χρήσιμης εργασίας γίνεται πιο αποδοτική και πόσο γρήγορα αυξάνεται ο συνολικός όγκος και η πολυπλοκότητα της χρήσης ΤΝ.