Η Google αναφέρει λεπτομερώς την τεχνολογία πίσω από τη λειτουργία Pixel Portrait Light

Η Google αναφέρει λεπτομερώς την τεχνολογία πίσω από τη λειτουργία Pixel Portrait Light

Μετά από πολλές διαρροές και φήμες, η Google αποκάλυψε τελικά τα Pixel 5 και Pixel 4a 5G νωρίτερα φέτος, τον Σεπτέμβριο. Όπως ήταν αναμενόμενο, οι συσκευές συνοδεύτηκαν από έναν αριθμό νέες δυνατότητες κάμερας Google που τα διαφοροποιεί από άλλα τηλέφωνα Android στην αγορά. Αυτές περιλαμβάνουν Pan Cinematic για μετακίνηση βίντεο χωρίς κίνηση, λειτουργίες ενεργού κλειδώματος και σταθεροποίησης, υποστήριξη Night Sight σε λειτουργία πορτραίτου και λειτουργία Light Light για αυτόματη προσαρμογή φωτισμού φωτογραφιών πορτρέτου. Λίγες εβδομάδες μετά την κυκλοφορία της, η Google κυκλοφόρησε τις περισσότερες από αυτές τις λειτουργίες για Παλαιότερες συσκευές Pixel μέσω ενημέρωσης φωτογραφίας Google. Και τώρα, η εταιρεία έχει μοιραστεί μερικές λεπτομέρειες σχετικά με την τεχνολογία πίσω από το Portrait Light.

Σύμφωνα με ένα πρόσφατο ανάρτηση από την εταιρεία, η λειτουργία Portrait Light εμπνεύστηκε από τα φώτα εκτός κάμερας που χρησιμοποιούνται από την φωτογραφία πορτρέτου. Βελτιώστε τις κατακόρυφες φωτογραφίες μοντελοποιώντας μια επανατοποθετούμενη πηγή φωτός που μπορεί να προστεθεί στη σκηνή. Όταν προστίθεται αυτόματα, η τεχνητή πηγή φωτός προσαρμόζει αυτόματα την κατεύθυνση και την ένταση για να συμπληρώσει τον υπάρχοντα φωτισμό φωτογραφιών χρησιμοποιώντας μηχανική εκμάθηση.

Όπως εξηγεί η Google, η λειτουργία χρησιμοποιεί νέα μοντέλα μηχανικής εκμάθησης που έχουν εκπαιδευτεί χρησιμοποιώντας ένα διαφορετικό σύνολο δεδομένων φωτογραφιών που τραβήχτηκαν Η εύκολη σκηνή υπολογιστικό σύστημα φωτισμού. Αυτά τα μοντέλα επιτρέπουν δύο αλγοριθμικές δυνατότητες:

  • Αυτόματη τοποθέτηση φωτισμού κατεύθυνσης: Με βάση τον αλγόριθμο μηχανικής εκμάθησης, η λειτουργία τοποθετεί αυτόματα μια τεχνητή πηγή φωτός που είναι συνεπής με τον τρόπο με τον οποίο ένας επαγγελματίας φωτογράφος θα τοποθετούσε μια πηγή φωτός εκτός κάμερας στον πραγματικό κόσμο.
  • Συνθετικός φωτισμός μετά τη λήψη: με βάση την κατεύθυνση και την ένταση του υπάρχοντος φωτός σε μια φωτογραφία πορτραίτου, ο αλγόριθμος μηχανικής εκμάθησης προσθέτει ένα συνθετικό φως που φαίνεται ρεαλιστικό και φυσικό.
READ  Τρομακτικό και εντυπωσιακό ταυτόχρονα: το μοντέλο AI OpenAI δημιουργεί τώρα εικόνες από τα λόγια σας

Για αυτόματη τοποθέτηση φωτισμού κατεύθυνσης, η Google έχει εκπαιδεύσει ένα μοντέλο μηχανικής εκμάθησης για να εκτιμήσει ένα υψηλό δυναμικό εύρος, πανκατευθυντικό προφίλ φωτισμού για μια σκηνή που βασίζεται σε ένα πορτρέτο εισόδου. Αυτό το νέο μοντέλο εκτίμησης φωτισμού μπορεί να βρει την κατεύθυνση, τη σχετική ένταση και το χρώμα όλων των πηγών φωτός στη σκηνή από όλες τις κατευθύνσεις, θεωρώντας το πρόσωπο ως α ελαφρός ανιχνευτής. Εκτιμά επίσης την κύρια θέση του θέματος χρησιμοποιώντας ένα Πλέγμα προσώπου MediaPipe. Με βάση τα προαναφερθέντα δεδομένα, ο αλγόριθμος στη συνέχεια καθορίζει την κατεύθυνση του συνθετικού φωτός.

Μόλις οριστεί η κατεύθυνση και η ένταση του συνθετικού φωτισμού, το ακόλουθο μοντέλο μηχανικής εκμάθησης προσθέτει την πηγή συνθετικού φωτός στην αρχική φωτογραφία. Το δεύτερο μοντέλο εκπαιδεύτηκε χρησιμοποιώντας εκατομμύρια ζευγάρια πορτρέτων, με και χωρίς πρόσθετα φώτα. Αυτό το σύνολο δεδομένων δημιουργήθηκε φωτογραφίζοντας εβδομήντα διαφορετικά άτομα χρησιμοποιώντας το σύστημα φωτισμού Light Stage υπολογιστών, το οποίο είναι ένα σφαιρικό φωτιστικό που περιλαμβάνει 64 κάμερες με διαφορετικές προβολές και 331 μεμονωμένες προγραμματιζόμενες πηγές φωτός LED.

a

Καθένα από τα εβδομήντα θέματα τραβήχτηκε ενώ ένα μόνο φως κάθε φορά (OLAT) φωτίστηκε από καθένα από τα 331 LED. Αυτό τους δημιούργησε πεδίο ανάκλασης, δηλαδή η εμφάνισή τους φωτίζεται από διακριτά τμήματα του σφαιρικού μέσου. Το πεδίο ανάκλασης κωδικοποίησε τις μοναδικές ιδιότητες του χρώματος και του φωτός που αντανακλούν το δέρμα, τα μαλλιά και τα ρούχα του ατόμου, και καθόρισε πόσο φωτεινό ή θαμπό κάθε υλικό εμφανίστηκε στις φωτογραφίες.

Αυτές οι εικόνες OLAT προστέθηκαν στη συνέχεια γραμμικά μαζί για να αποδώσουν ρεαλιστικές εικόνες του θέματος όπως θα εμφανίζονταν σε οποιαδήποτε μέσο φωτισμού με βάση την εικόνα, με πολύπλοκα φαινόμενα ελαφριάς μεταφοράς όπως υπόγεια σκέδαση αντιπροσωπεύεται σωστά.

READ  Το Galaxy Z Flip 3 μπορεί να κοστίσει μόνο 50 ευρώ περισσότερο από τον προκάτοχό του

Μοντέλο μηχανικής εκμάθησης για τον συνδυασμό εικόνων OLAT για τη δημιουργία όλων των πιθανών συνθηκών φωτισμού

Στη συνέχεια, αντί να δώσει οδηγίες στον αλγόριθμο μηχανικής εκμάθησης να προβλέψει άμεσα την έξοδο των εικόνων, η Google ανέθεσε στο μοντέλο να παράγει χαμηλή ανάλυση συντελεστής εικόνας που θα μπορούσε να εφαρμοστεί στην αρχική εικόνα εισόδου για να παράγει την επιθυμητή έξοδο. Αυτή η μέθοδος είναι υπολογιστικά αποτελεσματική και ενθαρρύνει μόνο τις αλλαγές φωτός χαμηλής συχνότητας χωρίς να επηρεάζει τις λεπτομέρειες της εικόνας υψηλής συχνότητας που μεταφέρονται απευθείας από την εικόνα εισόδου για τη διατήρηση της ποιότητας.

Η όλη διαδικασία του φωτισμού πορτραίτου σε μία εικόνα

Επιπλέον, η Google έχει εκπαιδεύσει ένα μοντέλο μηχανικής εκμάθησης για να μιμείται την οπτική συμπεριφορά των πηγών φωτός που αντανακλώνται σε σχετικά ματ επιφάνειες. Για να γίνει αυτό, η εταιρεία εκπαίδεψε το μοντέλο για να εκτιμήσει τους κανόνες επιφανείας που δίδονται από τη φωτογραφία εισαγωγής και στη συνέχεια εφαρμόστηκε Ο νόμος του Λάμπερτ για να υπολογίσετε έναν “χάρτη ορατότητας φωτός” για την επιθυμητή κατεύθυνση φωτισμού. Αυτός ο χάρτης ορατότητας φωτός παρέχεται στη συνέχεια ως είσοδος στην πρόβλεψη εικόνας για να διασφαλιστεί ότι το μοντέλο έχει εκπαιδευτεί χρησιμοποιώντας πληροφορίες που βασίζονται στη φυσική.

Παρόλο που όλα αυτά μοιάζουν με μια μακρά διαδικασία που θα απαιτούσε την επεξεργασία του μέσου υλικού Pixel 5, η Google ισχυρίζεται ότι η λειτουργία Portrait Light έχει βελτιστοποιηθεί για να λειτουργεί σε διαδραστικά πλαίσια σε κινητές συσκευές, με πλήρες μέγεθος μοντέλου κάτω των 10 MB.

We will be happy to hear your thoughts

Leave a reply

Vidcase