Ερευνητές του Πανεπιστημίου του Μέριλαντ δημιούργησαν ένα απίστευτο σύστημα τεχνητής νοημοσύνης (AI) που μπορεί να ανακατασκευάσει τρισδιάστατα περιβάλλοντα αναλύοντας τις αντανακλάσεις που καταγράφονται στα ανθρώπινα μάτια. Η τεχνολογία αυτή βασίζεται στο Neural Radiance Fields (NeRF), μια τεχνολογία AI που μπορεί να ανακατασκευάσει περιβάλλοντα από φωτογραφίες 2D.
Οι ερευνητές χρησιμοποίησαν λεπτές αντανακλάσεις φωτός που καταγράφηκαν στα ανθρώπινα μάτια για να προσπαθήσουν να διακρίνουν το άμεσο περιβάλλον του ατόμου. Για να το πετύχουν αυτό χρησιμοποίησαν πολλές εικόνες υψηλής ανάλυσης από μια σταθερή θέση κάμερας, απαθανατίζοντας ένα κινούμενο άτομο που κοιτάζει προς την κάμερα. Στη συνέχεια, μεγέθυναν τις αντανακλάσεις απομονώνοντάς τις, ενώ υπολόγισαν παράλληλα το που κοιτούσαν τα μάτια στις φωτογραφίες.
Τα δεδομένα αυτά χρησιμοποιήθηκαν για την εκπαίδευση μιας τροποποιημένης έκδοσης του NeRF, ειδικά προσαρμοσμένης για την ανακατασκευή σκηνών με τη χρήση των αντανακλάσεων των ματιών.
Σύμφωνα με τα αποτελέσματα που δημοσιεύθηκαν, η τεχνολογία έχει πράγματι τη δυνατότητα να παράγει λογικές τρισδιάστατες αναπαραστάσεις απλών σκηνών, όπως ένα τραπέζι με μια λάμπα και ένα βιβλίο ή ένα άτομο που κρατάει ένα παιχνίδι. Παρόλο που οι ανακατασκευές εμφανίζονταν θολές και με αρκετό θόρυβο λόγω της χαμηλής ανάλυσης και της παραμόρφωσης των αντανακλάσεων των ματιών, εξακολουθούσαν να είναι αναγνωρίσιμες και να συνάδουν με τις πραγματικές σκηνές.
Από την άλλη, οι ερευνητές επιχείρησαν να εφαρμόσουν την τεχνολογία τους και σε σενάρια του πραγματικού κόσμου, αναλύοντας βίντεο κλιπ με τη Miley Cyrus και την Lady Gaga, χωρίς όμως να επιτύχουν τα επιθυμητά αποτελέσματα αυτή τη φορά. Ειδικότερα, σε αυτή την περίπτωση αντιμετώπισαν μεγάλες προκλήσεις λόγω της χαμηλής ποιότητας και της μεταβλητότητας των αντανακλάσεων των ματιών σε αυτά τα βίντεο. Ήταν σε θέση να διακρίνουν μόνο ασαφή σχήματα, όπως ένα πλέγμα LED ή ένα τρίποδο κάμερας.
Οι ερευνητές ανέφεραν χαρακτηριστικά, «Με αυτό το έργο, ελπίζουμε να εμπνεύσουμε μελλοντικές εξερευνήσεις που αξιοποιούν απροσδόκητα, τυχαία οπτικά σήματα για να αποκαλύψουν πληροφορίες για τον κόσμο γύρω μας, διευρύνοντας τους ορίζοντες της ανακατασκευής 3D σκηνής».
