Οι Insta360 κάμερες και τα Antigravity drones μπορούν να χρησιμοποιούν Gaussian splats για να ψηφιοποιούν μικρά κομμάτια του κόσμου.
Φανταστείτε το Google Street View, αλλά να μπορείτε να κινηθείτε μέσα του σαν να βρίσκεστε σε βιντεοπαιχνίδι. Και τώρα φανταστείτε να μη χρειάζεται να περιμένετε τη Google να πάει να το καταγράψει, επειδή όλο αυτό γίνεται από εσάς. Η Insta360, η κορυφαία εταιρεία στις κάμερες 360 μοιρών, συνεργάζεται πλέον με μια βρετανική startup 12 ατόμων, τη Splatica, για να βοηθήσει τους δημιουργούς να το κάνουν αυτό.
Τον περασμένο Ιανουάριο γράφαμε για το Gaussian splatting, την τεχνολογία που υπόσχεται κάποια μέρα να επιτρέπει σε οποιονδήποτε να αναπαράγει ψηφιακά τμήματα του πραγματικού κόσμου σε φωτορεαλιστικό 3D. Η Splatica, όμως, κάνει τη χρήση των splats εντυπωσιακά εύκολη σήμερα, με μια απλή καταναλωτική κάμερα 360 μοιρών και μια συνδρομητική υπηρεσία που αναλαμβάνει όλα τα υπόλοιπα.
Όταν λέω «εντυπωσιακά εύκολη», το εννοώ. Αυτά έκανα εγώ:
Το δοκίμασα τόσο με μια κάμερα Insta360 X5 όσο και με ένα Antigravity A1, και μπορείτε να δείτε τα αποτελέσματά μου παρακάτω. Αν και σίγουρα δεν είναι τέλεια — τα splats συχνά δείχνουν κάπως αιθέρια, σαν να μπαίνεις μέσα σε ψηφιακό πίνακα — έχω ήδη πειστεί ότι ορισμένοι δημιουργοί και επιχειρήσεις θα αγοράσουν κάμερες 360 μοιρών μόνο γι’ αυτόν τον λόγο. Ο συνιδρυτής της Insta360, Max Richter, μου λέει ότι οι κάμερές της ήταν ήδη περιζήτητες για εικονικές περιηγήσεις ακινήτων, αναφορές προόδου σε εργοτάξια και επιθεωρήσεις εγκαταστάσεων — αν ήμουν μεσίτης, θα αγόραζα μία τώρα για αυτή τη δυνατότητα.
Ορίστε η λήψη μου με το Antigravity A1 σε μια τεράστια παιδική κατασκευή στο τοπικό μου πάρκο (χρησιμοποιήστε τα πλήκτρα WASD σε ένα πληκτρολόγιο για να πετάξετε και ένα ποντίκι για να κατευθύνετε ή σύρετε τα χειριστήρια στην οθόνη σε κινητό):
Και το ταλαιπωρημένο μπασκετικό στεφάνι σε ένα άλλο πάρκο λίγο πιο κάτω στον δρόμο. Η Splatica αφαιρεί αυτόματα τους περισσότερους ανθρώπους από τη σκηνή, οπότε το πάρκο φαίνεται λίγο πιο άδειο απ’ ό,τι ήταν στην πραγματικότητα.
Αν πατήσετε το κουμπί διαδρομής πάνω δεξιά, κάτω από τα «SD» και «HD», θα δείτε την ακριβή διαδρομή που ακολούθησα με κάθε κάμερα και με το selfie stick της Insta360 X5 για να δημιουργήσω αυτά τα αποτελέσματα.
Όταν απλώς κάνω έναν κύκλο γύρω από το στεφάνι μία φορά, όπως βλέπετε παρακάτω, το αποτέλεσμα δεν είναι ούτε κατά διάνοια τόσο καλό. Η Splatica μπορεί να αναπαράγει μόνο ό,τι βλέπει η κάμερά σας, οπότε πρέπει να τραβήξετε υλικό από κάθε σημείο στο οποίο μπορεί να θέλετε να «σταθείτε» στον εικονικό κόσμο.
Παρακάτω προσπάθησα να προσομοιώσω έναν βασικό έλεγχο γέφυρας στο ίδιο πάρκο, εστιάζοντας σε έναν στύλο κάτω από τη διαδρομή προαστιακού της BART. Δεν είμαι σίγουρος ότι έχει αρκετή λεπτομέρεια για να ικανοποιήσει πραγματικούς τοπογράφους ή επιθεωρητές ασφαλείας — ίσως αυτό να οφείλεται στο ότι η υπερβολικά αυστηρή αποφυγή εμποδίων του drone σταματούσε διαρκώς την πτήση μου.
Όταν όμως πέρασα πάνω από πέντε λεπτά καταγράφοντας την πίσω αυλή του σπιτιού μου με το X5, το αποτέλεσμα ήταν τόσο εκτεταμένο που η γυναίκα μου κι εγώ δεν νιώθαμε ιδιαίτερα άνετα να μοιραστούμε ολόκληρη τη σάρωση. Δείτε, λοιπόν, πώς η Splatica αναπαρήγαγε όλα τα αντικείμενα στην πίσω αυλή μου δημιουργώντας ένα 3D point cloud:
Όλες αυτές οι σαρώσεις μπορούν να ληφθούν σε μορφή PLY και USDZ και να συνδεθούν με πραγματικές μετρήσεις. Ο συνιδρυτής της Splatica, Andrey Shelomentsev, μου λέει ότι συνήθως υπάρχει σφάλμα ένα τοις εκατό ανά 100 εκατοστά, «αρκετό για τοπογράφηση και για μια πρόχειρη εξερεύνηση του χώρου», και ότι οι μετρήσεις μπορούν να γίνουν πιο ακριβείς αν τοποθετηθούν ορισμένα σημάδια γύρω από μια περιοχή.
Στην πραγματικότητα, δεν είναι η πρώτη φορά που δοκίμασα να σαρώσω σε 3D την πίσω αυλή μου: το 2021 το έκανα με ένα drone της Skydio που πετά μόνο του. Τότε, όμως, η Skydio χρέωνε 2.999 δολάρια τον χρόνο για τη λειτουργία, χωρίς να περιλαμβάνει drone ή υπηρεσία για τη σύνδεση των φωτογραφιών, ενώ η Splatica υποστηρίζει ότι η δική της υπηρεσία τα κάνει όλα αυτόνομα με ένα απλό βίντεο 360 μοιρών.
Τα δικά της δείγματα σκηνών είναι ακόμη πιο ενδιαφέροντα από τα δικά μου, ειδικά τώρα που προσπαθεί να αποδείξει ότι οι εταιρείες μπορούν να χρησιμοποιήσουν την υπηρεσία της για να εκπαιδεύσουν ρομπότ πριν τα αναπτύξουν στην πράξη σε εργοστάσια σε όλο τον κόσμο. Ορίστε το εργοστάσιο της Imecar Elektronik στην Αττάλεια της Τουρκίας:
Και για κάτι εντελώς διαφορετικό, ορίστε ένα τμήμα του Leighton House στο Λονδίνο:
Πώς γίνεται αυτό μόνο με περπάτημα και μια κάμερα; Ο Shelomentsev λέει ότι η εταιρεία του έχει αναπτύξει μια ιδιόκτητη εκδοχή του SLAM, της τεχνικής Simultaneous Localization and Mapping που επιτρέπει σε κάθε είδους ρομπότ, αυτόνομα αυτοκίνητα και headset εικονικής πραγματικότητας να γνωρίζουν τη θέση τους στον τρισδιάστατο χώρο, ειδικά σχεδιασμένη για τη δημιουργία ακριβών point clouds από βίντεο 360 μοιρών. Τα point clouds μπορούν να θεωρηθούν ως τα «κόκαλα» των 3D αντικειμένων, πάνω στα οποία στη συνέχεια προστίθεται το χρώμα.
Και ενώ η Splatica λέει ότι μπορεί να δουλέψει με οποιαδήποτε κάμερα 360 μοιρών, βοηθά το γεγονός ότι οι κάμερες της Insta360 και της Antigravity βάζουν στο ίδιο το αρχείο βίντεο διάφορα επιπλέον μεταδεδομένα. «Τα αρχεία περιέχουν όλα όσα χρειαζόμαστε: παραμέτρους παραμόρφωσης φακών, ταχύτητα κλείστρου, δεδομένα από επιταχυνσιόμετρο και γυροσκόπιο, και GPS — που μεταδίδονται από την εφαρμογή Insta360 για κινητά απευθείας στην κάμερα κατά τη διάρκεια της λήψης», λέει ο CEO και συνιδρυτής της Splatica, Eugene Nikolskii, στο The Verge.
Πάνω: Το Corridor Crew εξηγεί οπτικά πώς λειτουργούν τα splats.
Ο συνδυασμός Insta360/Splatica έχει περιορισμούς. Αν κάνετε ζουμ σε οποιοδήποτε από τα παραδείγματα ενσωμάτωσης ή συνδέσμων για να δείτε λεπτομέρειες, πιθανότατα θα δείτε ελαφρώς ημιδιαφανείς κηλίδες χρώματος αντί για ευκρινείς υφές — έτσι φτιάχνονται άλλωστε τα splats. Η παραδοσιακή φωτογραμμετρία υψηλής ανάλυσης ίσως αποδίδει καλύτερα αν αυτό που σας ενδιαφέρει περισσότερο είναι οι επιφάνειες.
Αυτό, πάντως, δεν εμποδίζει την Insta360, την Antigravity και τη Splatica να λανσάρουν μια καμπάνια μάρκετινγκ με τίτλο Project Eternal, την οποία οι εταιρείες προωθούν ως «παγκόσμια πρωτοβουλία» για τη διατήρηση πολιτιστικών μνημείων για τις επόμενες γενιές. Προσφέρει βραβεία για τα καλύτερα Gaussian splats, 1.000 δωρεάν uploads στη Splatica με σειρά προτεραιότητας, καθώς και ένα πιλοτικό σχέδιο για τη σάρωση της Πομπηίας και της εντυπωσιακής Civita di Bagnoregio στην Ιταλία. Επίσης, «προσκαλούν δημιουργούς από όλο τον κόσμο» να σαρώσουν τοποθεσίες όπως ρωμαϊκά θέατρα και το νησί Jeju της Κορέας.
(Οι εταιρείες δεν ήθελαν να μας πουν πόσα επενδύουν στο Project Eternal και παραδέχτηκαν ότι δεν βοηθούν τους δημιουργούς να εξασφαλίσουν άδειες για αυτές τις τοποθεσίες — αλλά η Splatica υποστηρίζει ότι θα διατηρεί δημόσια πρόσβαση επ’ αόριστον σε κάθε σκηνή που υποβάλλεται στο «Open Heritage Dataset» της, και η εταιρεία έχει μια αρκετά καλή πολιτική απορρήτου που ξεκαθαρίζει ότι το περιεχόμενό σας ανήκει σε εσάς.)
Πέρα από αυτό, ο Richter της Insta360 λέει ότι η εταιρεία του έχει ήδη εταιρικούς πελάτες που δοκιμάζουν ροές εργασίας τρισδιάστατης ανακατασκευής και digital twin στους τομείς των κατασκευών και της διαχείρισης εγκαταστάσεων, και ελπίζει να προσφέρει πλουσιότερα δεδομένα από την κάμερα προς τις υπηρεσίες 3D reconstruction και να κάνει τη διαδικασία πιο απρόσκοπτη.
Προς το παρόν, το μεγαλύτερο εμπόδιο για να ξεκινήσει κανείς με τη Splatica ίσως είναι ότι η υπηρεσία δεν είναι φθηνή. Η εταιρεία χρεώνει από 18 σεντς έως 25 σεντς ανά δευτερόλεπτο επεξεργασμένου βίντεο, ενώ χρειάζεται να πληρώνετε και μηνιαία συνδρομή. Αυτή τη στιγμή πειραματίζεται με την τιμολόγηση — την περασμένη εβδομάδα τα πακέτα ήταν 70, 200 ή 385 δολάρια τον μήνα, ανάλογα με το πόσο μεγάλη σάρωση χρειάζεστε, ενώ αυτή την εβδομάδα οι ίδιες βαθμίδες είναι 50, 150 και 300 δολάρια.
Αν θέλετε όμως να το δοκιμάσετε, ίσως προλάβετε μια από τις 1.000 δωρεάν θέσεις. Η Splatica λέει ότι απαλλάσσει από τη συνδρομή τους πρώτους 1.000 χρήστες, οι οποίοι θα μπορούν να μετατρέψουν 10 λεπτά βίντεο 360 μοιρών σε μικρούς τρισδιάστατους κόσμους. Μπορείτε επίσης να περιηγηθείτε σε περισσότερα από 100 επιπλέον splats στην δημόσια γκαλερί της Splatica.
Αυτός είναι ο τίτλος για την native διαφήμιση
