Θεμελιώδης πίνακας (υπολογιστική όραση)

Στην υπολογιστική όραση, ο θεμελιώδης πίνακας $\mathbf {F}$ ^[1]^[2] είναι ένας πίνακας 3×3 που συσχετίζει αντίστοιχα σημεία σε στερεοφωνικές εικόνες. Στην επιπολική γεωμετρία, με ομοιογενείς συντεταγμένες εικόνας, x και x′, των αντίστοιχων σημείων σε ένα ζεύγος στερεοφωνικών εικόνων, ο Fx περιγράφει μια γραμμή (επιπολική γραμμή) στην οποία πρέπει να βρίσκεται το αντίστοιχο σημείο x′ στην άλλη εικόνα. Αυτό σημαίνει ότι, για όλα τα ζεύγη αντίστοιχων σημείων ισχύει

\mathbf {x} '^{\top }\mathbf {Fx} =0.

Καθώς είναι δεύτερης τάξης και προσδιορίζεται μόνο μέχρι την κλίμακα, ο θεμελιώδης πίνακας μπορεί να εκτιμηθεί δεδομένου ότι υπάρχουν τουλάχιστον επτά αντιστοιχίες σημείων. Οι επτά παράμετροί του αντιπροσωπεύουν τις μόνες γεωμετρικές πληροφορίες για τις κάμερες που μπορούν να ληφθούν μόνο μέσω των αντιστοιχιών σημείων.

Ο όρος «θεμελιώδης πίνακας» επινοήθηκε από τον ΚΤ Λουόνγκ (QT Luong)^[3] στη σημαντική διδακτορική του διατριβή. Μερικές φορές αναφέρεται επίσης ως «διεστιακός τανυστής». Ως τανυστής είναι ένας τανυστής δύο σημείων, δεδομένου ότι είναι μια διγραμμική μορφή που συσχετίζει σημεία σε διαφορετικά συστήματα συντεταγμένων.

Η παραπάνω σχέση που ορίζει τον θεμελιώδη πίνακα δημοσιεύθηκε το 1992 από τους Ολιβιέ Φοζεράς και Ρίτσαρντ Χάρτλεϊ. Αν και ο ουσιώδης πίνακας του H. Κρίστοφερ Λονγκέ-Χίγκινς ικανοποιεί μια παρόμοια σχέση, ο ουσιώδης πίνακας είναι ένα μετρικό αντικείμενο που αφορά βαθμονομημένες κάμερες, ενώ ο θεμελιώδης πίνακας περιγράφει την αντιστοιχία με πιο γενικούς και θεμελιώδεις όρους της προβολικής γεωμετρίας. Αυτό αποτυπώνεται μαθηματικά από τη σχέση μεταξύ ενός θεμελιώδους πίνακα $\mathbf {F}$ και του αντίστοιχου βασικού πίνακα $\mathbf {E}$ , η οποία είναι

\mathbf {E} =({\mathbf {K} '})^{\top }\;\mathbf {F} \;\mathbf {K}

$\mathbf {K}$ και $\mathbf {K} '$ είναι η εγγενής βαθμονόμηση πίνακες των δύο εμπλεκόμενων εικόνων.

Εισαγωγή

Ο θεμελιώδης πίνακας είναι μια σχέση μεταξύ δύο οποιωνδήποτε εικόνων της ίδιας σκηνής που περιορίζει πού μπορεί να εμφανιστεί η προβολή σημείων από τη σκηνή και στις δύο εικόνες. Δεδομένης της προβολής ενός σημείου της σκηνής σε μια από τις εικόνες, το αντίστοιχο σημείο στην άλλη εικόνα περιορίζεται σε μια γραμμή, βοηθώντας την αναζήτηση και επιτρέποντας την ανίχνευση λανθασμένων αντιστοιχιών. Η σχέση μεταξύ των αντίστοιχων σημείων, που αντιπροσωπεύεται από τον θεμελιώδη πίνακα, ονομάζεται επιπολικός περιορισμός, περιορισμός αντιστοιχίας, περιορισμός διακριτής αντιστοιχίας ή σχέση πρόσπτωσης.

Θεώρημα προβολικής ανακατασκευής

Ο θεμελιώδης πίνακας μπορεί να προσδιοριστεί από ένα σύνολο αντιστοιχιών σημείων. Επιπλέον, αυτά τα αντίστοιχα σημεία της εικόνας μπορούν να τριγωνοποιηθούν σε σημεία του κόσμου με τη βοήθεια μητρών κάμερας που προκύπτουν απευθείας από αυτόν τον θεμελιώδη πίνακα. Η σκηνή που αποτελείται από αυτά τα κοσμικά σημεία βρίσκεται εντός ενός προβολικού μετασχηματισμού της πραγματικής σκηνής^[4].

Απόδειξη

Ας υποθέσουμε ότι η αντιστοιχία σημείων εικόνας $\mathbf {x} \leftrightarrow \mathbf {x'}$ προκύπτει από το κοσμικό σημείο ${\textbf {X}}$ υπό τους πίνακες της κάμερας $\left({\textbf {P}},{\textbf {P}}'\right)$ ως εξής

{\begin{aligned}\mathbf {x} &={\textbf {P}}{\textbf {X}}\\\mathbf {x'} &={\textbf {P}}'{\textbf {X}}\end{aligned}}

Ας πούμε ότι μετατρέπουμε το χώρο με ένα γενικό πίνακα ομοιογραφίας ${\textbf {H}}_{4\times 4}$ έτσι ώστε ${\textbf {X}}_{0}={\textbf {H}}{\textbf {X}}$ .

Οι κάμερες στη συνέχεια μετασχηματίζονται ως εξής

{\begin{aligned}{\textbf {P}}_{0}&={\textbf {P}}{\textbf {H}}^{-1}\\{\textbf {P}}_{0}'&={\textbf {P}}'{\textbf {H}}^{-1}\end{aligned}}

{\textbf {P}}_{0}{\textbf {X}}_{0}={\textbf {P}}{\textbf {H}}^{-1}{\textbf {H}}{\textbf {X}}={\textbf {P}}{\textbf {X}}=\mathbf {x}

και ομοίως με

{\textbf {P}}_{0}'

εξακολουθούν να μας δίνουν τα ίδια σημεία εικόνας.

Παραγωγή του θεμελιώδους πίνακα με χρήση της συνθήκης συνεπιπεδότητας

Ο θεμελιώδης πίνακας μπορεί επίσης να προκύψει χρησιμοποιώντας τη συνθήκη συνεπιπεδότητας.^[5]

Για δορυφορικές εικόνες

Ο θεμελιώδης πίνακας εκφράζει την επιπολική γεωμετρία στις στερεοφωνικές εικόνες. Η επιπολική γεωμετρία στις εικόνες που λαμβάνονται με προοπτικές κάμερες εμφανίζεται ως ευθείες γραμμές. Ωστόσο, στις δορυφορικές εικόνες, η εικόνα σχηματίζεται κατά τη διάρκεια της κίνησης του αισθητήρα κατά μήκος της τροχιάς του (αισθητήρας ώθησης). Ως εκ τούτου, υπάρχουν πολλαπλά κέντρα προβολής για μια σκηνή εικόνας και η επιπολική γραμμή σχηματίζεται ως επιπολική καμπύλη. Εντούτοις, σε ειδικές συνθήκες, όπως μικρά πλακίδια εικόνας, οι δορυφορικές εικόνες θα μπορούσαν να διορθωθούν με τη χρήση του θεμελιώδους πίνακα.

Ιδιότητες

Ο θεμελιώδης πίνακας είναι βαθμού 2. Ο πυρήνας του ορίζει το επίπολο.

Δημοσιεύσεις

Olivier D. Faugeras (1992). «What can be seen in three dimensions with an uncalibrated stereo rig?».

Olivier D. Faugeras; Q.T. Luong; Steven Maybank (1992). «Camera self-calibration: Theory and experiments». doi:10.1007/3-540-55426-2_37.

Q.T. Luong and Olivier D. Faugeras (1996). «The Fundamental Matrix: Theory, Algorithms, and Stability Analysis». International Journal of Computer Vision 17 (1): 43–75. doi:10.1007/BF00127818.

Olivier Faugeras and Q.T. Luong (2001). The Geometry of Multiple Images. MIT Press. ISBN 978-0-262-06220-6.

Richard I. Hartley (1992). «Estimation of relative camera positions for uncalibrated cameras». https://link.springer.com/chapter/10.1007/3-540-55426-2_62.

Richard Hartley and Andrew Zisserman (2003). Multiple View Geometry in Computer Vision. Cambridge University Press. ISBN 978-0-521-54051-3.

Richard I. Hartley (1997). «In Defense of the Eight-Point Algorithm». IEEE Transactions on Pattern Analysis and Machine Intelligence 19 (6): 580–593. doi:10.1109/34.601246.
Nurollah Tatar (2019). «Stereo rectification of pushbroom satellite images by robustly estimating the fundamental matrix». International Journal of Remote Sensing 40 (20): 1–19. doi:10.1080/01431161.2019.1624862.

Q.T. Luong (1992). Matrice fondamentale et auto-calibration en vision par ordinateur. PhD Thesis, University of Paris, Orsay.

Yi Ma· Stefano Soatto· Jana Košecká· S. Shankar Sastry (2004). An Invitation to 3-D Vision. Springer. ISBN 978-0-387-00893-6.

Marc Pollefeys, Reinhard Koch and Luc van Gool (1999). «Self-Calibration and Metric Reconstruction in spite of Varying and Unknown Intrinsic Camera Parameters». International Journal of Computer Vision 32 (1): 7–25. doi:10.1023/A:1008109111715.

Philip H. S. Torr (1997). «The Development and Comparison of Robust Methods for Estimating the Fundamental Matrix». International Journal of Computer Vision 24 (3): 271–300. doi:10.1023/A:1007927408552.

Philip H. S. Torr and A. Zisserman (2000). «MLESAC: A New Robust Estimator with Application to Estimating Image Geometry». Computer Vision and Image Understanding 78 (1): 138–156. doi:10.1006/cviu.1999.0832.

Gang Xu and Zhengyou Zhang (1996). Epipolar geometry in Stereo, Motion and Object Recognition. Kluwer Academic Publishers. ISBN 978-0-7923-4199-4.

Zhengyou Zhang (1998). «Determining the epipolar geometry and its uncertainty: A review». International Journal of Computer Vision 27 (2): 161–195. doi:10.1023/A:1007941100561.

Δείτε επίσης

Εξωτερικοί σύνδεσμοι

Παραπομπές

↑ Zisserman, Andrew, επιμ. (2004). Epipolar Geometry and the Fundamental Matrix (2 έκδοση). Cambridge: Cambridge University Press. σελίδες 239–261. ISBN 978-0-521-54051-3.
↑ Sabry, Fouad (30 Απριλίου 2024). Computer Vision Fundamental Matrix: Please, suggest a subtitle for a book with title 'Computer Vision Fundamental Matrix' within the realm of 'Computer Vision'. The suggested subtitle should not have ':'. One Billion Knowledgeable.
↑ «ECCV 2008 - European Conference on Computer Vision». eccv2008.inrialpes.fr. Ανακτήθηκε στις 18 Σεπτεμβρίου 2024.
↑ Richard Hartley and Andrew Zisserman "Multiple View Geometry in Computer Vision" 2003, pp. 266–267
↑ Jaehong Oh. "Novel Approach to Epipolar Resampling of HRSI and Satellite Stereo Imagery-based Georeferencing of Aerial Images" Αρχειοθετήθηκε 2012-03-31 στο Wayback Machine., 2011, pp. 22–29 accessed 2011-08-05.

Epipolar Geometry and the Fundamental Matrix (chapter from Hartley & Zisserman)
Visualization of epipolar geometry (originally by Sylvain Bougnoux of INRIA Robotvis, requires Java)
The Fundamental Matrix Song Video demonstrating laws of epipolar geometry.
Bareiss, Erwin (1968), «Sylvester's Identity and Multistep Integer-Preserving Gaussian Elimination», Mathematics of Computation 22 (102): 565–578, doi:10.2307/2004533, https://www.ams.org/journals/mcom/1968-22-103/S0025-5718-1968-0226829-0/S0025-5718-1968-0226829-0.pdf

[1] Zisserman, Andrew, επιμ. (2004). Epipolar Geometry and the Fundamental Matrix (2 έκδοση). Cambridge: Cambridge University Press. σελίδες 239–261. ISBN 978-0-521-54051-3.

[2] Sabry, Fouad (30 Απριλίου 2024). Computer Vision Fundamental Matrix: Please, suggest a subtitle for a book with title 'Computer Vision Fundamental Matrix' within the realm of 'Computer Vision'. The suggested subtitle should not have ':'. One Billion Knowledgeable.

[3] «ECCV 2008 - European Conference on Computer Vision». eccv2008.inrialpes.fr. Ανακτήθηκε στις 18 Σεπτεμβρίου 2024.

[4] Richard Hartley and Andrew Zisserman "Multiple View Geometry in Computer Vision" 2003, pp. 266–267

[5] Jaehong Oh. "Novel Approach to Epipolar Resampling of HRSI and Satellite Stereo Imagery-based Georeferencing of Aerial Images" Αρχειοθετήθηκε 2012-03-31 στο Wayback Machine., 2011, pp. 22–29 accessed 2011-08-05.

[1]

[2]

[3]

[4]

[5]