IndonesiaDiscover –
Para peneliti di University of Maryland telah mengubah pantulan mata menjadi pemandangan 3D (agak terlihat). Karya ini dibangun di atas Neural Radiance Fields (NeRF), sebuah teknologi AI yang dapat merekonstruksi lingkungan dari foto 2D. Meskipun pendekatan refleksi mata memiliki jalan panjang sebelum menghasilkan aplikasi praktis, penelitian ini (pertama kali dilaporkan oleh Teknologi Xplore) memberikan gambaran sekilas tentang teknologi yang pada akhirnya dapat mengungkapkan lingkungan dari serangkaian foto potret sederhana.
Tim menggunakan pantulan halus cahaya yang ditangkap oleh mata manusia (menggunakan gambar berurutan yang diambil dari satu sensor) untuk mencoba membedakan lingkungan terdekat orang tersebut. Mereka mulai dengan beberapa gambar beresolusi tinggi dari posisi kamera tetap, menangkap individu bergerak yang melihat ke arah kamera. Mereka kemudian memperbesar pantulan, mengisolasinya dan menghitung ke mana mata memandang di foto.
Hasilnya (inilah seluruh set animasi) menunjukkan rekonstruksi lingkungan yang dapat dilihat dengan baik dari mata manusia dalam pengaturan yang terkontrol. Pemandangan yang ditangkap menggunakan mata sintetis (di bawah) menghasilkan pemandangan seperti mimpi yang lebih mengesankan. Namun, upaya untuk memodelkan pantulan mata dari video musik Miley Cyrus dan Lady Gaga hanya menghasilkan gumpalan samar yang hanya dapat ditebak oleh para peneliti sebagai kisi LED dan kamera pada tripod – menggambarkan seberapa jauh teknologi tersebut dari penggunaan dunia nyata.
Tim mengatasi hambatan yang signifikan untuk merekonstruksi bahkan adegan kasar dan kabur. Sebagai contoh, kornea memperkenalkan “inherent noise” yang membuatnya sulit untuk memisahkan cahaya yang dipantulkan dari tekstur kompleks iris mata manusia. Untuk mengatasinya, mereka memperkenalkan pengoptimalan pose kornea (memperkirakan posisi dan orientasi kornea) dan dekomposisi tekstur iris (mengekstraksi fitur unik iris individu) selama pelatihan. Terakhir, hilangnya regularisasi tekstur radial (teknik pembelajaran mesin yang mensimulasikan tekstur yang lebih halus daripada bahan sumber) membantu lebih mengisolasi dan menyempurnakan pemandangan yang dipantulkan.
Terlepas dari kemajuan dan solusi cerdas, hambatan signifikan tetap ada. “Hasil dunia nyata kami saat ini berasal dari ‘penyiapan laboratorium,’ seperti tangkapan wajah seseorang secara zoom-in, lampu area untuk menerangi pemandangan, dan gerakan orang yang disengaja,” tulis para penulis. “Kami percaya pengaturan yang lebih tidak terbatas tetap menantang (misalnya, konferensi video dengan gerakan kepala alami) karena resolusi sensor yang lebih rendah, jangkauan dinamis, dan buram gerakan.” Selain itu, tim mencatat bahwa asumsi universal tentang tekstur iris mungkin terlalu sederhana untuk diterapkan secara luas, terutama ketika mata biasanya berputar lebih lebar daripada pengaturan terkontrol semacam ini.
