Isi

• Anggaran daya terbatas
• Bandwidth dan resolusi tinggi
• Latensi rendah dan panel display
• Audio dan sensor
• Pengembang dan perangkat lunak
• Bungkus

Kami akhirnya terjun jauh ke dalam revolusi, seperti yang mungkin dikatakan beberapa orang, dengan banyak produk perangkat keras dan perangkat lunak di pasaran, dan sumber daya mengalir untuk memacu inovasi. Namun, kami sudah lebih dari setahun sejak produk utama diluncurkan di ruang ini dan kami masih menunggu aplikasi pembunuh itu untuk menjadikan realitas virtual menjadi sukses utama. Sementara kami menunggu, perkembangan baru terus membuat realitas virtual menjadi pilihan komersial yang lebih layak, tetapi masih ada sejumlah kendala teknis untuk diatasi, terutama di ruang VR seluler.

Anggaran daya terbatas

Tantangan yang paling jelas dan dibahas dengan baik yang dihadapi aplikasi realitas virtual seluler adalah anggaran daya dan kendala termal yang jauh lebih terbatas bila dibandingkan dengan PC desktop-nya yang setara. Menjalankan aplikasi grafik intensif dari baterai berarti komponen daya yang lebih rendah dan penggunaan energi yang efisien diperlukan untuk menghemat masa pakai baterai. Selain itu, kedekatan perangkat keras pemrosesan dengan pengguna berarti bahwa anggaran termal juga tidak dapat didorong lebih tinggi. Sebagai perbandingan, ponsel biasanya beroperasi dalam batas sub-4 watt, sedangkan desktop VR GPU dapat dengan mudah mengonsumsi 150 watt atau lebih.

Sudah diakui secara luas bahwa VR seluler tidak akan mencocokkan perangkat keras desktop dengan daya mentah, tetapi itu tidak berarti bahwa konsumen tidak menuntut pengalaman 3D mendalam pada resolusi yang tajam dan dengan frame rate yang tinggi.

Sudah diakui secara luas bahwa VR seluler tidak akan menyamai perangkat keras desktop dengan daya mentah, tetapi itu tidak berarti bahwa konsumen tidak akan menuntut pengalaman 3D yang mendalam pada resolusi yang tajam dan dengan frame rate yang tinggi, meskipun daya yang lebih terbatas anggaran. Antara menonton video 3D, menjelajahi lokasi yang diciptakan kembali 360 derajat, dan bahkan bermain game, masih ada banyak kasus penggunaan yang cocok untuk VR seluler.

Melihat kembali SoC ponsel Anda yang khas, ini menciptakan masalah tambahan yang jarang dihargai. Meskipun SoC mobile dapat dikemas dalam pengaturan CPU octa-core yang layak dan beberapa daya GPU yang terkenal, tidaklah mungkin menjalankan chip ini dengan kemiringan penuh, karena konsumsi daya dan kendala termal yang disebutkan sebelumnya. Pada kenyataannya, CPU dalam instance VR seluler ingin berjalan sesingkat mungkin, membebaskan GPU untuk menghabiskan sebagian besar anggaran daya yang terbatas. Ini tidak hanya membatasi sumber daya yang tersedia untuk logika game, perhitungan fisika, dan bahkan proses mobile latar belakang, tetapi juga menempatkan beban pada tugas-tugas VR yang penting, seperti menarik panggilan untuk rendering stereoskopis.

Industri ini sedang mengerjakan solusi untuk ini, yang tidak hanya berlaku untuk seluler. Render multiview didukung dalam OpenGL 3.0 dan ES 3.0, dan dikembangkan oleh kontributor dari Oculus, Qualcomm, Nvidia, Google, Epic, ARM, dan Sony. Multiview memungkinkan rendering stereoskopis hanya dengan satu panggilan draw, daripada satu untuk setiap sudut pandang, mengurangi persyaratan CPU dan juga menyusutkan pekerjaan vertex GPU juga. Teknologi ini dapat meningkatkan kinerja antara 40 dan 50 persen. Di ruang mobile, Multiview sudah didukung oleh sejumlah perangkat ARM Mali dan Qualcomm Adreno.

Inovasi lain yang diharapkan muncul dalam produk-produk VR seluler yang akan datang adalah rendering yang dihapus. Digunakan bersama dengan teknologi pelacakan mata, rendering foveated meringankan beban pada GPU dengan hanya memberikan titik fokus tepat pengguna pada resolusi penuh dan mengurangi resolusi objek dalam penglihatan tepi. Pelengkap sistem penglihatan manusia dengan baik dan secara signifikan dapat mengurangi beban GPU, sehingga menghemat daya dan / atau membebaskan lebih banyak daya untuk tugas CPU atau GPU lainnya.

Bandwidth dan resolusi tinggi

Sementara kekuatan pemrosesan terbatas dalam situasi VR seluler, platform ini masih terikat pada persyaratan yang sama dengan platform realitas virtual lainnya, termasuk tuntutan latensi rendah, panel layar resolusi tinggi. Bahkan mereka yang telah melihat layar VR yang menawarkan resolusi QHD (2560 x 1440) atau resolusi 1080 × 1200 headset Rift per mata mungkin akan sedikit dikecewakan oleh kejernihan gambar. Aliasing sangat bermasalah mengingat mata kita sangat dekat dengan layar, dengan ujung-ujungnya tampak sangat kasar atau bergerigi selama gerakan.

Sementara kekuatan pemrosesan terbatas dalam situasi VR seluler, platform ini masih terikat pada persyaratan yang sama dengan platform realitas virtual lainnya, termasuk tuntutan latensi rendah, panel layar resolusi tinggi.

Solusi brute force adalah meningkatkan resolusi tampilan, dengan 4K menjadi perkembangan logis berikutnya. Namun, perangkat perlu mempertahankan kecepatan refresh tinggi terlepas dari resolusi, dengan 60Hz dianggap minimum tetapi 90 atau bahkan 120Hz jauh lebih disukai. Ini menempatkan beban besar pada memori sistem, dengan dua hingga delapan kali lebih banyak daripada perangkat saat ini. Bandwidth memori sudah lebih terbatas di VR seluler daripada di produk desktop, yang menggunakan memori grafis khusus lebih cepat daripada kumpulan bersama.

Solusi yang memungkinkan untuk menghemat bandwidth grafis termasuk penggunaan teknologi kompresi, seperti ARM dan standar AMD Adaptive Scalable Texture Compression (ASTC) atau format Ericsson Texture Compression, yang keduanya merupakan ekstensi resmi OpenGL dan OpenGL ES. ASTC juga didukung dalam perangkat keras dalam GPU Mali terbaru ARM, Nvidia Kepler dan Maxwell Tegra SoCs, dan GPU terintegrasi terbaru Intel, dan dapat menghemat lebih dari 50 persen bandwidth dalam beberapa skenario versus penggunaan tekstur yang tidak terkompresi.

Penggunaan kompresi tekstur dapat sangat mengurangi bandwidth, latensi, dan memori yang diperlukan oleh aplikasi 3D. Sumber - ARM.

Teknik lain juga bisa diterapkan.Penggunaan tessellation dapat membuat geometri tampak lebih rinci dari objek yang lebih sederhana, meskipun dengan membutuhkan beberapa sumber daya GPU substansial lainnya. Deferred Rendering dan Forward Pixel Kill dapat menghindari rendering piksel yang tersumbat, sementara arsitektur Binning / Tiling dapat digunakan untuk membagi gambar menjadi kisi-kisi atau ubin yang lebih kecil yang masing-masing dirender secara terpisah, yang semuanya dapat menghemat bandwidth.

Sebagai alternatif, atau lebih disukai, pengembang dapat mengorbankan kualitas gambar untuk mengurangi tekanan pada bandwidth sistem. Kepadatan geometri dapat dikorbankan atau pemusnahan yang lebih agresif digunakan untuk mengurangi beban, dan resolusi data vertex dapat diturunkan menjadi 16-bit, turun dari akurasi 32-bit yang digunakan secara tradisional. Banyak dari teknik ini sudah digunakan dalam berbagai paket ponsel, dan bersama-sama mereka dapat membantu mengurangi ketegangan pada bandwidth.

Memori tidak hanya merupakan kendala utama dalam ruang VR seluler, tetapi juga merupakan konsumen daya yang agak besar, sering kali sama dengan konsumsi CPU atau GPU. Dengan melakukan penghematan pada bandwidth memori dan penggunaan, solusi realitas virtual portabel akan membuat daya tahan baterai lebih lama.

Latensi rendah dan panel display

Berbicara tentang masalah latensi, sejauh ini kami hanya melihat headset VR menggunakan panel display OLED dan ini sebagian besar disebabkan oleh waktu peralihan piksel yang cepat di bawah milidetik. Secara historis, LCD telah dikaitkan dengan masalah ghosting untuk dengan kecepatan refresh yang sangat cepat, membuat mereka agak tidak cocok untuk VR. Namun, panel LCD resolusi sangat tinggi masih lebih murah untuk diproduksi daripada setara OLED, sehingga beralih ke teknologi ini dapat membantu membawa harga headset VR ke tingkat yang lebih terjangkau.

Gerak ke latensi foton harus sub 20ms. Ini termasuk mendaftarkan dan memproses gerakan, memproses grafik dan audio, dan memperbarui tampilan.

Tampilan adalah bagian yang sangat penting dalam latensi keseluruhan sistem realitas virtual, sering kali membuat perbedaan antara pengalaman yang tampak dan sub-par. Dalam sistem yang ideal, latensi gerak-ke-foton - waktu yang diperlukan antara menggerakkan kepala dan respons layar - harus kurang dari 20 milidetik. Jelas tampilan 50ms tidak bagus di sini. Idealnya panel harus sub-5ms untuk mengakomodasi sensor dan pemrosesan latensi juga.

Saat ini ada trade-off kinerja biaya yang mendukung OLED, tetapi ini bisa segera berubah. Panel LCD dengan dukungan untuk tingkat penyegaran yang lebih tinggi dan waktu respons hitam-ke-putih yang rendah yang memanfaatkan teknik canggih, seperti lampu belakang yang berkedip, dapat menyesuaikan dengan tagihan. Display Jepang memamerkan panel seperti itu tahun lalu, dan kita mungkin melihat produsen lain mengumumkan teknologi serupa juga.

Audio dan sensor

Sementara banyak dari realitas virtual yang umum berkisar pada kualitas gambar, VR yang imersif juga membutuhkan resolusi tinggi, audio 3D yang akurat secara spasial, dan sensor latensi rendah. Di ranah seluler, semua ini harus dilakukan dalam anggaran daya terbatas yang sama yang memengaruhi CPU, GPU, dan memori, yang menghadirkan tantangan lebih lanjut.

Kami telah menyentuh masalah latensi sensor sebelumnya, di mana gerakan harus didaftarkan dan diproses sebagai bagian dari batas latensi gerak-ke-foton sub 20ms. Ketika kami mempertimbangkan bahwa headset VR menggunakan 6 derajat gerakan - rotasi dan menguap di masing-masing sumbu X, Y, dan Z - ditambah teknologi baru seperti pelacakan mata, ada sejumlah besar data konstan untuk dikumpulkan dan diproses, semuanya dengan minimal latensi.

Solusi untuk menjaga latensi ini serendah mungkin cukup banyak membutuhkan pendekatan ujung ke ujung, dengan perangkat keras dan perangkat lunak keduanya dapat melakukan tugas-tugas ini secara paralel. Untungnya untuk perangkat seluler, penggunaan prosesor sensor berdaya rendah khusus dan teknologi selalu aktif sangat umum, dan ini berjalan dengan daya yang cukup rendah.

Untuk audio, posisi 3D adalah teknik yang sudah lama digunakan untuk bermain game dan semacamnya, tetapi penggunaan fungsi transfer terkait kepala (HRTF) dan pemrosesan reverb konvolusi, yang diperlukan untuk penempatan sumber suara yang realistis, merupakan tugas yang cukup intensif untuk prosesor. Meskipun ini dapat dilakukan pada CPU, prosesor sinyal digital khusus (DSD) dapat melakukan jenis proses ini jauh lebih efisien, baik dalam hal waktu pemrosesan dan juga daya.

Menggabungkan fitur-fitur ini dengan persyaratan grafis dan tampilan yang telah kami sebutkan, jelas bahwa penggunaan beberapa prosesor khusus adalah cara paling efisien untuk memenuhi kebutuhan ini. Kami telah melihat Qualcomm membuat banyak dari kemampuan komputasi heterogen dari andalannya dan platform seluler Snapdragon tingkat menengah terbaru, yang menggabungkan berbagai unit pemrosesan menjadi satu paket dengan kemampuan yang cocok untuk memenuhi banyak kebutuhan VR ponsel ini. Kita mungkin akan melihat jenis paket memberi daya pada sejumlah produk VR seluler, termasuk perangkat keras portabel mandiri.

Pengembang dan perangkat lunak

Akhirnya, tidak ada kemajuan perangkat keras yang jauh lebih baik tanpa perangkat lunak, mesin game, dan SDK untuk mendukung pengembang. Lagipula, kami tidak dapat meminta setiap pengembang menciptakan kembali roda untuk setiap aplikasi. Menjaga agar biaya pengembangan tetap rendah dan kecepatan secepat mungkin adalah kuncinya jika kita akan melihat berbagai aplikasi.

SDK khususnya sangat penting untuk mengimplementasikan tugas-tugas pemrosesan VR utama, seperti Asynchronous Timewarp, koreksi distorsi lensa, dan rendering stereoskopik. Belum lagi manajemen daya, termal, dan pemrosesan dalam pengaturan perangkat keras yang heterogen.

Untungnya semua produsen platform perangkat keras utama menawarkan SDK kepada pengembang, meskipun pasarnya agak terfragmentasi sehingga kurangnya dukungan lintas platform. Misalnya, Google memiliki VR SDK untuk Android dan SDK khusus untuk mesin Unity yang populer, sementara Oculus memiliki Mobile SDK yang dibangun bersama dengan Samsung untuk Gear VR. Yang penting, kelompok Khronos baru-baru ini meluncurkan inisiatif OpenXR yang bertujuan untuk menyediakan API untuk mencakup semua platform utama di kedua lapisan tingkat perangkat dan aplikasi, untuk memfasilitasi pengembangan lintas platform yang lebih mudah. OpenXR dapat melihat dukungan dalam perangkat realitas virtual pertamanya sekitar tahun 2018.

Bungkus

Terlepas dari beberapa masalah, teknologi sedang dikembangkan, dan sampai batas tertentu sudah ada di sini, yang membuat realitas virtual seluler dapat digunakan untuk sejumlah aplikasi. Mobile VR juga memiliki sejumlah manfaat yang tidak berlaku untuk setara desktop, yang akan terus menjadikannya platform yang layak untuk investasi dan intrik. Faktor portabilitas menjadikan VR ponsel sebagai platform yang menarik untuk pengalaman multimedia dan bahkan permainan ringan, tanpa perlu kabel yang terhubung ke PC yang lebih kuat.

Selain itu, banyaknya perangkat seluler di pasaran yang semakin dilengkapi dengan kemampuan realitas virtual menjadikannya platform pilihan untuk menjangkau audiens target terbesar. Jika realitas virtual ingin menjadi platform utama, ia membutuhkan pengguna, dan seluler adalah basis pengguna terbesar yang ada di dunia.