Isi

• Cara kerja jaringan saraf
• Jaringan saraf di dalam ponsel cerdas Anda
• AI dapat membentuk masa depan fotografi

Selain fotografi komputasi, perangkat keras kamera berkualitas tinggi, dan prosesor sinyal gambar, fotografi seluler mutakhir semakin ditenagai oleh algoritma pembelajaran mesin - juga dikenal sebagai kecerdasan buatan (AI). Teknik fotografi ini berjanji untuk meningkatkan kualitas dalam mendorong ke arah kualitas seperti DSLR sambil menawarkan cara-cara baru yang kreatif untuk memotret dan mengedit gambar dan video.

Kunci untuk pembelajaran mesin adalah penggunaan jaringan saraf. Ini adalah jenis algoritma yang sering disamakan dengan otak manusia. Perbandingan ini diambil dari kemampuan jaringan saraf untuk dilatih, melalui penggunaan data, untuk mengenali pola, memungkinkannya membuat klasifikasi yang sangat akurat untuk tipe data kompleks seperti audio dan gambar.

Ketika datang ke fotografi, kemampuan untuk mengamati, belajar, menghasilkan, dan mengklasifikasikan memiliki berbagai aplikasi. Aplikasi ini dapat mencakup fitur seperti membangun teknik fotografi komputasi untuk meningkatkan algoritma pasca-pemrosesan, bokeh perangkat lunak waktu-nyata dengan video 4K, atau bahkan sepenuhnya menukar warna pakaian yang Anda kenakan.

Cara kerja jaringan saraf

Jaringan saraf adalah topik yang sangat kompleks, jadi kami hanya akan membahas dasar-dasarnya di sini. Untuk bacaan lebih lanjut, lihat panduan di sini dan di sini.

Jaringan saraf terdiri dari node, yang merupakan penanda untuk di mana beberapa perhitungan dilakukan. Setiap node menggabungkan input dengan bobot yang menguatkan atau melemahkan arti dari node tertentu. Beberapa node sering bekerja secara paralel, menciptakan lapisan node yang melakukan tugas yang lebih besar. Ini bisa berupa deteksi fitur dalam suatu gambar, misalnya. Beberapa node dan layer dapat dirangkum bersama dan diteruskan ke node dan layer lain, membentuk jaringan yang lebih dalam dengan kemampuan yang lebih kuat.

Output dari setiap node dan layer diskalakan sebagai fungsi probabilitas. Dengan melihat banyak fitur dan atribut yang berbeda, jaringan saraf dapat menilai input sebagai probabilitas yang cocok dengan semua output potensial yang diharapkan. Beginilah algoritma pendeteksian gambar memutuskan apakah suatu gambar lebih mirip kucing atau oranye, tetapi Anda harus mengatakannya apa yang harus dicari terlebih dahulu.

Jaringan saraf tidak diprogram seperti algoritma komputer tradisional. Sebaliknya, mereka dilatih pada dataset, seperti gambar, file suara, dll. Bobot masing-masing node disesuaikan secara bertahap dari waktu ke waktu melalui loop umpan balik, berdasarkan seberapa baik jaringan dalam mencocokkan input dengan output yang benar. "Pembelajaran" bertahap dari aturan ini membutuhkan persiapan, waktu, dan daya komputasi yang besar, tetapi menghasilkan hasil yang sangat akurat.

Jaringan saraf di dalam ponsel cerdas Anda

Jaringan saraf dapat berjalan pada berbagai komponen perangkat keras, termasuk bagian CPU dan GPU yang umum di dalam berbagai perangkat komputasi, termasuk ponsel cerdas Anda. Namun, beberapa jaringan saraf dapat membutuhkan daya pemrosesan lebih besar daripada yang diberikan komponen perangkat keras ini, dan perangkat keras khusus dapat menyediakan pemrosesan optimal yang diperlukan.

Di dalam Platform Mobile Qualcomm® Snapdragon ™ 855, misalnya, Anda akan menemukan Qualcomm® Hexagon ™ 690 Digital Signal Processor (DSP) terbaru, menawarkan unit pemrosesan Vektor yang ditingkatkan dan Tensor Accelerator baru khusus untuk tugas pembelajaran mesin. Platform Seluler Snapdragon lainnya juga menampilkan komponen Hexagon DSP, dengan berbagai kemampuan. Dengan itu, jaring saraf tidak terbatas hanya berjalan di DSP di Snapdragon dan platform seluler lainnya. Jenis prosesor yang digunakan tergantung pada beban kerja.

Peningkatan pembelajaran mesin Qualcomm Snapdragon 855 dibandingkan dengan generasi sebelumnya

Qualcomm Technologies membuka kemampuan DSP dan pembelajaran mesin untuk pengembang pihak ketiga melalui Qualcomm® Neural Processing SDK. Ini memungkinkan aplikasi menjalankan jaring saraf di salah satu inti perangkat keras di dalam Platform Seluler Snapdragon. Sebagai contoh, smartphone Google Pixel memanfaatkan Hexagon DSP dan Visual Core-nya sendiri untuk mempercepat fitur fotografi HDR + yang mengesankan. Qualcomm Technologies bekerja dengan vendor perangkat lunak seperti Arcsoft, Elevoc, Polar, Loom, Mobius, Morpho, dan banyak lagi, fitur pendukung mulai dari video bokeh hingga pembuatan avatar menggunakan pembelajaran mesin yang berjalan di DSP.

AI dapat membentuk masa depan fotografi

Sekarang kita tahu bagaimana jaringan saraf bekerja, pertanyaan penting adalah apa yang bisa dilakukan untuk kita dan foto kita?

Jaringan saraf digunakan untuk meningkatkan berbagai algoritme fotografi umum. De-noise, misalnya, dapat ditingkatkan dengan pelatihan untuk menawarkan pembersihan gambar yang superior yang disesuaikan dengan kamera atau jenis pemotretan tertentu. Demikian juga, untuk cahaya rendah, jaring saraf dapat mendeteksi bagian-bagian gambar yang terang dan gelap, memungkinkan peningkatan cahaya dan warna di bagian-bagian tertentu dari pemandangan.

Kasus penggunaan yang lebih maju semakin umum dalam fotografi smartphone. Zoom resolusi tinggi menggunakan jaring saraf untuk menggabungkan beberapa gambar menjadi satu pengambilan gambar beresolusi tinggi untuk zoom digital yang tampak unggul. Jaring saraf juga bisa dilatih untuk secara akurat menjahit beberapa eksposur foto bersama untuk peningkatan HDR dan pemotretan malam.

Fotografi AI dapat mencakup zoom resolusi super, bokeh real-time, dan kualitas gambar yang ditingkatkan.

Video juga dapat mengambil manfaat dari adopsi teknologi ini. Deteksi objek waktu-nyata dirancang untuk memungkinkan aplikasi untuk memperkenalkan efek bokeh perangkat lunak langsung ke video saat Anda merekam. Teknik serupa juga mendukung pertukaran dan penghapusan objek waktu nyata. Ini termasuk menukar latar belakang dalam video, mengubah atau menghapus warna, dan bahkan mengganti item pakaian atau menempatkan avatar digital langsung ke video Anda.

Kekuatan jaringan saraf dan fotografi AI berkisar dari peningkatan kualitas untuk membantu menutup celah pada DSLR hingga alat kreativitas yang kuat yang membantu membuat menghasilkan konten unik menjadi mudah. Apa pun itu, ini adalah teknologi yang kuat yang merupakan dasar bagi perbaikan di masa mendatang yang mengarah ke fotografi seluler.

Berikutnya: Google Pixel 3 XL giveaway internasional!

Konten yang disponsori oleh Qualcomm Technologies, Inc.

Qualcomm Snapdragon, Qualcomm Hexagon, Qualcomm Adreno, Qualcomm Spectra, Qualcomm AI Engine dan Qualcomm Kryo adalah produk dari Qualcomm Technologies, Inc. dan / atau anak perusahaannya.