Isi
Live Caption adalah salah satu fitur Android paling keren, menggunakan pembelajaran pada perangkat untuk menghasilkan teks untuk video lokal dan klip web.
Google telah menerbitkan sebuah posting blog yang merinci secara tepat bagaimana fitur yang bagus ini bekerja, dan sebenarnya terdiri dari tiga model pembelajaran mesin pada perangkat, sebagai permulaan.
Ada model transduksi urutan jaringan saraf berulang (RNN-T) untuk pengenalan suara itu sendiri, tetapi Google juga menggunakan jaringan saraf berulang untuk memprediksi tanda baca.
Model pembelajaran mesin pada perangkat ketiga adalah jaringan saraf convolutional (CNN) untuk acara-acara suara, seperti kicau burung, tepuk tangan orang, dan musik. Google mengatakan model pembelajaran mesin ketiga ini berasal dari pekerjaannya pada aplikasi aksesibilitas Live Transcribe, yang mampu menyalin acara bicara dan suara.
Mengurangi dampak Teks Langsung
Perusahaan mengatakan telah mengambil sejumlah langkah untuk mengurangi konsumsi baterai dan tuntutan kinerja Live Caption.Untuk satu, mesin pengenalan suara otomatis penuh (ASR) hanya berjalan ketika suara benar-benar terdeteksi, sebagai lawan terus berjalan di latar belakang.
“Misalnya, ketika musik terdeteksi dan ucapan tidak ada dalam aliran audio, label akan muncul di layar, dan model ASR akan diturunkan. Model ASR hanya dimuat kembali ke memori ketika pidato hadir dalam aliran audio lagi, "Google menjelaskan dalam posting blog-nya.
Google juga telah menggunakan teknik seperti pemangkasan koneksi saraf (mengurangi ukuran model bicara), mengurangi konsumsi daya hingga 50% dan memungkinkan Live Caption berjalan terus menerus.
Google menjelaskan bahwa hasil pengenalan ucapan diperbarui beberapa kali setiap detik ketika teksnya terbentuk, tetapi prediksi tanda baca berbeda. Raksasa pencarian itu mengatakan itu memberikan prediksi tanda baca "di ujung teks dari kalimat yang paling baru dikenal" untuk mengurangi tuntutan sumber daya.
Live Caption sekarang tersedia di seri Google Pixel 4, dan Google mengatakan itu akan tersedia "segera" pada seri Pixel 3 dan perangkat lainnya. Perusahaan itu mengatakan sedang mengerjakan dukungan untuk bahasa lain dan dukungan yang lebih baik untuk konten multi-speaker.
