Asisten juga akan memiliki akses ke server Google, tempat ringkasan model ucapan pengguna lain akan dikumpulkan dan dianalisis. Fitur ini kemungkinan akan memungkinkan pengenalan perintah dan nama kontak yang lebih canggih.

Terkait masalah privasi, Google akan memberikan opsi di pengaturan untuk memilih keluar dari pengenalan suara yang dipersonalisasi jika pengguna tak menginginkan suaranya disimpan di mana pun.