Cara Mengukur Performa Chatbot: Containment Rate Fallback Rate dan CSAT Bot

Ringkasan artikel：Dashboard chatbot dapat terlihat positif ketika pelanggan masih pergi tanpa jawaban, menghubungi dukungan lagi, atau memberi penilaian buruk. Artikel ini menjelaskan cara membangun sistem pengukuran yang praktis untuk performa chatbot. Anda akan mempelajari containment rate, fallback rate, dan CSAT Bot, termasuk rumus serta pembilang dan penyebutnya. Artikel ini juga membahas batasan data di balik setiap angka dan cara membaca sinyal yang saling bertentangan menurut intent, kanal, bahasa, dan versi bot agar tim memperbaiki perjalanan pelanggan, bukan sekadar mengejar angka yang menyesatkan.

Balasan cepat dan transfer yang lebih sedikit dapat membuat bot terlihat berhasil. Namun, hal itu tidak membuktikan bahwa pelanggan mendapat jawaban yang tepat atau menyelesaikan tugasnya. Metrik chatbot yang berguna menghubungkan aktivitas bot dengan hasil bagi pelanggan, bukan hanya ketiadaan agen.

Setiap metrik menjawab pertanyaan yang berbeda, memakai penyebut yang berbeda, dan dapat terdistorsi oleh data yang tidak lengkap. Evaluasi performa chatbot yang baik dimulai dengan menyepakati peristiwa yang dihitung sebelum menilai suatu persentase.

Tentukan data sebelum mengukur performa

Pilih unit analisisnya. Fallback biasanya terjadi pada tingkat pesan. Containment dan CSAT Bot berada pada tingkat percakapan. Tindakan yang selesai dapat berada pada tingkat tugas. Jangan membagi jumlah pesan dengan jumlah percakapan lalu menyebut hasilnya sebagai rate.

Untuk setiap percakapan yang memenuhi syarat, simpan data awal percakapan, pesan pelanggan, peristiwa fallback, handoff, akhir percakapan, respons survei, dan tugas yang dikonfirmasi selesai. Beri label intent, kanal, bahasa, dan versi bot.

Tentukan penyebutnya. Tim dapat mengecualikan pengujian karyawan, spam, sesi duplikat, dan traffic pemantauan, tetapi pengecualian harus diterapkan secara konsisten. Nyatakan apakah percakapan yang ditinggalkan dan transfer terencana tetap termasuk dalam cakupan.

Pengunjung anonim dapat mengirim email berikutnya yang tidak dapat dihubungkan dengan chat sebelumnya. Jelaskan cara pencocokan dilakukan dan kanal mana yang tidak tercakup.

Containment rate bukan resolution

Containment rate chatbot mengukur seberapa sering percakapan bot yang memenuhi syarat berakhir tanpa handoff ke manusia. Ini terutama merupakan sinyal efisiensi karena menunjukkan seberapa banyak pekerjaan yang tetap berada di jalur otomatis.

Gunakan rumus ini:

Containment rate chatbot = Percakapan memenuhi syarat yang contained / Total percakapan bot yang memenuhi syarat × 100

Pembilangnya adalah jumlah percakapan yang memenuhi definisi contained dari tim. Dalam definisi dasar, percakapan berakhir tanpa handoff ke agen langsung. Penyebutnya adalah semua percakapan yang memenuhi syarat dan masuk ke bot dalam periode yang sama, termasuk yang kemudian ditransfer.

Masalahnya terletak pada arti "berakhir". Pelanggan dapat pergi setelah jawaban yang samar, menyerah setelah beberapa putaran, atau menelepon kemudian. Semua itu dapat tampak contained jika aturan hanya memeriksa transfer langsung. Containment tidak membuktikan bahwa masalah pelanggan telah terselesaikan.

Perlakukan resolution sebagai hasil yang lebih ketat: konfirmasi pelanggan, transaksi yang selesai, jawaban benar yang diperiksa kualitasnya, atau tidak adanya kontak ulang yang memenuhi syarat dalam periode yang didokumentasikan. Jangan mengubah aturan secara diam-diam untuk meningkatkan rate.

Eskalasi terencana memerlukan perlakuan terpisah. Sebagian permintaan memang harus sampai ke manusia karena risiko, kebijakan, atau pilihan pelanggan. Mengecualikannya dapat berguna untuk mengukur cakupan yang memenuhi syarat, tetapi tampilkan juga volumenya. Jika tidak, cakupan yang lebih sempit dapat tampak sebagai peningkatan.

Ukur fallback rate berdasarkan pesan pelanggan

Fallback terjadi saat bot tidak dapat memahami, menjawab, atau melanjutkan dari pesan pelanggan dengan aman. Bentuknya dapat berupa pesan "Saya tidak memahami", intent yang tidak cocok, atau kondisi kegagalan yang dikendalikan. Fallback rate menunjukkan celah cakupan atau desain percakapan. Metrik ini tidak mengukur resolution.

Rumus utama pada tingkat pesan adalah:

Fallback rate = Pesan pelanggan yang memicu fallback / Pesan pelanggan yang memenuhi syarat × 100

Pembilang menghitung pesan yang menyebabkan peristiwa tersebut. Penyebut menghitung pesan yang memenuhi syarat untuk menerima respons bot. Tentukan sejak awal cara menangani lampiran, pesan kosong, pengiriman duplikat, bahasa yang tidak didukung, dan pesan setelah manusia bergabung.

Gunakan tampilan kedua pada tingkat percakapan bila membantu menjelaskan dampak bagi pelanggan:

Conversation fallback rate = Percakapan dengan satu atau lebih peristiwa fallback / Percakapan bot yang memenuhi syarat × 100

Jangan menggabungkan kedua ukuran ini. Satu percakapan dapat menghasilkan lima fallback, sementara percakapan lain mungkin mengalami satu fallback lalu ditinggalkan. Rate tingkat pesan menunjukkan frekuensi, sedangkan rate tingkat percakapan menunjukkan perjalanan yang terdampak.

Fallback yang rendah tidak membuktikan bot benar karena bot dapat memilih jawaban yang salah dengan yakin. Fallback tinggi juga tidak selalu berarti kegagalan: rute ke manusia yang terkendali bisa menjadi pilihan paling aman di luar cakupan yang disetujui. Tinjau transkrip menurut intent, pola kata, kanal, bahasa, dan versi bot sebelum mengubah pengetahuan atau routing.

Hitung CSAT Bot dengan aturan survei yang jelas

CSAT Bot mengukur kepuasan yang dilaporkan untuk suatu perjalanan otomatis. Metrik ini mengukur pengalaman, bukan akurasi atau resolution.

Gunakan rumus ini:

CSAT Bot = Respons CSAT Bot valid yang positif / Total respons CSAT Bot valid × 100

Pembilang adalah respons valid yang dihitung positif menurut skala yang dipilih. Dalam survei lima poin, nilai empat dan lima dapat digolongkan positif. Penyebutnya adalah seluruh respons valid pada survei CSAT Bot tersebut, bukan semua percakapan bot. Nyatakan aturannya di samping metrik.

Tentukan waktu undangan survei, percakapan yang memenuhi syarat, dan perjalanan yang dinilai. Penilaian setelah transfer dapat menggambarkan seluruh perjalanan layanan, bukan bot saja. Pisahkan hasil bot saja, bot-ke-agen, dan agen saja bila memungkinkan.

Responden survei dapat berbeda dari pelanggan yang mengabaikannya, dan jumlah respons kecil dapat mengubah persentase secara tajam. Tampilkan jumlah respons di samping CSAT Bot. Jika jumlahnya rendah, periksa percakapan, bukan menganggapnya sebagai bukti hasil suatu rilis.

Baca metrik secara bersamaan

Satu angka jarang menjelaskan apa yang berubah. Baca sinyal efisiensi, kegagalan, dan pengalaman pelanggan secara bersamaan. Perubahan harus memicu penyelidikan, bukan perayaan atau pembalikan otomatis.

Tabel tersebut tidak dapat mendiagnosis masalah dengan sendirinya. CSAT Bot yang turun dapat berasal dari insiden produk, sedangkan kampanye baru dapat memunculkan pertanyaan baru. Bandingkan kelompok intent dan periksa percakapan sebelum menetapkan penyebab.

Bandingkan performa chatbot menurut intent dan kanal

Rata-rata keseluruhan dapat menyembunyikan bagian yang menyulitkan pelanggan. Bot mungkin menangani pertanyaan status pesanan dengan baik, tetapi gagal pada akses akun. Kanal juga dapat berbeda karena pelanggan menulis dengan cara berbeda, kembali di lain waktu, atau memiliki harapan berbeda terhadap ketersediaan manusia.

Pisahkan tren menurut intent, kompleksitas tugas, kanal, bahasa, segmen pelanggan bila berguna, dan versi bot. Bandingkan hal yang setara sebelum menyebut perubahan sebagai peningkatan. Rilis, aturan kelayakan, wording survei, atau campuran traffic yang berubah dapat mendistorsi perbandingan.

Simpan catatan rilis untuk pembaruan pengetahuan, perubahan prompt, tindakan workflow, perubahan routing, integrasi, dan perubahan survei. Catat tanggal, intent yang terdampak, dan efek yang diharapkan.

Gunakan temuan untuk rilis bot berikutnya

Tinjauan mingguan dapat memeriksa pencatatan peristiwa dan volume survei, mengidentifikasi perubahan pada kelompok yang ditentukan, mengambil sampel percakapannya, menyebut masalah yang mungkin terjadi, lalu memilih satu perubahan yang terkendali.

Fallback berulang pada pertanyaan kebijakan pengiriman dapat menunjukkan konten yang hilang, wording yang tidak jelas, atau intent yang seharusnya ditransfer sejak awal. Sesuaikan perbaikan dengan buktinya. Jangan meningkatkan containment dengan mempersulit pelanggan untuk mendapatkan bantuan manusia.

Setelah perubahan, tinjau kelompok dan definisi yang sama. Cari fallback relevan yang lebih sedikit tanpa penurunan CSAT Bot, atau lebih banyak percakapan contained tanpa lebih banyak kontak ulang. Tetap ambil sampel transkrip: persentase menunjukkan apa yang berubah, sedangkan percakapan menunjukkan alasannya.

Ukur Udesk AI Chatbot berdasarkan hasil pelanggan

Udesk AI Chatbot cocok bagi tim yang menginginkan otomatisasi berdasarkan konten dukungan yang disetujui dan tetap terhubung ke dukungan manusia saat diperlukan. Udesk menjelaskan bahwa AI Chatbot menggunakan materi dukungan organisasi, menyediakan custom answers untuk pertanyaan penting, dan mentransfer percakapan lain kepada tim dukungan. Tinjau tema fallback untuk menemukan celah konten, hitung containment hanya untuk permintaan yang memenuhi syarat, dan periksa kualitas transfer daripada sekadar memberi nilai pada chat yang ditutup.

Evaluasi performa chatbot yang kuat menunjukkan apakah otomatisasi menyelesaikan kebutuhan yang memenuhi syarat, mengirim pengecualian ke pemilik yang tepat, dan menghindari pekerjaan tersembunyi di tempat lain.

Pertanyaan Umum

1. Apakah containment rate chatbot sama dengan resolution rate?

Tidak. Containment biasanya berarti percakapan bot yang memenuhi syarat berakhir tanpa handoff ke manusia. Resolution memerlukan bukti terpisah bahwa kebutuhan pelanggan benar-benar terpenuhi, seperti tugas yang selesai, konfirmasi eksplisit, tinjauan kualitas, atau pemeriksaan kontak ulang yang didokumentasikan.

2. Apa yang harus dihitung sebagai peristiwa fallback?

Hitung fallback ketika pesan pelanggan memicu respons no-match, tidak dapat menjawab, atau tidak dapat melanjutkan yang telah didefinisikan oleh bot. Laporkan penolakan keamanan yang disengaja, gangguan teknis, dan rute manusia yang direncanakan secara terpisah agar fallback rate tetap dapat ditafsirkan.

3. Bagaimana tim dapat mengukur CSAT Bot secara adil?

Tetapkan skala survei, aturan penilaian positif, kelayakan, waktu, dan jenis perjalanan sebelum pelaporan. Pisahkan hasil bot saja dari perjalanan bot-ke-agen dan agen saja bila memungkinkan, serta tampilkan jumlah respons di samping persentase.

4. Metrik chatbot apa yang harus ditinjau manajer secara bersamaan?

Tinjau containment, fallback, CSAT Bot, kontak ulang bila pencocokan identitas memungkinkan, alasan transfer, dan kualitas percakapan yang disampel. Bersama-sama, sinyal ini menunjukkan apakah bot mengurangi pekerjaan sambil tetap membantu pelanggan.

Jawab pertanyaan pelanggan 24/7 tanpa henti dengan Chatbot AI Udesk. Coba gratis dan kurangi beban manual tim CS!

Klik gambar di bawah ini untuk uji coba gratis>>

Artikel ini merupakan karya asli Udesk. Jika akan diterbitkan ulang, wajib selalu mencantumkan sumber aslinya：https://id.udeskglobal.com/blog/cara-mengukur-performa-chatbot-containment-rate-fallback-rate-dan-csat-bot