Di Titik Mana Manusia Harus Tetap Ngecek Hasil AI dan Automation

Begitu AI atau automation mulai dipakai beneran di bisnis, ada satu pertanyaan yang pasti muncul: ini boleh jalan sendiri, atau harus ada orang yang ngecek dulu? Kalau jawabannya "semua harus dicek", automation-nya jadi nggak ada gunanya. Kalau jawabannya "nggak usah dicek", tinggal nunggu kejadian.

Jawabannya ada di tengah, dan penentunya bukan perasaan, tapi risiko. Dua cerita berikut nunjukin kenapa.

Dua cerita tentang apa yang terjadi kalau nggak ada yang ngecek

Chatbot yang salah kasih info, perusahaannya yang bertanggung jawab

Pada Februari 2024, tribunal di British Columbia memutus perkara Moffatt v. Air Canada (2024 BCCRT 149). Chatbot Air Canada bilang penumpang bisa mengajukan tarif duka cita (bereavement fare) secara retroaktif setelah terbang, padahal informasi di bagian lain situs mereka berkata sebaliknya. Air Canada berdalih chatbot-nya semacam entitas terpisah. Tribunal menolak dalih itu. Menurut ringkasan McCarthy Tétrault, putusannya berbunyi: "It makes no difference whether the information comes from a static page or a chatbot." Perusahaan bertanggung jawab atas apa yang dikatakan chatbot-nya, sama seperti atas halaman web-nya.

Agen AI yang menghapus database produksi

Pada Juli 2025, Jason Lemkin, pendiri SaaStr, melaporkan bahwa agen AI Replit menghapus database produksinya padahal ia berulang kali menginstruksikan code freeze. Menurut The Register, layanan itu sempat mengakui "catastrophic error of judgement" dan bilang rollback mustahil, yang belakangan terbukti salah karena rollback-nya berhasil. Agennya juga sempat membuat data palsu. Kata Lemkin, "There is no way to enforce a code freeze in vibe coding apps like Replit."

Pelajarannya: instruksi di dalam prompt itu bukan pagar. Pagarnya harus ada di sistem, lewat hak akses yang memang nggak mengizinkan tindakan itu.

Tingkat pengawasan mengikuti risiko, bukan perasaan

Panduan A practical guide to building agents dari OpenAI menyebut dua pemicu yang biasanya layak memanggil manusia: agen melewati batas kegagalan (misalnya gagal paham maksud pelanggan setelah beberapa kali coba), dan tindakan berisiko tinggi, yaitu yang sensitif, tidak bisa dibatalkan, atau taruhannya besar, seperti membatalkan pesanan, menyetujui refund besar, atau melakukan pembayaran. Panduan itu juga menyarankan menilai tiap tool yang bisa dipakai agen dengan rating rendah, sedang, atau tinggi, berdasarkan apakah hanya baca atau bisa tulis, bisa dibatalkan atau tidak, hak akses yang dibutuhkan, dan dampak finansialnya.

Anthropic, di Building effective agents, menulis bahwa agen bisa berhenti untuk meminta masukan manusia di titik-titik tertentu atau saat terhambat, dan mengingatkan bahwa sifat otonom agen berarti biaya yang lebih tinggi dan kemungkinan kesalahan yang menumpuk.

Dari situ, aku pakai pembagian sederhana yang gampang diterapkan di bisnis:

Persetujuan yang cuma formalitas sama saja nggak ada

Ini bagian yang sering kelewat: menaruh manusia di tengah proses nggak otomatis bikin prosesnya aman. Tinjauan Parasuraman dan Manzey di jurnal Human Factors (2010) tentang complacency dan bias terhadap automation menyimpulkan bahwa automation bias bisa membuat orang melakukan kesalahan karena terlewat maupun karena ikut-ikutan saran yang keliru, terjadi pada pemula maupun ahli, dan tidak bisa dicegah lewat pelatihan atau instruksi.

Artinya, bilang "tolong dicek ya" itu nggak cukup. Yang perlu didesain adalah prosesnya. Beberapa hal yang menurutku membantu (ini saranku, bukan hasil riset di atas):

• Tunjukkan yang berubah atau janggal, bukan cuma "semua sudah benar?".
• Batasi volume. Kalau ada 100 persetujuan sehari, orang akan klik-klik tanpa membaca. Pakai ambang (nominal, jenis, skor keyakinan) supaya manusia hanya melihat yang perlu.
• Bikin antrean pengecualian. Yang cocok pola jalan sendiri, yang janggal masuk antrean.
• Cek sampel acak dari yang lolos, supaya kesalahan yang nggak terlihat ketahuan juga.
• Catat siapa menyetujui apa dan kapan.
• Batasi akses dari awal. Agen yang nggak punya hak hapus di produksi nggak bisa menghapus produksi, secerdas apa pun ia.

Contoh dari sistem yang pernah aku bangun

• Sistem keuangan kos. Tagihan dibuat admin lalu disetujui (semua tagihan satu penghuni bisa disetujui dalam satu klik), bukti bayar yang masuk dikirim ke tim pengelola untuk diverifikasi, dan kwitansi baru terkirim setelah pembayarannya diverifikasi. Uangnya bergerak di tiap langkah, jadi manusia ada di titik persetujuan dan verifikasi. Sementara pengingat jatuh tempo, yang bisa dibatalkan dan berisiko kecil, jalan sendiri. Detailnya ada di case study sistem keuangan kos.
• Rekap WhatsApp marketing. AI nggak pernah ikut campur ke percakapan pelanggan. Yang membalas tetap dua orang tim marketing, dan AI cuma merangkum buat owner. Itu keputusan desain yang disengaja, dan aku bahas di case study rekap WhatsApp marketing.
• Verifikasi dokumen. AI membaca dan memvalidasi dokumen, lalu satu admin menjalankan sistemnya dan mengecek hasilnya. Biayanya turun jauh dibanding empat peran admin sebelumnya, tapi manusianya tetap ada, seperti di Cara Menurunkan Biaya Operasional dari Puluhan Juta Jadi Ratusan Ribu.

Cara menentukan tingkatnya: lima pertanyaan

1. Bisa dibatalkan nggak? Kalau nggak bisa, naikkan tingkatnya.
2. Siapa yang melihat hasilnya? Internal atau pihak luar seperti pelanggan, vendor, publik.
3. Seberapa besar kerugian terburuknya? Dalam uang, reputasi, dan urusan hukum.
4. Seberapa sering AI salah di tugas ini? Jangan menebak. Coba dulu dengan contoh nyata dan lihat hasilnya.
5. Seberapa cepat kesalahan ketahuan? Kesalahan yang ketahuan seminggu kemudian jauh lebih mahal daripada yang ketahuan seketika.

Mulai dari tingkat 2 untuk hal yang baru, lalu turunkan ke tingkat 1 kalau catatan cek sampelmu bersih selama beberapa minggu. Panduan OpenAI di atas juga menyebut pengawasan manusia untuk tindakan berisiko tinggi layak dipertahankan sampai keyakinan terhadap keandalan agen meningkat.

Penutup

Jadi, di titik mana manusia harus tetap ngecek? Di tindakan yang nggak bisa dibatalkan, yang dilihat pihak luar, dan yang menyangkut uang atau data orang. Sisanya biarkan jalan sendiri, dengan sampel yang dicek berkala. Kalau mau lebih jauh soal kapan sebuah sistem memang butuh agen yang bertindak sendiri, aku bahas di Agentic AI, Kapan Beneran Butuh. Dan soal sisi risiko dari tools yang membuat aplikasi lewat prompt, ada di Sekarang Bisa Ngoding Pakai AI, Tapi Tetep Perlu Developer Beneran Nggak?.

Kalau kamu lagi merancang automation dan bingung bagian mana yang boleh jalan sendiri, cerita aja dulu prosesnya, nanti dibantu dipetakan tingkatnya.

Foto sampul artikel ini dibuat dengan AI, bukan foto orang atau tempat sungguhan.