AI Tidak Hanya Butuh Model Lebih Pintar, AI Butuh Rem yang Bisa Dipercaya

Perdebatan tentang AI semakin jarang berhenti di pertanyaan apakah model berikutnya akan lebih pintar. Pertanyaannya mulai bergeser: siapa yang memastikan model itu tidak berjalan lebih cepat daripada kemampuan manusia mengawasinya?

CEO Anthropic, Dario Amodei, baru saja menulis bahwa pengembangan frontier AI perlu diperlambat. Bukan dihentikan total, tetapi diberi ritme yang lebih hati-hati. Ia menyebut kebutuhan untuk memberi jarak antara kemampuan model yang terus naik dan kesiapan industri untuk mengelola risikonya.

Pernyataan seperti ini mudah dibaca sebagai drama industri teknologi. Tetapi bagi bisnis, ini membawa pelajaran yang lebih dekat: teknologi yang kuat tidak cukup hanya cepat dipakai. Ia juga harus punya batas, pemilik, audit, dan proses eskalasi yang jelas.

The Core Update

Anthropic mengusulkan tiga arah besar untuk memperlambat pengembangan AI frontier.

Pertama, perusahaan AI perlu membuka ruang untuk evaluator pihak ketiga yang tertanam di dalam organisasi. Mereka bukan sekadar auditor yang datang sesekali, tetapi evaluator yang punya akses mirip tim internal risk assessment. Mereka bisa memeriksa apakah komitmen safety benar-benar dijalankan, serta memastikan insiden dilaporkan dengan benar.

Anthropic menyatakan akan menjalankan ini secara sepihak. OpenAI, lewat Sam Altman, juga mengatakan akan mengikuti arah yang sama.

Kedua, perusahaan AI besar di negara demokratis perlu menyepakati standar keselamatan bersama dan batas terhadap laju kemajuan yang belum diperiksa. Ini sulit, karena koordinasi antar perusahaan besar bisa memunculkan kekhawatiran antitrust. Karena itu, Amodei menyebut pemerintah perlu membantu memberi ruang hukum yang sempit untuk percakapan safety tertentu.

Ketiga, Amodei mendorong koordinasi global, termasuk dengan China, meskipun ia mengakui batasnya besar. Target minimalnya bukan kesepakatan sempurna, tetapi larangan terhadap penggunaan AI yang jelas berbahaya, seperti produksi senjata biologis.

Intinya, Anthropic tidak hanya berkata AI berbahaya. Mereka mulai menjelaskan bentuk rem yang mereka anggap perlu: evaluator eksternal, standar bersama, dan koordinasi lintas negara.

The Reality Check

Di satu sisi, rencana ini masuk akal. Jika AI benar-benar mulai mampu membantu membangun generasi AI berikutnya, maka industri tidak bisa hanya mengandalkan niat baik dari perusahaan yang sedang berlomba.

Kecepatan tanpa observability selalu menjadi masalah. Di software biasa, deployment cepat tanpa monitoring membuat bug lebih mahal. Di bisnis, automation tanpa status yang jelas membuat operasional lebih kabur. Di AI, model yang semakin mampu tanpa evaluasi independen membuat risiko menjadi sulit dibaca oleh pihak luar.

Namun sisi lain juga perlu dibaca dengan hati-hati.

Ketika perusahaan AI besar mengusulkan standar bersama, selalu ada risiko bahwa standar itu menjadi pagar yang hanya bisa dilewati oleh pemain besar. Kritik seperti ini tidak bisa langsung dianggap anti-teknologi. Jika aturan safety terlalu mahal, terlalu tertutup, atau terlalu bergantung pada akses internal perusahaan besar, maka ia bisa berubah menjadi regulatory capture.

Masalahnya bukan apakah AI perlu diawasi. Masalahnya siapa yang mendesain pengawasan itu, siapa yang mendapat akses, dan siapa yang akhirnya diuntungkan.

Ada juga kritik lain yang penting: diskusi tentang risiko ekstrem AI tidak boleh menutup masalah AI yang sudah terjadi hari ini. Bias sistem, pelanggaran data, manipulasi informasi, ketergantungan bisnis pada output yang salah, hilangnya kontrol atas workflow otomatis, dan keputusan yang dibuat tanpa audit trail adalah risiko nyata yang sudah bisa dirasakan.

Jadi posisi yang sehat bukan memilih antara panik dan menyepelekan.

AI memang bisa membawa manfaat besar. Tetapi manfaat itu tidak otomatis muncul hanya karena model lebih kuat. Manfaat muncul ketika teknologi dipasang di proses yang benar, dengan batas yang jelas, dan dengan kemampuan untuk melihat ketika sesuatu mulai salah.

The Havedev Way

Dari sudut pandang Havedev, pelajaran terbesar dari isu ini bukan hanya tentang Anthropic, OpenAI, atau AI frontier. Pelajarannya lebih operasional: sistem pintar tetap butuh struktur kerja yang bisa diaudit.

Banyak bisnis sekarang ingin memakai AI untuk membalas chat, membaca dokumen, membuat proposal, menyortir lead, menulis laporan, atau menjalankan automation. Itu wajar. AI memang bisa mempercepat banyak pekerjaan.

Tetapi sebelum AI diberi ruang lebih besar, bisnis perlu menjawab beberapa hal dasar:

• data apa yang boleh dibaca AI?
• keputusan apa yang boleh dibuat otomatis?
• kapan manusia harus mengambil alih?
• output mana yang wajib diperiksa ulang?
• siapa pemilik jika AI salah memberi respons?
• bagaimana riwayat tindakan dicatat?
• kapan automation harus dihentikan?

Pertanyaan ini sering terasa kurang menarik dibanding memilih model terbaru. Tetapi justru di sinilah risiko bisnis biasanya muncul.

AI yang dipakai tanpa batas bisa membuat pekerjaan terlihat cepat, tetapi sulit dipertanggungjawabkan. Chatbot bisa menjawab pelanggan, tetapi belum tentu tahu kapan harus berhenti. Automation bisa mengirim follow-up, tetapi belum tentu paham konteks hubungan dengan client. Sistem bisa merangkum data, tetapi belum tentu menyimpan alasan di balik rekomendasinya.

Untuk banyak bisnis, langkah awal yang lebih sehat bukan langsung membuat AI agent yang bisa melakukan semua hal. Mulai dari ruang kerja yang sempit dan jelas.

Misalnya:

• AI membantu merangkum inquiry dari website, tetapi sales tetap mengirim respons final
• AI mengelompokkan lead berdasarkan kebutuhan, tetapi status pipeline tetap dikontrol tim
• AI membuat draft proposal, tetapi harga dan scope tetap disetujui manusia
• AI membaca tiket support, tetapi eskalasi tetap mengikuti aturan yang disepakati
• AI membuat laporan mingguan, tetapi sumber data dan perubahan status tetap bisa dilacak

Dengan cara ini, AI menjadi asisten yang mempercepat proses, bukan kotak hitam yang mengambil alih proses.

Perusahaan AI besar sedang membicarakan rem untuk model frontier. Bisnis juga perlu membicarakan rem untuk AI internal mereka sendiri.

Rem itu tidak harus rumit. Bisa berupa approval manual, log aktivitas, batas akses data, daftar tindakan yang dilarang, status kerja yang jelas, atau dashboard sederhana untuk melihat pekerjaan yang disentuh automation.

Yang penting, rem itu ada sebelum volume naik dan sebelum kesalahan menjadi mahal.

Teknologi yang baik bukan hanya membuat pekerjaan berjalan lebih cepat. Teknologi yang baik membuat pekerjaan lebih mudah dipahami, diawasi, dan diperbaiki ketika ada masalah.

AI tidak harus ditolak. Tetapi AI juga tidak perlu dipasang seolah semua proses bisnis siap menerimanya.

Sebelum menambah AI ke alur kerja, cek dulu satu hal sederhana: apakah bisnis Anda sudah tahu bagian mana yang boleh dipercepat, bagian mana yang harus tetap dikontrol manusia, dan bagian mana yang wajib punya jejak audit?

Kalau jawabannya belum jelas, mulai dari sana.

Dapatkan Audit Teknis Gratis untuk meninjau alur website, lead, automation, dan penggunaan AI yang perlu dibuat lebih aman sebelum bisnis Anda mempercepat sistemnya.

---

Sumber referensi berita: TechCrunch