Havedev
AI Mulai Meneliti AI, Tetapi Benchmark Tetap Menjadi Titik Lemahnya
Anthropic baru saja menerbitkan riset tentang sistem AI yang bisa membantu memperbaiki masalah alignment pada model AI lain.
Di atas kertas, ini terdengar seperti langkah besar. AI tidak hanya dipakai untuk menjawab pertanyaan, menulis kode, atau merangkum dokumen. AI mulai dipakai untuk melakukan sebagian pekerjaan peneliti: membaca literatur, mengusulkan metode, melatih model, menguji hasil, lalu mempertahankan metode yang berhasil.
Bagi banyak orang, ini akan langsung terdengar seperti awal dari self-improving AI. Model yang membantu memperbaiki model. Sistem yang makin lama makin mampu memperbaiki cara ia dilatih.
Tetapi sebelum bisnis membaca ini sebagai tanda bahwa semua pekerjaan riset, engineering, dan automation akan segera berjalan sendiri, ada hal yang perlu dilihat lebih tenang: sistem ini berhasil karena ruang masalahnya dibuat sangat jelas.
The Core Update
Dalam paper berjudul “Automated Researchers Can Reliably Mitigate Alignment Failures”, Anthropic menjelaskan eksperimen Automated Alignment Researcher atau AAR.
Sistem ini diberi beberapa benchmark untuk perilaku model yang dianggap tidak selaras. Tugasnya adalah mencari cara agar performa model membaik pada benchmark tersebut tanpa menurunkan performa umum model.
Hasil awalnya cukup kuat. Pada 10 benchmark yang diuji, sistem otomatis ini berhasil meningkatkan performa di semuanya. Ia melakukannya dengan pola yang mirip proses riset tradisional: mencari literatur, mengusulkan metode, melatih model selama periode pendek, mengukur hasil, lalu mengulang prosesnya.
Metode yang efektif dipertahankan. Metode yang lemah dibuang. Proses ini bisa berjalan cepat dan dalam skala besar.
Paper tersebut bahkan menyebut bahwa metode terbaik dari AAR mengalahkan rata-rata proposal peneliti manusia berpengalaman dalam waktu sekitar enam jam. Ada juga perbandingan biaya: AAR disebut berjalan sekitar 4 dolar per jam untuk inference API, dibandingkan 150 dolar per jam untuk peneliti manusia.
Kalau dibaca sekilas, narasinya mudah menjadi sangat dramatis: AI researcher mulai menggantikan human researcher.
Namun bagian yang lebih penting bukan hanya siapa yang lebih murah atau lebih cepat. Bagian yang lebih penting adalah bentuk pekerjaannya.
AAR bekerja karena targetnya dibuat terukur. Ada benchmark. Ada definisi kegagalan. Ada metrik untuk melihat apakah metode baru lebih baik atau lebih buruk. Ada batas waktu training. Ada mekanisme seleksi.
Dengan kata lain, AI bisa bergerak cepat karena arena kerjanya sudah diberi pagar.
The Reality Check
Masalahnya, benchmark bukan kenyataan penuh.
Benchmark adalah representasi dari tujuan. Ia membantu sistem tahu apa yang harus dioptimalkan. Tetapi kalau benchmark tidak cukup mewakili masalah sebenarnya, sistem bisa terlihat membaik di angka, sementara belum tentu membaik di dunia nyata.
Ini bukan masalah kecil. Dalam AI alignment, definisi “lebih aman”, “lebih selaras”, atau “lebih membantu” tidak selalu sederhana. Banyak perilaku model baru terlihat bermasalah setelah dipakai dalam konteks yang lebih luas, oleh pengguna yang berbeda, dengan insentif yang berbeda.
Paper Anthropic juga mengakui batas ini. Sistem otomatis hanya bekerja sejauh benchmark mencerminkan tujuan alignment yang sebenarnya. Selain itu, tetap dibutuhkan pekerjaan besar untuk membuat, menjaga, dan memperluas benchmark serta literatur yang dipakai sistem.
Di sinilah pandangan bisnis perlu lebih realistis.
Banyak perusahaan ingin memakai AI untuk memperbaiki proses internal: otomatisasi sales, customer support, analisis dokumen, quality control, reporting, atau software development. Keinginannya masuk akal. AI memang bisa mempercepat banyak pekerjaan.
Tetapi pola yang sama berlaku: AI akan bekerja lebih baik ketika targetnya jelas.
Kalau bisnis belum sepakat apa arti lead berkualitas, AI scoring hanya akan mempercepat asumsi yang belum rapi. Kalau tim support belum punya kategori masalah yang jelas, AI routing bisa memindahkan tiket ke tempat yang keliru. Kalau quality standard belum tertulis, AI reviewer hanya akan terlihat aktif tanpa benar-benar menjaga kualitas.
AI tidak otomatis menyelesaikan kekaburan. Sering kali, AI hanya membuat kekaburan berjalan lebih cepat.
Riset Anthropic menarik karena menunjukkan potensi sistem otomatis dalam ruang yang terukur. Tetapi justru itu pelajarannya: automation yang kuat biasanya berdiri di atas definisi yang kuat.
Tanpa benchmark yang sehat, sistem self-improving bisa menjadi sistem self-confirming. Ia makin pintar mengejar angka yang kita berikan, walaupun angka itu belum tentu mewakili hasil yang kita butuhkan.
The Havedev Way
Dari sudut pandang Havedev, berita ini bukan hanya tentang masa depan AI lab. Ini juga pengingat untuk bisnis yang ingin memakai AI dan automation hari ini.
Sebelum bertanya “AI apa yang bisa kita pasang?”, pertanyaan yang lebih sehat adalah “pekerjaan apa yang bisa kita ukur dengan jelas?”
Untuk banyak bisnis, jawabannya sering lebih dekat dari yang dibayangkan:
- lead mana yang layak diprioritaskan
- pesan support mana yang harus naik ke manusia
- dokumen mana yang dianggap lengkap
- order mana yang berisiko terlambat
- task mana yang benar-benar selesai
- output mana yang perlu direview ulang
Jika definisi ini belum jelas, AI tetap bisa dipasang. Tetapi hasilnya akan rapuh. Tim mungkin terkesan karena ada dashboard, chatbot, auto-tagging, atau summary otomatis. Namun ketika keputusan penting harus diambil, orang tetap bertanya manual karena tidak percaya sistemnya.
Pendekatan yang lebih aman adalah mulai dari satu alur kerja yang punya nilai bisnis jelas.
Misalnya alur lead dari website. Tentukan dulu status awal, informasi wajib, kategori kebutuhan, batas waktu follow-up, dan sinyal lead yang perlu diprioritaskan. Setelah itu, AI bisa membantu merangkum inquiry, memberi label urgensi, menyarankan balasan awal, atau mengingatkan sales.
Atau alur support. Tentukan dulu kategori masalah, tingkat risiko, aturan eskalasi, dan definisi tiket selesai. Setelah itu, AI bisa membantu klasifikasi, mencari jawaban dari knowledge base, dan memberi draft respons.
AI menjadi berguna bukan karena dibiarkan berjalan bebas, tetapi karena diberi batas kerja yang jelas.
Riset Anthropic menunjukkan bahwa AI researcher bisa efektif ketika benchmark, literatur, dan mekanisme evaluasinya tersedia. Versi bisnisnya sama: AI automation akan lebih bernilai ketika proses, status, dan kriteria suksesnya sudah cukup rapi.
Ini bukan berarti bisnis harus menunggu semuanya sempurna. Tidak perlu. Tetapi minimal harus ada bahasa kerja yang bisa diuji.
Apa yang dianggap benar?
Apa yang dianggap gagal?
Apa yang boleh otomatis?
Apa yang harus tetap masuk review manusia?
Pertanyaan seperti ini terdengar kurang futuristik dibanding self-improving AI. Tetapi di lapangan, inilah fondasi yang membuat AI tidak hanya terlihat canggih, melainkan benar-benar membantu operasi.
AI mungkin akan semakin mampu memperbaiki AI. Tetapi untuk bisnis, pekerjaan pertama tetap sama: memperjelas target sebelum mempercepat mesin.
Dapatkan Audit Teknis Gratis untuk meninjau bagian website, workflow, dan automation yang paling siap dibantu AI tanpa mempercepat proses yang masih kabur.
Sumber referensi berita: TechCrunch