Biaya AI Tidak Selalu Turun Karena Model yang Lebih Murah

Banyak perusahaan mulai sadar bahwa biaya AI tidak berhenti di biaya langganan atau harga per token yang terlihat di halaman pricing. Setelah AI dipakai untuk workflow nyata, biaya mulai terasa dari prompt yang terlalu panjang, agent yang berputar terlalu sering, output yang tidak langsung bisa dipakai, dan proses yang mengulang pekerjaan yang sama.

Karena itu, berita tentang Writer yang memperkenalkan Palmyra X6 menarik untuk dibaca lebih hati-hati. Bukan hanya karena ada model baru. Tetapi karena Writer juga menyoroti bagian yang sering kurang dibicarakan: harness.

Dalam konteks AI agent, harness adalah lapisan yang mengatur bagaimana model menerima instruksi, memakai tool, menjalankan langkah, menyimpan konteks, dan menyelesaikan tugas. Ia bukan bagian yang paling terlihat oleh user, tetapi sangat menentukan apakah sistem AI bekerja hemat atau boros.

The Core Update

Writer meluncurkan model flagship baru bernama Palmyra X6. Model ini dibangun sebagai variasi post-training dari model open source GLM-5.2 milik Z.ai. Posisi yang ditawarkan cukup jelas: kemampuan siap pakai untuk enterprise, dengan biaya deployment yang lebih rendah.

Menurut Writer, kombinasi Palmyra X6 dan peningkatan pada agentic harness mereka dapat menurunkan biaya pelanggan sampai 50% untuk tugas dasar. Ini bukan klaim kecil, terutama di fase ketika banyak perusahaan mulai mempertanyakan apakah penggunaan AI yang luas benar-benar ekonomis.

Writer juga memperbarui harness standar mereka. Fokusnya bukan sekadar membuat model menjawab lebih pintar, tetapi membuat tugas multi-step berjalan lebih cepat dan memakai token lebih sedikit.

CEO Writer, May Habib, menyampaikan bahwa enterprise sudah lelah mengejar benchmark berikutnya. Mereka ingin biaya yang lebih datar dan lebih bisa diprediksi.

Poin ini penting. Selama ini, percakapan AI sering terlalu banyak berputar pada model mana yang paling kuat, benchmark mana yang paling tinggi, dan lab mana yang paling cepat merilis kemampuan baru. Tetapi untuk perusahaan, pertanyaan yang lebih praktis sering berbeda: apakah sistem ini bisa dipakai setiap hari tanpa membuat biaya membengkak?

Writer juga merujuk riset internal yang menguji perubahan kecil pada efisiensi harness di berbagai model. Hasilnya, dalam banyak kasus, perbaikan harness lebih konsisten menurunkan biaya dibanding sekadar mengganti model. Rata-rata penurunan biaya yang ditemukan mencapai 40% dalam pengujian mereka.

Dengan kata lain, model penting. Tetapi cara model dipanggil, diarahkan, dan dikendalikan bisa sama pentingnya.

The Reality Check

Ada godaan besar untuk membaca berita ini sebagai bukti bahwa solusi biaya AI adalah pindah ke model yang lebih murah. Sebagian benar. Model open source dan model yang lebih efisien memang bisa menurunkan biaya per token.

Tetapi itu belum menjawab masalah utama.

Banyak biaya AI enterprise tidak mahal karena modelnya saja. Biaya menjadi mahal karena workflow belum rapi. Agent diberi tugas terlalu luas. Prompt membawa terlalu banyak konteks. Sistem mengambil data yang tidak relevan. Automation berjalan tanpa batas yang jelas. Output AI masih harus diperiksa ulang secara manual karena format dan standar hasil belum disepakati.

Dalam kondisi seperti itu, mengganti model hanya menurunkan sebagian biaya. Kebocoran tetap ada di alur kerja.

Contohnya, tim membuat AI agent untuk membantu sales membaca lead. Jika status lead belum jelas, kriteria follow-up belum disepakati, dan data dari form masih terlalu bebas, agent akan memakai lebih banyak token untuk menebak konteks. Ia mungkin membaca riwayat chat panjang, merangkum hal yang tidak perlu, lalu tetap menghasilkan rekomendasi yang harus ditanya ulang ke sales.

Atau tim support memakai AI untuk mengklasifikasi tiket. Jika kategori masalah belum rapi, AI akan sering diberi instruksi panjang untuk membedakan kasus yang sebenarnya bisa dipisahkan sejak awal lewat form, routing, atau aturan sederhana.

Di sini, harness memang menjadi tuas penting. Harness yang baik dapat mengurangi langkah yang tidak perlu, membatasi konteks, memilih tool dengan lebih tepat, dan menghentikan agent ketika hasil sudah cukup.

Tetapi harness juga tidak bisa menyelamatkan proses bisnis yang belum punya definisi kerja yang jelas.

AI yang hemat biasanya lahir dari alur yang sempit, input yang bersih, tujuan yang spesifik, dan batas keberhasilan yang bisa diperiksa. Tanpa itu, enterprise berisiko membangun agent yang terlihat canggih tetapi boros karena terus berpikir ulang tentang hal yang seharusnya sudah diputuskan oleh proses.

Karena itu, kritik terhadap budaya mengejar benchmark cukup masuk akal. Benchmark berguna untuk membandingkan kemampuan model. Tetapi benchmark jarang menjawab apakah implementasi AI di bisnis tertentu sudah hemat, aman, dan benar-benar membantu pekerjaan.

Bagi banyak perusahaan, pertanyaan yang lebih sehat bukan hanya:

• model mana yang paling murah per token?
• model mana yang paling tinggi benchmark-nya?
• platform mana yang paling baru?

Tetapi juga:

• tugas mana yang benar-benar perlu AI?
• konteks apa yang wajib dibawa?
• langkah mana yang bisa diselesaikan dengan aturan biasa?
• kapan agent harus berhenti?
• output seperti apa yang langsung bisa dipakai tim?

Jika pertanyaan ini tidak dijawab, biaya AI tetap mudah melebar walaupun modelnya lebih murah.

The Havedev Way

Dari sudut pandang Havedev, berita ini mengingatkan satu hal sederhana: optimasi AI sebaiknya tidak dimulai dari model, tetapi dari pekerjaan yang ingin diselesaikan.

Model baru seperti Palmyra X6 bisa berguna. Harness yang lebih efisien juga penting. Tetapi sebelum masuk ke sana, bisnis perlu melihat apakah alur kerjanya memang sudah layak diautomasi.

Untuk banyak implementasi AI, langkah awal yang lebih masuk akal adalah memetakan satu workflow yang dekat dengan uang atau pengalaman pelanggan. Misalnya lead dari website, follow-up sales, klasifikasi support, ringkasan meeting, pembuatan proposal, atau pengecekan dokumen internal.

Dari sana, pertanyaannya harus dibuat praktis:

• input apa yang masuk?
• siapa pemilik langkah pertama?
• data apa yang wajib ada?
• bagian mana yang bisa memakai aturan biasa?
• bagian mana yang memang butuh AI?
• hasil akhir harus berbentuk apa?
• kapan proses dianggap selesai?
• risiko apa yang harus dicegah?

Pendekatan ini sering lebih hemat dibanding langsung membuat agent besar yang bisa melakukan banyak hal. Dalam banyak kasus, automation kecil dengan input yang rapi, template yang jelas, dan validasi sederhana sudah cukup untuk mengurangi pekerjaan manual.

AI sebaiknya dipakai di bagian yang membutuhkan pemahaman bahasa, variasi konteks, atau sintesis informasi. Bukan untuk menggantikan logika sederhana yang bisa diselesaikan dengan form, dropdown, status, rule, atau query database.

Harness optimization menjadi penting ketika penggunaan AI sudah berulang dan volumenya cukup besar. Di titik itu, perusahaan perlu mengukur jumlah token, jumlah langkah, tool call, retry, error, dan output yang dibuang. Tanpa metrik seperti ini, biaya AI hanya terasa sebagai tagihan akhir bulan, bukan sebagai proses yang bisa diperbaiki.

Website dan sistem internal juga punya peran besar. Form kontak yang membawa konteks jelas akan membuat AI lebih hemat ketika menilai lead. CRM dengan status yang rapi akan membuat agent tidak perlu menebak tahap pelanggan. Knowledge base yang tersusun baik akan membuat pencarian lebih pendek dan jawaban lebih konsisten.

Jadi, pelajaran dari Writer bukan sekadar bahwa ada model baru yang lebih murah. Pelajaran yang lebih besar adalah bahwa biaya AI ditentukan oleh seluruh sistem di sekitarnya.

Model adalah satu lapisan. Harness adalah lapisan berikutnya. Tetapi alur kerja, kualitas data, status, aturan bisnis, dan desain input tetap menjadi fondasi.

Bisnis yang ingin memakai AI secara serius perlu berhenti melihat AI sebagai fitur tambahan yang ditempel di atas proses lama. AI perlu ditempatkan di proses yang sudah cukup jelas untuk dibantu.

Kalau tidak, perusahaan hanya memindahkan kekacauan operasional ke model yang lebih mahal untuk diajak berpikir.

Sebelum mengejar model baru, cek dulu satu hal sederhana: apakah tugas yang ingin diautomasi sudah cukup jelas sehingga manusia pun bisa menjelaskan langkah, data, keputusan, dan hasil akhirnya?

Kalau jawabannya belum, mulai dari sana.

Dapatkan Audit Teknis Gratis untuk meninjau workflow, website, dan peluang automation AI yang bisa dibuat lebih hemat sebelum bisnis Anda menambah model atau agent baru.

---

Sumber referensi berita: TechCrunch