Jerry Tworek (mantan VP RL di OpenAI) memberikan peringatan keras kepada timnya: ia tidak terlalu memedulikan hal-hal paling cerdas yang bisa dilakukan model, melainkan lebih fokus pada hal-hal "paling bodoh" yang tidak bisa ditanganinya, sebagaimana diilustrasikan dalam gambar berikut:
Sumber: X @JerryTworek
"Hambatan utama bagi otomatisasi masih terletak pada ketangguhan (robustness)," tegas Tworek.
Pandangan tersebut sangat sejalan dengan peringatan Andrew Ng mengenai pentingnya dasar-dasar rekayasa perangkat lunak. Agen AI sering kali menulis kode berdasarkan "firasat" (vibes) alih-alih menggunakan kerangka kerja yang kokoh, sehingga kerap mengambil keputusan trade-off yang konyol.
Masalah "Kebodohan" yang Menghambat Otomatisasi
Batas atas performa model besar saat ini sudah cukup tinggi untuk penggunaan praktis, namun justru batas bawah atau "titik terendah" kemampuannya yang menghambat otomatisasi. AI yang sesekali menunjukkan kecemerlangan bukanlah hal baru.
Bagian tersulitnya adalah menciptakan agen AI yang mampu beroperasi selama berjam-jam, memanggil berbagai tools (alat bantu) ratusan kali, tanpa mengalami crash atau melakukan kesalahan paling sederhana sekalipun.
Berikut adalah "kesalahan mendasar" yang paling dikhawatirkan pengembang saat menerapkan agen AI:
- Prompt yang terlewat (mengabaikan permintaan pengguna).
- Kehilangan konteks di tengah tugas yang panjang.
- Memanggil fungsi atau tools yang tidak relevan secara keliru.
- Gagal atau crash di tengah proses; berhenti mendadak.
- Penalaran yang sempurna sepanjang proses, namun gagal total pada langkah terakhir.
Izinkan saya menunjukkannya melalui alur kegagalan umum pada agen AI yang "jenius namun ceroboh":
Solusi Ekosistem: Terdapat penelitian terkini yang secara aktif berupaya mengatasi kegagalan di tengah proses ini. Contohnya adalah arsitektur JIT-Agent dari NUS, yang menyusun kerangka kerjanya sendiri secara dinamis dengan pendekatan "Just-in-Time" demi mencegah kegagalan agen selama tahap eksekusi.
Standar Baru: AI sebagai Karyawan Manusia
Pada akhirnya, standar perekrutan AI mungkin akan semakin menyerupai standar perekrutan manusia. Sebagai atasan, Anda tentu tidak mengharapkan karyawan Anda untuk selalu mencetuskan ide brilian setiap harinya.
Dan sebenarnya hanya ada satu aturan emas: apa pun yang Anda lakukan, jangan melakukan hal bodoh.
Kita membutuhkan AI yang dapat diandalkan setiap saat. Kecerdasan tingkat dewa jadi percuma kalau sistemmu malah jebol di saat-saat terakhir gara-gara AI lupa mengirimkan satu parameter krusial. Menurutmu, apakah model-model baru seperti Claude Opus atau GPT-5 yang akan datang bakal benar-benar mengatasi masalah "kecerobohan" ini?