Ingat percakapan kita kemarin tentang mantan insinyur OpenAI Codex yang keluar karena AI membuat kegiatan coding jadi membosankan? Kita membahas bagaimana pemrogram pada dasarnya berperan sebagai "mandor" bagi Agen AI. Nah, ternyata membiarkan robot menjalankan kode bisa berakibat fatal, dan hal ini baru terungkap minggu ini!
Sekelompok peneliti di sebuah startup rahasia (stealth startup) asal Israel menemukan celah keamanan yang sangat besar. Agen AI kelas atas seperti Claude, OpenAI Codex, dan Hermes diketahui menginstal kode berbahaya (sebagai Proof-of-Concept) di dalam jaringan internal perusahaan-perusahaan Fortune 500.
Bagian yang paling mengejutkan? Perangkat lunak antivirus dan sistem keamanan perusahaan (EDR) sama sekali tidak mendeteksinya! Bagaimana hal ini bisa terjadi? Jawabannya terletak pada sebuah file teks yang tampak tidak berbahaya bernama llms.txt.
Apa itu llms.txt dan Mengapa Membuat AI Jadi "Mabuk"?
Jika Anda berkecimpung di dunia SEO, Anda mungkin sudah tidak asing dengan file robots.txt yang memberi tahu bot Google halaman mana saja yang boleh diindeks. llms.txt (dan llms-full.txt) adalah standar baru yang memiliki fungsi serupa, namun dirancang khusus untuk dibaca oleh Agen AI. File-file ini berisi ringkasan dokumentasi atau panduan pengaturan proyek.
Masalah muncul ketika perusahaan—baik karena kesalahan manusia (human error) maupun halusinasi AI—menulis instruksi instalasi yang merujuk pada nama paket di PyPI atau NPM yang tidak ada atau sudah tidak aktif lagi.
Agen AI pada dasarnya "terlalu patuh" dan tidak bisa membedakan antara teks instruksi biasa dengan perintah eksekusi yang berbahaya.
| Fitur | Pengembang Biasa (Manusia) | Claude / Codex (Agen AI) |
|---|---|---|
| Membaca `llms.txt` | Menganggapnya sebagai dokumentasi teks biasa. | Menganggapnya sebagai Ground Truth (kebenaran mutlak). |
| Eksekusi perintah | Memeriksa repositori terlebih dahulu dan berhenti jika menemukan error. | Langsung menjalankan perintah shell tanpa banyak pertimbangan. |
| Sikap terhadap kepercayaan | Curiga terhadap paket atau sumber yang tidak dikenal. | Cenderung percaya selama domain utama terlihat valid dan menggunakan HTTPS. |
Kasus Nyata: Insiden Clerk.com
Ini bukan sekadar teori konspirasi yang dibuat-buat di laboratorium. Serangan nyata benar-benar terjadi melalui situs web resmi clerk.com.
Di dalam file llms.txt mereka, terdapat baris teks: npx officer-next-fix-auth-protection. Namun, paket tersebut tidak pernah terdaftar di repositori NPM resmi Clerk.
Seorang peretas usil (atau pelaku kejahatan siber) menemukan celah ini, dengan cepat mendaftarkan nama paket fiktif tersebut, dan mengisinya dengan malware aktif.
Berikut adalah alur kerja yang sangat berbahaya:
// 1. AI dikasih akses terminal oleh Developer (User).// 2. AI disuruh baca dokumentasi di web resmi Clerk.// 3. AI nemu baris instruksi dari llms.txt, lalu langsung ngeksekusi di terminal user: npx clerk-next-fix-auth-protection // BOOM! Malware langsung ter-download dan dieksekusi masuk cache // tanpa terdaftar di package.json.Bisakah Anda membayangkan betapa menakutkannya hal itu? Instruksi tersebut tidak datang dari peretas, melainkan dari dokumentasi resmi vendor itu sendiri. Peretas hanya perlu menunggu dan menangkap paket data yang tidak terduga tersebut.
Mengapa Alat Antivirus/EDR Tidak Berguna?
"Model kepercayaannya sudah rusak," kata salah satu peneliti, Alon Hertz.
Perintah-perintah ini (npm install, pip install, dll.) akan tampak sebagai aktivitas normal dari Agen AI di mata aplikasi keamanan perusahaan (EDR/Proxy). Mengapa?
Perintah-perintah tersebut hanyalah alat pengembang standar (pip / npm).
Domain yang diakses adalah domain yang valid (pypi.org).
Proses induknya dibuat oleh Agen AI yang secara resmi diinstal oleh tim TI perusahaan.
AI telah berhasil mengaburkan batas antara "Data" dan "Kode yang Dapat Dieksekusi" (Executable Code). Jika AI memiliki akses ke shell terminal Anda, apa pun yang dapat dibacanya bisa dijadikan senjata.
Ini adalah peringatan keras bagi perusahaan yang sangat antusias menerapkan Agen AI di mana-mana tanpa adanya batasan pengaman yang jelas. Apakah Anda merasa aman memberikan akses terminal tanpa batas kepada alat AI seperti Cursor, Codex, atau Claude di laptop kerja Anda?