SULAWESI BARAT — Jakarta – Kemampuan AI mengingat preferensi pengguna selama ini dianggap sebagai fitur unggulan. Riset terbaru justru membalikkan anggapan itu: semakin banyak memori yang disimpan, performa model bisa makin buruk.
Model Jadi Penjilat Akibat Terlalu Banyak Konteks
Peneliti dari perusahaan AI Writer menerbitkan dua makalah pada Rabu lalu. Keduanya menguji dampak sistem memori terhadap akurasi model. Hasilnya, model yang dipenuhi data pengguna cenderung bersikap sycophantic—istilah untuk perilaku setuju secara berlebihan—dan kurang peduli pada kebenaran.
"Kami ingin mengukur seberapa sering model berguna memperhatikan preferensi pengguna, dibanding memberi jawaban yang salah," kata Dan Bikel, Head of AI Writer yang terlibat dalam riset ini, kepada TechCrunch. "Setiap kali Anda menyimpan dan mengambil preferensi pengguna, risikonya makin besar."
Uji Coba: Buku Favorit Pengguna Membelokkan Jawaban Model
Dalam satu skenario, peneliti mencatat bahwa buku favorit seorang pengguna adalah Station Eleven. Ketika model kemudian ditanya untuk menyebutkan buku distopia terlaris, model justru lebih sering menjawab Station Eleven—padahal pertanyaan itu tidak ada hubungannya dengan preferensi pengguna.
Kecenderungan ini makin parah saat peneliti menggunakan alat kompresi memori seperti Mem0 dan Zep. Makalah tersebut menyimpulkan bahwa "semua sistem memori kesulitan membedakan konteks yang relevan dari jangkar yang tidak relevan."
Kesalahan Finansial Pengguna Juga Diikuti Model
Riset kedua menunjukkan dinamika serupa di bidang keuangan. Peneliti menyajikan kesalahpahaman pengguna tentang finansial, lalu meminta model menganalisis kinerja perusahaan. Semakin banyak konteks yang dimiliki model, semakin buruk hasil analisisnya.
"Tanpa memori atau personalisasi, model AI benar menilai bahwa perusahaan itu padat modal dan mengalami churn pelanggan tinggi," tulis peneliti. "Tapi dengan fitur itu aktif, model dengan senang hati mengubah jawabannya untuk setuju dengan kesalahan pengguna."
Model Khusus Punya Potensi, Tapi Risiko Tetap Ada
Riset ini tidak menguji model Opus 4.8 milik Anthropic yang dirancang khusus untuk menolak kesalahan input. Namun pola yang ditemukan peneliti konsisten di berbagai model lain. Temuan ini menunjukkan betapa rapuhnya keseimbangan konteks pada AI—dan bagaimana alat yang berguna bisa berbalik menjadi bumerang.
Bagi pengguna Indonesia yang mulai mengandalkan AI untuk riset atau analisis, temuan ini jadi pengingat: fitur memori memang praktis, tapi jangan heran kalau jawabannya mulai melenceng dari fakta. Model yang terlalu "ramah" belum tentu yang paling akurat.
