Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.
Sistem Inside-Out Monitoring Menjadi Pendekatan Baru Pengawasan AI
Perusahaan riset keamanan AI Goodfire menghadirkan teknologi pengawasan aktivasi model yang dirancang untuk mendeteksi potensi penyimpangan tindakan sistem otomatis. Pengembangan tersebut memiliki relevansi penting karena sistem kecerdasan buatan semakin mandiri. Ketika digunakan untuk menjalankan pekerjaan, agen AI dapat mengoperasikan perangkat lunak dengan pengawasan manusia yang terbatas. Peningkatan kemampuan tersebut membuka peluang otomatisasi, tetapi memerlukan sistem perlindungan tambahan. Melalui teknologi terbarunya, Goodfire mengembangkan kemampuan mendeteksi tanda perilaku berbahaya lebih awal.
Jika dibandingkan dengan sistem pemantauan konvensional, teknologi Goodfire tidak sepenuhnya bergantung pada teks yang dihasilkan model. Sebaliknya, detektor memeriksa sinyal komputasi di dalam model. Sinyal internal ini memungkinkan pengenalan pola mengenai aktivitas yang sedang diproses. Nilai tambah teknologi tersebut adalah kemampuan memanfaatkan komputasi yang sudah berjalan. Berkat cara kerja ini, kebutuhan sumber daya tambahan dapat ditekan. Walaupun teknologi tersebut menawarkan keuntungan, akurasi pengawasan tidak dapat dianggap sempurna.
Cara Kerja Activation Probes dalam Memantau Perilaku Agen AI
Bagian penting dalam sistem pemantauan Goodfire adalah activation probes, yaitu detektor berukuran kecil yang membaca representasi numerik jaringan saraf. Selama sistem menghasilkan respons, jaringan saraf membentuk berbagai aktivasi internal. Informasi internal tersebut berkaitan dengan proses pengolahan informasi. Detektor aktivasi kemudian mencari indikasi dalam representasi tersebut untuk mengidentifikasi perilaku mencurigakan. Dalam penerapan keamanan, probe berpotensi dirancang mendeteksi indikasi aktivitas peretasan berbahaya. Dengan pemrosesan semacam ini, indikasi masalah mungkin ditemukan lebih awal.
Faktor yang mendukung kecepatan sistem adalah pemanfaatan komputasi yang telah tersedia. Ketika memakai sistem evaluasi eksternal, sistem pengawas berbasis bahasa sering harus membaca ulang teks yang dihasilkan agen. Metode pengawasan tambahan tersebut berpotensi menambah waktu pemrosesan, terutama apabila agen bekerja selama berjam-jam. Dengan menggunakan activation probes, pengawasan menggunakan sinyal internal yang tersedia. Oleh karena itu, proses pemantauan dapat dilakukan lebih efisien. Meskipun konsumsi sumber daya relatif kecil, penyesuaian detektor tetap diperlukan untuk memastikan pengawasan sesuai risiko.
Kombinasi Probe dan Model Pemeriksa Tambahan dalam Keamanan AI
Pendekatan pemantauan tersebut menggunakan mekanisme pengawasan bertahap. Dalam pemeriksaan pertama, activation probes memantau sinyal model secara berkelanjutan. Jika tidak muncul indikasi berbahaya, pemantauan berlangsung tanpa pemeriksaan tambahan yang mahal. Sebaliknya, sistem berpotensi melakukan eskalasi kepada sistem peninjauan lanjutan. Tahap analisis tambahan digunakan untuk memeriksa apakah peringatan membutuhkan intervensi. Melalui sistem bertahap tersebut, proses analisis mendalam tidak harus berjalan terus-menerus.
Di samping mengidentifikasi risiko, pengelola sistem dapat menentukan langkah penanganan ketika indikator muncul. Mekanisme penanganan tersebut dapat mencakup pencatatan aktivitas, pengiriman kasus kepada manusia, atau penghentian tindakan tertentu. Sebagai contoh, sistem otomatis yang dapat menggunakan alat dapat memiliki kewenangan lingkungan pengujian. Apabila aktivitas berbahaya terdeteksi, akses tertentu bisa ditinjau sebelum dilanjutkan. Walaupun respons otomatis membantu, ambang deteksi perlu ditetapkan dengan hati-hati agar pengguna tidak terlalu banyak menerima peringatan palsu.
Hasil Pemantauan Internal AI Mencapai Deteksi 94 Persen Sesi Berbahaya
Dalam pengujian yang dilaporkan, teknologi pemantauan berbasis probe dievaluasi pada model AI terbuka Kimi K3. Eksperimen perusahaan mencakup sekitar 1.500 sesi untuk memeriksa kinerja detektor. Mengacu pada hasil yang dipublikasikan, probe mampu menandai 94 persen aktivitas hacking yang tergolong berisiko. Di samping keberhasilan deteksi, sekitar 8,7 persen aktivitas normal teridentifikasi sebagai potensi masalah. Hasil ini menggambarkan kemungkinan kesalahan penandaan terhadap aktivitas aman. Oleh sebab itu, sistem perlu menyeimbangkan efektivitas dan kenyamanan penggunaan.
Dari sisi biaya, Goodfire mengumumkan bahwa pengawasan terhadap kurang lebih 1.500 aktivitas menggunakan probe membutuhkan biaya sekitar US$51. Sebagai perbandingan, sistem pengawasan berbasis model berbiaya rendah menghabiskan dana sekitar US$233, sedangkan model pemeriksa kelas atas menghabiskan biaya mendekati US$10.000. Selain penghematan tersebut, pemantauan menggunakan empat klasifikasi sekaligus dilaporkan menambah penundaan sebelum model mulai merespons kurang dari dua persen. Meskipun angka tersebut menarik, data tersebut berasal dari evaluasi tertentu. Oleh sebab itu, evaluasi pada model berbeda tetap diperlukan sebelum menerapkan sistem secara luas.
Goodfire dan Baseten Memperluas Penerapan Keamanan Agen AI
Bagian penting dari peluncuran adalah akses terhadap pengawasan berbasis probe bagi pengguna platform penyedia model AI Baseten. Baseten merupakan infrastruktur hosting dan inferensi AI. Melalui kerja sama tersebut, pengembang dapat memanfaatkan sistem perlindungan tambahan ketika mengoperasikan model AI. Pendekatan tersebut menjadi relevan terutama pada model terbuka karena mekanisme perlindungan bawaan mungkin berbeda antarpenyedia. Berkat dukungan pemantauan berlapis, penyedia layanan AI dapat mengembangkan pengendalian risiko ketika model digunakan.
Selain pemantauan keamanan siber, pendekatan interpretabilitas model memiliki potensi digunakan pada aktivitas berbahaya dalam konteks berbeda. Contoh risiko yang diperhatikan mencakup risiko keselamatan kimia serta biologi, upaya mengeksploitasi mekanisme evaluasi, dan aktivitas peretasan tanpa izin. Dalam pengembangan agen AI, reward hacking merujuk pada eksploitasi ukuran keberhasilan yang tidak sesuai dengan maksud tugas. Sebagai contoh, agen mungkin mencoba memanipulasi hasil evaluasi. Dengan memahami pola tersebut, administrator berpotensi mengetahui tanda masalah sebelum aktivitas berkembang menjadi insiden.
Masa Depan Keamanan Agen AI melalui Sistem Activation Probes
Pengembangan pendekatan pengawasan berbasis activation probes menunjukkan inovasi menarik dalam teknologi keamanan agen AI. Berkat pemanfaatan representasi numerik selama pemrosesan, teknologi tersebut dirancang mengenali indikasi perilaku berisiko tanpa harus memeriksa seluruh keluaran menggunakan model besar. Hasil pengujian Goodfire memberikan gambaran efektivitas terhadap 94 persen sesi dengan tindakan siber mencurigakan, dengan efisiensi komputasi dibandingkan pendekatan pembanding. Walaupun perkembangan ini menarik, potensi peringatan palsu tetap menjadi faktor evaluasi. Dengan mempertimbangkan kondisi tersebut, sistem probe perlu diterapkan bersama pembatasan izin agen. Menurut Anda, apakah pendekatan interpretabilitas berbasis AI akan membantu mengurangi penyalahgunaan kecerdasan buatan? Silakan bagikan pendapat Anda mengenai masa depan sistem kecerdasan buatan yang lebih aman.
