Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.
Sistem Inside-Out Monitoring Menjadi Pendekatan Baru Pengawasan AI
Perusahaan riset keamanan AI Goodfire menghadirkan sistem pemantauan internal yang bertujuan mengidentifikasi potensi penyimpangan tindakan sistem otomatis. Pengembangan tersebut memiliki relevansi penting karena penggunaan agen digital semakin berkembang. Pada lingkungan komputasi modern, agen AI dapat mengoperasikan perangkat lunak dengan intervensi pengguna yang lebih sedikit. Perkembangan ini mendukung efisiensi pekerjaan, tetapi menghadirkan risiko pengendalian. Dengan pendekatan pemantauan internal, Goodfire berupaya mengenali tanda perilaku berbahaya lebih awal.
Jika dibandingkan dengan sistem pemantauan konvensional, sistem pemantauan internal ini tidak hanya membaca teks yang dihasilkan model. Sebagai alternatif, detektor memeriksa sinyal komputasi di dalam model. Sinyal internal ini dapat memberikan petunjuk mengenai kemungkinan tindakan berisiko. Manfaat utama metode tersebut adalah penggunaan kembali proses perhitungan model. Dengan demikian, kebutuhan sumber daya tambahan dapat ditekan. Namun demikian, akurasi pengawasan tidak dapat dianggap sempurna.
Sistem Deteksi Goodfire Menggunakan Aktivasi Jaringan Saraf
Komponen utama dalam teknologi inside-out monitoring adalah activation probes, yaitu model klasifikasi khusus yang memeriksa pola komputasi selama pemrosesan. Selama sistem menghasilkan respons, model menghasilkan sejumlah representasi numerik. Aktivasi yang terbentuk berkaitan dengan aktivitas komputasi yang sedang berlangsung. Activation probes kemudian menganalisis karakteristik sinyal untuk mengenali kemungkinan penyimpangan. Dalam penerapan keamanan, sistem klasifikasi dapat digunakan mengidentifikasi indikasi aktivitas peretasan berbahaya. Dengan pemrosesan semacam ini, pengawasan tidak harus menunggu seluruh respons selesai.
Keunggulan teknis pendekatan tersebut adalah pemanfaatan komputasi yang telah tersedia. Ketika memakai sistem evaluasi eksternal, pemeriksa kecerdasan buatan terpisah dapat memerlukan pemrosesan tambahan terhadap teks yang dihasilkan agen. Metode pengawasan tambahan tersebut dapat meningkatkan biaya, terutama apabila sistem menjalankan banyak langkah. Melalui pendekatan Goodfire, detektor cukup memanfaatkan representasi model yang telah dihitung. Oleh karena itu, beban pengawasan dapat dikurangi. Walaupun demikian, pemilihan sinyal internal perlu diperhatikan untuk menjaga relevansi hasil.
Sistem Pengawasan Berlapis Membantu Memeriksa Aktivitas AI Mencurigakan
Goodfire menerapkan mekanisme pengawasan bertahap. Ketika agen sedang bekerja, sistem klasifikasi membaca representasi internal selama pemrosesan. Ketika pola mencurigakan tidak terdeteksi, pemantauan berlangsung tanpa pemeriksaan tambahan yang mahal. Sebaliknya, sistem berpotensi melakukan eskalasi kepada model pemeriksa tambahan. Pemeriksaan kedua membantu menilai apakah indikasi tersebut benar-benar berbahaya. Melalui sistem bertahap tersebut, sumber daya pengawasan dapat difokuskan.
Selain melakukan deteksi, penyedia layanan memiliki pilihan menetapkan tindakan setelah risiko dikenali. Mekanisme penanganan tersebut meliputi logging untuk pemeriksaan, permintaan peninjauan manual, atau pemblokiran aktivitas yang melanggar kebijakan. Sebagai contoh, agen pemrograman dapat memiliki kewenangan berbagai layanan perangkat lunak. Apabila aktivitas berbahaya terdeteksi, akses tertentu bisa ditinjau sebelum dilanjutkan. Namun demikian, kebijakan penanganan harus disesuaikan agar proses kerja tetap berjalan dengan wajar.
Pengujian Goodfire pada Kimi K3 Menunjukkan Kemampuan Deteksi Tinggi
Menurut hasil eksperimen Goodfire, sistem pengawasan aktivasi internal diuji menggunakan model AI terbuka Kimi K3. Evaluasi teknis ini dilakukan terhadap sekitar 1.500 sesi untuk menilai efektivitas pengawasan. Berdasarkan angka yang diumumkan, probe mampu menandai 94 persen sesi peretasan berbahaya. Di samping keberhasilan deteksi, sekitar 8,7 persen aktivitas normal memerlukan pemeriksaan lanjutan. Angka tersebut menggambarkan kemungkinan kesalahan penandaan terhadap aktivitas aman. Dengan demikian, administrator perlu mengevaluasi efektivitas dan kenyamanan penggunaan.
Dari sisi biaya, Goodfire mengumumkan bahwa pemantauan sekitar 1.500 sesi menggunakan probe memerlukan pengeluaran sekitar US$51. Jika menggunakan pendekatan lain, model AI pemeriksa yang lebih murah memerlukan biaya kurang lebih US$233, sedangkan sistem evaluasi berbasis AI berkemampuan tinggi menghabiskan biaya mendekati US$10.000. Selain penghematan tersebut, pengoperasian empat detektor internal menurut perusahaan meningkatkan waktu tunggu awal respons di bawah dua persen. Meskipun angka tersebut menarik, data tersebut berasal dari evaluasi tertentu. Karena alasan tersebut, validasi tambahan sebaiknya dilakukan sebelum menerapkan sistem secara luas.
Manfaat Sistem Pemantauan Goodfire bagi Perusahaan dan Pengembang
Bagian penting dari peluncuran adalah penggunaan sistem monitoring internal bagi pengguna platform penyedia model AI Baseten. Layanan Baseten menyediakan infrastruktur hosting dan inferensi AI. Berkat integrasi layanan, pelanggan memiliki kesempatan menggunakan detektor risiko berbasis model ketika menjalankan agen otomatis. Pendekatan tersebut dapat membantu meningkatkan keamanan terutama pada model terbuka karena pengembang dapat memodifikasi pengaturannya. Dengan demikian, penyedia layanan AI dapat mengembangkan mekanisme keamanan saat inferensi.
Selain pemantauan keamanan siber, teknologi Goodfire memiliki potensi digunakan pada jenis risiko lainnya. Bidang pengawasan yang dapat dipilih meliputi penyalahgunaan terkait senjata kimia dan biologis, manipulasi sistem penghargaan, dan aktivitas peretasan tanpa izin. Pada penggunaan model otomatis, reward hacking terjadi ketika model mencari cara memenuhi penilaian tanpa menyelesaikan tujuan sebenarnya. Sebagai contoh, agen mungkin mencoba memanipulasi hasil evaluasi. Berkat pemantauan perilaku internal, administrator berpotensi mengetahui tanda masalah sebelum masalah menimbulkan dampak lebih besar.
Peran Interpretabilitas dalam Mengurangi Risiko Kecerdasan Buatan
Pengenalan sistem inside-out monitoring menunjukkan inovasi menarik dalam teknologi keamanan agen AI. Melalui pemeriksaan representasi numerik selama pemrosesan, teknologi tersebut dirancang mengenali indikasi perilaku berisiko tanpa harus memeriksa seluruh keluaran menggunakan model besar. Hasil pengujian Goodfire memberikan gambaran efektivitas terhadap 94 persen aktivitas hacking berisiko, dengan kebutuhan biaya yang lebih rendah. Meskipun hasilnya menjanjikan, potensi peringatan palsu tetap menjadi faktor evaluasi. Oleh karena itu, pengawasan berbasis aktivasi idealnya didukung pembatasan izin agen. Menurut Anda, apakah sistem pemantauan internal Goodfire akan membantu mengurangi penyalahgunaan kecerdasan buatan? Jangan ragu menyampaikan pandangan mengenai masa depan sistem kecerdasan buatan yang lebih aman.
