Microsoft Mage Kembangkan Agen Komputer yang Menggabungkan Kendali Layar dan Perintah Terminal
Microsoft memperkenalkan Mage-VL-Cowork, model kecerdasan buatan yang dirancang untuk mengoperasikan komputer melalui dua pendekatan sekaligus, yaitu antarmuka grafis dan perintah terminal. Dikembangkan oleh Microsoft Mage Team, model ini memiliki sekitar empat miliar parameter dan mampu menentukan kapan harus menggunakan mouse, keyboard, atau menjalankan kode untuk menyelesaikan pekerjaan. Dalam laporan teknis yang dipublikasikan pada 29 Oktober 2026, Microsoft menunjukkan kemampuan agen tersebut dalam menangani berbagai tugas komputer. Perkembangan TEKNOLOGI ini membuka peluang otomatisasi yang lebih fleksibel, terutama untuk pekerjaan yang melibatkan aplikasi desktop, pengolahan dokumen, spreadsheet, serta pengelolaan file digital.
Teknologi Agen Komputer Microsoft Memperluas Kemampuan Otomatisasi Desktop
Perkembangan sistem komputasi cerdas terus memperluas cara manusia memanfaatkan komputer dalam berbagai pekerjaan. Microsoft menghadirkan Mage-VL-Cowork sebagai model AI khusus yang dapat bekerja melalui antarmuka visual maupun terminal. Tidak seperti agen yang hanya mengandalkan tangkapan layar untuk menentukan tindakan, sistem ini mampu memilih metode interaksi berdasarkan karakteristik pekerjaan. Ketika pekerjaan membutuhkan tampilan visual, agen dapat memanfaatkan kendali mouse dan keyboard. Sementara itu, perintah terminal dapat dimanfaatkan ketika pengolahan langsung melalui kode lebih praktis. Strategi pengoperasian tersebut menjadi dasar penting dalam pengembangan agen komputer yang lebih fleksibel.
Daya tarik teknologi Mage-VL-Cowork adalah pemanfaatan satu kebijakan pengambilan keputusan untuk memilih kedua jalur interaksi. Hal tersebut berarti, perpindahan antara antarmuka grafis dan terminal tidak harus diatur oleh sistem pengarah eksternal yang terpisah. Sistem kecerdasan buatan tersebut mengembangkan kemampuan untuk mempertimbangkan tindakan yang paling sesuai pada setiap tahap pekerjaan. Sebagai contoh, agen dapat memeriksa tampilan aplikasi menggunakan screenshot, kemudian mengubah file dengan kode jika diperlukan. Setelah pekerjaan selesai, sistem dapat kembali memeriksa hasil melalui antarmuka visual. Pola kerja tersebut dapat meminimalkan langkah berulang dalam berbagai pekerjaan digital tanpa menghilangkan kebutuhan pengawasan pengguna.
Sistem Hybrid Computer Use Microsoft Menggabungkan Klik dan Eksekusi Kode
Dalam menjalankan pekerjaan, Mage-VL-Cowork menggunakan dua jalur tindakan yang memiliki karakteristik berbeda. Jalur pertama adalah graphical user interface atau GUI yang memungkinkan agen mengamati kondisi layar melalui tangkapan gambar. Dengan menggunakan kendali visual, agen dapat memilih tombol, memindahkan kursor, mengetik teks, serta melakukan tindakan antarmuka lainnya. Kemampuan ini relevan ketika pekerjaan membutuhkan aplikasi dengan tata letak yang harus diperhatikan. Dalam pekerjaan desain, pengeditan gambar dapat memerlukan pemeriksaan langsung terhadap posisi objek, warna, dan hasil perubahan. Dalam kondisi tersebut, penggunaan GUI memberikan konteks visual yang tidak selalu terlihat melalui perintah terminal.
Metode interaksi berikutnya adalah terminal yang memungkinkan agen menggunakan perintah sistem dan kode pemrograman. Berkat akses terminal, pekerjaan yang melibatkan pengolahan file terstruktur dapat diproses secara langsung. Dalam penggunaan praktis, perubahan pada spreadsheet dapat dilakukan menggunakan pustaka Python tanpa harus memilih setiap sel secara manual. Sebagai manfaat tambahan, terminal dapat digunakan untuk memeriksa keberadaan file, menjalankan perhitungan, dan memvalidasi hasil pekerjaan. Melalui perpaduan kedua metode tersebut, Mage-VL-Cowork dirancang untuk menggunakan jalur yang paling sesuai. Walaupun memiliki fleksibilitas tinggi, setiap tindakan tetap memerlukan izin akses dan batasan keamanan sistem.
Contoh Otomatisasi Aplikasi Desktop Menggunakan Agen Microsoft
Kemampuan praktis Mage-VL-Cowork diperlihatkan melalui pekerjaan yang menggunakan spreadsheet dan aplikasi desktop. Pada contoh pengujian Microsoft, model diminta untuk menyunting lembar kerja menggunakan LibreOffice Calc. Tugas yang diberikan meliputi penggabungan rentang sel, penambahan label, serta pembuatan grafik. Berbeda dari pendekatan yang memerlukan serangkaian klik panjang, agen memanfaatkan kode Python melalui terminal untuk memperbarui file secara langsung. Pada pengujian yang ditampilkan, Mage-VL-Cowork menuntaskan pekerjaan dalam waktu 39 detik dengan enam langkah. Contoh performa tersebut menunjukkan bahwa pemilihan metode interaksi dapat mendukung efisiensi penyelesaian tugas. Meskipun hasilnya menarik, waktu pengerjaan tidak selalu sama untuk seluruh spreadsheet dan konfigurasi komputer.
Penggunaan agen komputer juga diperlihatkan dalam pengolahan gambar melalui aplikasi GIMP. Dalam pengujian visual, sistem menerima instruksi untuk menambahkan alpha channel, menghapus latar tertentu, dan menyesuaikan dimensi gambar. Berbeda dengan pekerjaan spreadsheet, penyuntingan visual membutuhkan pemahaman terhadap hasil yang muncul di layar. Dengan mempertimbangkan karakteristik tersebut, agen mengandalkan GUI untuk melakukan perubahan dan terminal untuk memastikan hasil file. Kemampuan berpindah tersebut mendukung penyelesaian tugas yang tidak cukup diselesaikan dengan satu metode. Namun demikian, hasil desain tetap perlu diperiksa agar sesuai dengan kebutuhan pengguna.
Hasil Benchmark Mage-VL-Cowork Menunjukkan Kemampuan Agen AI
Dalam mengevaluasi performa, Microsoft mengevaluasi Mage-VL-Cowork menggunakan benchmark OSWorld-Verified. Evaluasi ini diterapkan untuk menilai keberhasilan agen komputer ketika menyelesaikan pekerjaan pada lingkungan desktop. Dalam pengujian resmi tim, model Mage-VL-Cowork memperoleh tingkat keberhasilan 66,0 persen dengan batas maksimal 50 langkah. Pencapaian tersebut diperoleh berdasarkan pengujian terhadap 361 tugas yang tidak digunakan dalam pelatihan. Nilai benchmark tersebut memperlihatkan kemampuan model berukuran relatif ringkas dalam menangani pekerjaan komputer yang beragam. Namun demikian, skor tersebut juga menunjukkan bahwa sejumlah tugas masih memerlukan pengembangan lebih lanjut. Karena itu, hasil benchmark tidak boleh dianggap sebagai jaminan keberhasilan pada seluruh kondisi nyata.
Tidak hanya menggunakan OSWorld-Verified, Microsoft juga menilai model dalam pekerjaan berbasis browser. Pada evaluasi navigasi web, versi Mage-VL-Cowork setelah supervised fine-tuning mencatat tingkat keberhasilan 58,6 persen. Hasil benchmark tersebut menyediakan gambaran mengenai kemampuan agen dalam menjalankan berbagai aktivitas web. Sebagai analisis tambahan, Microsoft membandingkan kemampuan sistem dengan konfigurasi yang menggunakan lebih banyak jalur interaksi. Temuan eksperimen menunjukkan bahwa penambahan alat tidak selalu memperbaiki hasil akhir. Pada evaluasi yang dilakukan, konfigurasi GUI dan kode justru menawarkan hasil lebih baik dibandingkan pendekatan dengan jalur aksesibilitas tambahan. Temuan tersebut menekankan pentingnya rancangan sistem yang efisien, bukan sekadar jumlah alat yang tersedia.
Peluang serta Risiko Otomatisasi Desktop Berbasis Kecerdasan Buatan
Sebagai bagian dari proses penelitian, Microsoft menggunakan metode pelatihan bertahap yang meliputi beberapa jenis pembelajaran. Bagian awal pelatihan diarahkan pada pemahaman visual dan kemampuan memahami elemen antarmuka. Pada tahap berikutnya, model dilatih untuk menjalankan tindakan GUI serta menggunakan terminal dan kode. Dalam proses lanjutan, pelatihan hybrid membantu agen mempelajari kapan harus mengandalkan masing-masing metode. Microsoft juga memanfaatkan reinforcement learning untuk mengoptimalkan keberhasilan penyelesaian pekerjaan. Strategi pelatihan ini bertujuan agar sistem tidak hanya memahami satu tindakan, tetapi juga menyelesaikan rangkaian pekerjaan yang lebih panjang. Berkat kombinasi metode pelatihan, model dapat mempelajari hubungan antara pengamatan, keputusan, dan pemeriksaan hasil.
Kendati teknologi ini memiliki berbagai manfaat produktivitas, keamanan tetap termasuk pertimbangan utama. Sistem yang memiliki akses untuk mengeksekusi perintah terminal memiliki kemampuan untuk menghapus file atau menjalankan tindakan yang memengaruhi lingkungan komputer. Karena itu, penggunaan agen sebaiknya dikendalikan melalui izin akses yang sesuai. Untuk pekerjaan profesional, administrator dapat menyiapkan lingkungan terisolasi, pembatasan direktori, serta pemeriksaan sebelum tindakan sensitif. Selain itu, hasil pekerjaan penting untuk diverifikasi sebelum digunakan secara resmi. Validasi dari pengguna tidak dapat diabaikan karena model dapat tidak tepat menjalankan instruksi dalam kondisi tertentu. Dengan pengelolaan tersebut, otomatisasi dapat dimanfaatkan secara lebih bertanggung jawab.
Kesimpulan
Pengembangan Mage-VL-Cowork menjadi perkembangan menarik dalam pengembangan kecerdasan buatan. Dengan menggabungkan kendali GUI dan perintah terminal, model Microsoft ini menawarkan pendekatan yang lebih adaptif untuk mengelola pekerjaan komputer. Penggunaan satu kebijakan pemilihan tindakan memungkinkan agen menentukan kapan harus mengoperasikan aplikasi secara visual dan kapan lebih tepat menjalankan kode. Hasil pengujian sebesar 66,0 persen pada OSWorld-Verified menunjukkan kemampuan yang menjanjikan untuk model berukuran sekitar empat miliar parameter. Meskipun menunjukkan kemajuan, agen tersebut masih membutuhkan pengembangan lanjutan dan pengawasan ketika menangani pekerjaan sensitif.
Pada masa mendatang, agen AI dengan kemampuan hybrid diperkirakan mempercepat otomatisasi pekerjaan yang melibatkan berbagai aplikasi. Untuk peneliti kecerdasan buatan, pendekatan Microsoft menghadirkan gambaran mengenai pentingnya pengelolaan alat otomatisasi. Di samping peningkatan kemampuan, keamanan, transparansi tindakan, dan validasi hasil tetap penting untuk dikembangkan. Melalui pengembangan yang bertanggung jawab, agen komputer dapat mempermudah berbagai pekerjaan digital. Bagaimana pendapat Anda, apakah agen yang dapat menggabungkan kendali layar dan terminal akan mempercepat otomatisasi komputer dalam industri TEKNOLOGI? Sampaikan pandangan Anda mengenai potensi agen AI untuk penggunaan komputer.
