Banyak perusahaan merasa sudah mulai memanfaatkan AI.
Yang belum tentu mereka sadari, sebagian penggunaan AI itu mungkin tidak pernah masuk daftar kontrol, tidak tercatat dalam risk register, dan tidak siap dijelaskan saat audit.
Di beberapa unit kerja, AI sudah dipakai untuk membuat ringkasan dokumen, menyusun draft email, membaca pola data pelanggan, membantu analisis laporan, bahkan memberi rekomendasi awal untuk keputusan tertentu.
Dari sisi produktivitas, ini terlihat menjanjikan. Pekerjaan lebih cepat, tim merasa terbantu, dan proses yang sebelumnya memakan waktu bisa dipangkas.
Namun bagi manajemen, pertanyaannya bukan lagi “apakah AI bermanfaat?” Pertanyaan yang lebih penting adalah, apakah penggunaan AI di perusahaan sudah memiliki kontrol yang jelas?
Data apa yang masuk ke tools AI? Siapa yang boleh menggunakannya? Apakah output AI divalidasi sebelum dipakai? Apakah vendor AI sudah dinilai risikonya? Apakah penggunaan AI bisa ditelusuri saat audit?
Jika jawaban atas pertanyaan-pertanyaan itu masih kabur, maka AI bukan hanya alat bantu kerja. Ia sudah menjadi risiko tata kelola.
Di sinilah AI governance menjadi penting. Bukan untuk memperlambat inovasi, tetapi untuk memastikan AI digunakan secara aman, terukur, bertanggung jawab, dan tidak berubah menjadi temuan audit di kemudian hari.
Apa Itu AI Governance?
AI governance adalah kerangka tata kelola yang mengatur bagaimana AI dipilih, digunakan, diawasi, dievaluasi, dan dipertanggungjawabkan dalam organisasi.
Dalam praktik bisnis, AI governance bukan sekadar kebijakan penggunaan AI. Ia adalah cara perusahaan memastikan bahwa setiap pemanfaatan AI memiliki batas, pemilik risiko, proses persetujuan, kontrol data, validasi output, serta mekanisme pemantauan yang jelas.
Dengan kata lain, AI governance membantu organisasi menjawab pertanyaan dasar yang sering terlambat ditanyakan, AI digunakan untuk proses apa, menggunakan data apa, oleh siapa, dengan risiko apa, dan siapa yang bertanggung jawab jika hasilnya keliru?
Tanpa tata kelola AI, penggunaan AI bisa berkembang seperti sistem bayangan. Banyak dipakai, tetapi tidak benar-benar terlihat. Banyak membantu pekerjaan, tetapi tidak jelas batasnya. Banyak menghasilkan output, tetapi tidak selalu dapat dipertanggungjawabkan.
Bagi perusahaan yang sudah mulai memakai AI dalam proses kerja, terutama yang berhubungan dengan data pelanggan, laporan keuangan, legal, HR, audit, security, dan compliance, kondisi seperti ini tidak bisa dibiarkan terlalu lama.
Mengapa AI Mulai Menjadi Risiko Tata Kelola Perusahaan?
AI bukan lagi eksperimen kecil di ruang inovasi. Ia mulai masuk ke pekerjaan harian, proses bisnis, analisis data, layanan pelanggan, dokumen internal, hingga pengambilan keputusan awal.
Masalahnya, adopsi AI sering bergerak lebih cepat daripada kesiapan kontrol perusahaan.
-
AI Dipakai Lebih Cepat daripada Kebijakan Dibangun
Banyak organisasi belum memiliki kebijakan AI perusahaan yang benar-benar operasional. Mungkin sudah ada arahan umum, tetapi belum cukup jelas untuk menjawab situasi kerja sehari-hari.
Misalnya, apakah karyawan boleh memasukkan dokumen internal ke tools AI? Apakah data pelanggan boleh dianalisis dengan aplikasi AI eksternal? Apakah hasil AI boleh digunakan untuk menyusun keputusan bisnis? Apakah penggunaan AI dengan akun pribadi diperbolehkan?
Ketika aturan belum jelas, setiap unit kerja akan membuat interpretasi sendiri. Ada yang sangat hati-hati. Ada yang menggunakan AI secara bebas. Ada yang mulai mengintegrasikan AI ke workflow tanpa review dari IT, risk, legal, security, atau compliance.
Di titik ini, risiko mulai terbentuk. Bukan karena AI selalu berbahaya, tetapi karena perusahaan tidak memiliki visibilitas yang cukup.
-
Risiko AI Tidak Sama dengan Risiko Software Biasa
Software biasa umumnya bekerja berdasarkan aturan yang relatif stabil. AI berbeda. Output AI dapat berubah tergantung prompt, konteks, data yang dimasukkan, model yang digunakan, dan tujuan penggunaannya.
AI bisa menghasilkan jawaban yang terlihat rapi, tetapi tidak akurat. AI bisa memperkuat bias dari data yang digunakan. AI bisa memproses informasi sensitif tanpa pengguna menyadari implikasinya. AI juga bisa dipakai dalam proses yang sebenarnya membutuhkan pertimbangan manusia.
Karena itu, governance AI perusahaan tidak bisa berhenti pada pertanyaan “tools apa yang dipakai?” Pertanyaan yang lebih penting adalah “risiko apa yang muncul dari cara tools tersebut digunakan?”
Tools mengikuti kebutuhan. Governance menentukan batasnya.
-
Audit Akan Menanyakan Kontrol, Bukan Niat Baik
Saat audit masuk, niat baik tidak cukup. Auditor tidak akan berhenti pada jawaban bahwa AI digunakan untuk meningkatkan produktivitas.
Yang akan ditanyakan biasanya lebih konkret. Apakah perusahaan memiliki daftar penggunaan AI yang disetujui? Apakah risiko AI sudah masuk ke risk register? Apakah ada kebijakan AI lintas unit? Apakah data sensitif dilarang masuk ke tools tertentu? Apakah vendor AI sudah dievaluasi? Apakah output AI divalidasi sebelum memengaruhi keputusan penting?
Jika sebagian besar jawabannya masih “belum”, maka persoalannya bukan hanya kurang dokumen. Perusahaan sedang kekurangan kontrol.
Baca juga : Shadow AI di Kantor, Waspada Data Bisa Bocor!
Risiko yang Muncul Saat AI Dipakai Tanpa Tata Kelola
Tanpa AI governance, risiko bisa muncul dari area yang terlihat produktif. Justru karena AI membantu pekerjaan menjadi lebih cepat, penggunaannya sering luput dari pengawasan.
Risiko Data dan Privasi
AI membutuhkan input. Dalam konteks perusahaan, input itu sering kali bukan data biasa.
Karyawan dapat memasukkan data pelanggan, dokumen kontrak, data kandidat, laporan keuangan, source code, strategi bisnis, atau informasi internal lain ke tools AI tanpa memahami konsekuensinya. Jika tools tersebut tidak dievaluasi, perusahaan tidak tahu bagaimana data diproses, disimpan, digunakan, atau diakses oleh pihak ketiga.
Risiko AI perusahaan biasanya tidak muncul karena satu keputusan besar. Sering kali ia dimulai dari kebiasaan kecil: copy, paste, prompt, lalu selesai.
Masalahnya, data yang sudah keluar dari kontrol perusahaan tidak selalu mudah ditarik kembali.
Risiko Compliance
Compliance AI menjadi penting ketika penggunaan AI bersentuhan dengan data pribadi, proses HR, layanan pelanggan, dokumen legal, evaluasi risiko, laporan keuangan, atau aktivitas yang dapat diaudit.
Tanpa tata kelola AI, perusahaan sulit membuktikan bahwa AI digunakan secara wajar, aman, dan sesuai prinsip kepatuhan. Bahkan tanpa insiden besar, dokumentasi yang lemah bisa menjadi persoalan saat audit internal, review regulator, atau pemeriksaan compliance.
Compliance bukan hanya soal melanggar atau tidak. Dalam bisnis, compliance juga tentang kemampuan membuktikan bahwa organisasi memiliki proses, kontrol, dan akuntabilitas yang memadai.
Risiko Kualitas Keputusan
AI bisa membantu menyusun ringkasan, mencari pola, membuat rekomendasi, dan mempercepat analisis. Namun AI tidak selalu memahami konteks bisnis, risiko reputasi, kondisi hukum, dinamika pelanggan, atau realitas operasional perusahaan.
Jika output AI diterima begitu saja, perusahaan bisa mengambil keputusan berdasarkan informasi yang tidak lengkap, bias, atau keliru.
Inilah salah satu risiko yang sering diremehkan. Output AI biasanya terlihat rapi. Kalimatnya meyakinkan. Strukturnya logis. Justru karena tampil meyakinkan, kesalahannya kadang lebih sulit dikenali.
AI governance membantu menetapkan kapan AI hanya boleh menjadi alat bantu, kapan perlu review manusia, dan kapan AI tidak boleh menjadi dasar keputusan.
Risiko Vendor dan Pihak Ketiga
Banyak tools AI disediakan oleh vendor eksternal. Artinya, perusahaan perlu memahami aspek keamanan data, lokasi pemrosesan, retensi data, akses, integrasi sistem, SLA, ketentuan kontrak, serta hak audit.
Jika vendor AI digunakan langsung oleh unit kerja tanpa assessment, perusahaan bisa menghadapi risiko pihak ketiga yang tidak terlihat.
Karena itu, tata kelola AI perlu terhubung dengan procurement, legal, security, risk management, dan compliance. Tools AI tidak cukup dinilai dari fitur dan harga. Ia juga harus dinilai dari risiko bisnisnya.
Baca juga :
Kesalahan yang Membuat AI Governance Hanya Jadi Dokumen Formal
Banyak perusahaan ingin mengatur AI, tetapi pendekatannya sering kurang tepat. Hasilnya, governance terlihat ada di dokumen, tetapi tidak terasa dalam praktik kerja.
-
Menganggap AI Governance Sama dengan Kebijakan AI
Kebijakan AI memang penting. Namun kebijakan hanyalah satu bagian dari AI governance.
Governance membutuhkan struktur yang lebih lengkap: peran dan tanggung jawab, proses approval, klasifikasi risiko, kontrol data, monitoring, audit trail, vendor assessment, mekanisme eskalasi, serta review berkala.
Tanpa komponen itu, kebijakan AI hanya menjadi dokumen yang terlihat rapi, tetapi sulit dijalankan.
-
Membiarkan Setiap Unit Mengatur Sendiri
AI digunakan lintas fungsi. Karena itu, kurang ideal jika setiap unit membuat aturan masing-masing.
Tim marketing mungkin fokus pada kreativitas. Tim IT fokus pada keamanan. Tim legal fokus pada risiko hukum. Tim compliance fokus pada kepatuhan. Semua perspektif itu penting, tetapi perlu disatukan dalam satu kerangka tata kelola yang sama.
Jika tidak, perusahaan akan memiliki banyak versi aturan AI. Saat audit masuk, kondisi seperti ini biasanya terbaca sebagai lemahnya kontrol organisasi.
-
Terlalu Cepat Membahas Tools
Diskusi AI governance sering langsung melompat ke pertanyaan teknis: pakai platform apa, vendor mana, fitur apa, dan lisensinya berapa.
Pertanyaan itu penting. Namun titik awal yang lebih matang adalah memahami use case dan risikonya.
AI untuk membuat draft email tentu berbeda risikonya dengan AI untuk menganalisis data pelanggan, membaca kontrak, menilai risiko keuangan, atau membantu keputusan HR. Jika risikonya berbeda, kontrolnya juga harus berbeda.
-
Melupakan Akuntabilitas Manusia
AI governance bukan berarti semua keputusan diserahkan kepada sistem. Justru dalam proses penting, peran manusia harus diperjelas.
Siapa yang memvalidasi output? Siapa yang menyetujui penggunaan AI untuk proses tertentu? Siapa yang bertanggung jawab jika rekomendasi AI salah? Siapa yang boleh mengubah prompt, model, atau sumber data?
Tanpa kejelasan ini, akuntabilitas mudah hilang. Ketika masalah terjadi, semua orang bisa menunjuk sistem. Padahal sistem tidak duduk di ruang audit untuk menjelaskan keputusan.
AI Governance untuk Perusahaan
Framework AI governance tidak harus dimulai dari sesuatu yang rumit. Yang penting, perusahaan memiliki kontrol minimum yang bisa dijalankan dan ditingkatkan secara bertahap.
1. Use Case Register
Perusahaan perlu memiliki daftar penggunaan AI yang sedang berjalan maupun yang direncanakan. Daftar ini sebaiknya mencakup unit pengguna, tujuan bisnis, jenis data yang digunakan, tools atau vendor yang dipakai, tingkat risiko, pemilik proses, dan status persetujuan.
Tanpa use case register, perusahaan hanya menebak-nebak penggunaan AI di lapangan. Dalam tata kelola, menebak bukan strategi.
2. Risk Classification
Setiap use case AI perlu diklasifikasikan berdasarkan tingkat risikonya.
Penggunaan AI untuk brainstorming ide biasanya memiliki risiko rendah. Penggunaan AI untuk membaca kontrak, menganalisis data pelanggan, membantu keputusan HR, atau menilai risiko keuangan memiliki risiko lebih tinggi.
Klasifikasi ini membantu perusahaan menentukan kontrol secara proporsional. Tidak semua penggunaan AI perlu dipersulit. Namun use case berisiko tinggi harus mendapat review lebih ketat.
3. Data Usage Control
AI governance harus menjelaskan data apa yang boleh digunakan, data apa yang dilarang, siapa yang boleh mengakses, dan bagaimana data tersebut dilindungi.
Kontrol ini mencakup klasifikasi data, masking, anonymization, pembatasan akses, retensi data, serta aturan penggunaan data pribadi dan informasi rahasia.
Di titik ini, AI governance sangat terkait dengan Data Governance. AI tidak bisa dikelola dengan baik jika data yang menjadi input-nya tidak tertata.
4. Human Oversight
Untuk proses yang berdampak besar, output AI tidak boleh langsung digunakan tanpa review manusia.
Human oversight berarti ada pihak yang memeriksa, menilai, dan bertanggung jawab atas hasil AI sebelum digunakan. Ini penting untuk mencegah keputusan yang bias, tidak akurat, atau tidak sesuai konteks bisnis.
AI boleh membantu mempercepat analisis. Namun keputusan penting tetap membutuhkan akuntabilitas manusia.
5. Audit Trail
Penggunaan AI yang signifikan sebaiknya bisa ditelusuri. Perusahaan perlu mengetahui siapa yang menggunakan, untuk tujuan apa, data apa yang diproses, output apa yang dihasilkan, dan keputusan apa yang diambil setelahnya.
Audit trail bukan hanya kebutuhan auditor. Ia juga membantu organisasi mengevaluasi pola penggunaan AI, memperbaiki kontrol, dan menutup celah sebelum menjadi masalah yang lebih besar.
Baca juga : Bingung Pilih IT Governance atau ITSM? Bisa Buang Waktu 2-3 Tahun!
5 Langkah Awal Membangun AI Governance yang Bisa Dijalankan
AI governance tidak harus sempurna sejak hari pertama. Yang lebih penting adalah memulai dari area yang paling dekat dengan risiko bisnis.
-
Mulai dari Assessment Penggunaan AI
Langkah pertama bukan membuat kebijakan tebal. Langkah pertama adalah mencari tahu AI sudah digunakan di mana saja.
AI dipakai oleh unit apa? Untuk proses apa? Menggunakan data apa? Apakah tools-nya resmi? Apakah memakai akun pribadi? Apakah output-nya digunakan untuk keputusan penting?
Assessment ini biasanya membuka fakta yang menarik: penggunaan AI sering kali sudah lebih luas daripada perkiraan manajemen.
-
Bentuk Forum Tata Kelola AI
AI governance perlu melibatkan beberapa fungsi, seperti IT, risk, compliance, legal, security, HR, procurement, data owner, dan perwakilan bisnis.
Forum ini tidak perlu menjadi birokrasi baru. Perannya adalah memberi arah, menyepakati batas, menilai risiko, dan memastikan penggunaan AI tidak berjalan sendiri-sendiri di tiap unit.
-
Buat Kebijakan yang Mudah Dipakai
Kebijakan AI yang baik tidak harus terdengar rumit. Justru semakin sulit dipahami, semakin kecil peluangnya dipakai.
Karyawan perlu tahu tools AI apa yang boleh digunakan, data apa yang tidak boleh dimasukkan, kapan perlu approval, siapa yang memberi approval, bagaimana output AI harus dicek, dan apa yang harus dilakukan jika terjadi insiden.
Bahasanya harus praktis. Bukan sekadar aman secara legal, tetapi juga jelas bagi pengguna di lapangan.
-
Prioritaskan Use Case Berisiko Tinggi
Tidak semua hal perlu diselesaikan sekaligus. Perusahaan dapat memprioritaskan penggunaan AI yang menyentuh data pelanggan, data pribadi, keuangan, legal, HR, keamanan informasi, dan keputusan operasional penting.
Di area seperti ini, kontrol perlu dibangun lebih awal karena dampaknya lebih besar jika terjadi kesalahan.
-
Lakukan Monitoring dan Review Berkala
AI governance tidak selesai setelah kebijakan diterbitkan. Justru setelah kebijakan ada, pekerjaan governance baru benar-benar dimulai.
Tools baru akan muncul. Vendor berubah. Karyawan menemukan cara kerja baru. Risiko ikut bergeser.
Karena itu, perusahaan perlu meninjau ulang use case, kontrol, vendor, kebijakan, dan temuan audit secara berkala. Governance yang baik bukan yang paling tebal dokumennya, tetapi yang tetap relevan saat praktik bisnis berubah.
Baca juga : 8 Pokok Poin PER-02/MBU/02/2018 untuk Jalan BUMN Menuju Good IT Governance
Practical Takeaway untuk Manajemen
AI governance bukan penghambat inovasi. Ia adalah syarat agar AI bisa digunakan dalam skala bisnis yang lebih besar tanpa menciptakan risiko baru yang sulit dikendalikan.
Ada lima hal yang perlu segera dipastikan manajemen.
Pertama, perusahaan harus mengetahui penggunaan AI yang sudah terjadi. Kedua, data sensitif perlu memiliki batas penggunaan yang jelas. Ketiga, use case AI harus diklasifikasikan berdasarkan risiko. Keempat, output AI untuk keputusan penting perlu divalidasi manusia. Kelima, penggunaan AI harus dapat diaudit.
Jika lima hal ini belum ada, perusahaan sebaiknya tidak terlalu nyaman hanya karena belum pernah terjadi insiden. Dalam governance, sesuatu yang tidak terlihat belum tentu tidak ada. Bisa jadi hanya belum ditemukan.
Kesimpulan
AI governance bukan pilihan tambahan ketika perusahaan sudah memakai AI. Ia adalah fondasi agar AI dapat digunakan tanpa menciptakan risiko baru yang sulit dikendalikan.
Ketika AI mulai masuk ke data, proses bisnis, vendor, keputusan, dan compliance, perusahaan perlu memastikan ada kontrol yang jelas: siapa yang menggunakan, data apa yang diproses, bagaimana output divalidasi, dan bagaimana risikonya diawasi.
Tanpa governance, AI memang bisa mempercepat pekerjaan. Namun kecepatan tanpa kontrol hanya memindahkan risiko ke depan, dan sering kali baru terlihat ketika audit, insiden, atau masalah compliance sudah terjadi.
Perusahaan yang matang tidak perlu menolak AI. Yang perlu dibangun adalah tata kelola yang membuat AI bisa digunakan secara aman, terukur, dan bertanggung jawab.
Perkuat AI Governance melalui IT Governance Risk Compliance
Bagi organisasi yang mulai menggunakan AI di berbagai unit kerja, langkah paling penting bukan langsung menambah tools baru, melainkan memastikan penggunaan AI masuk ke struktur tata kelola yang jelas.
Dalam konteks ini, pendekatan IT Governance Risk Compliance (GRC) dapat membantu perusahaan menilai kesiapan kontrol, memetakan risiko AI, menyusun mekanisme pengawasan, dan memastikan penggunaan AI selaras dengan kebutuhan compliance serta akuntabilitas bisnis.
PROXSIS IT dapat menjadi mitra untuk membantu organisasi membangun fondasi tersebut secara lebih terarah, terutama bagi perusahaan yang ingin mengelola AI bukan hanya sebagai teknologi, tetapi sebagai bagian dari tata kelola perusahaan.
FAQ
- Apa itu AI governance?
AI governance adalah kerangka tata kelola yang mengatur bagaimana AI digunakan, diawasi, dievaluasi, dan dipertanggungjawabkan dalam organisasi. - Kapan perusahaan perlu mulai membangun AI governance?
Perusahaan perlu mulai membangun AI governance ketika AI sudah digunakan untuk pekerjaan internal, memproses data, mendukung keputusan, atau menyentuh proses bisnis penting. - Siapa yang sebaiknya bertanggung jawab atas AI governance?
AI governance sebaiknya melibatkan IT, risk, compliance, legal, security, data owner, dan perwakilan bisnis agar kontrolnya tidak berjalan sepihak. - Apakah risiko AI perlu masuk ke risk register perusahaan?
Ya. Jika AI digunakan dalam proses bisnis penting, risikonya perlu dicatat, dinilai, dimonitor, dan dikelola seperti risiko teknologi lainnya. - Apa kontrol minimum untuk penggunaan AI di perusahaan?
Kontrol minimumnya meliputi daftar use case AI, klasifikasi risiko, batasan penggunaan data, human oversight, dan audit trail. - Apa hubungan AI governance dengan IT GRC?
AI governance merupakan bagian dari tata kelola teknologi yang perlu terhubung dengan risk management, compliance, kontrol internal, audit, dan keamanan informasi. - Apakah AI governance menghambat inovasi?
Tidak. AI governance membantu inovasi berjalan lebih aman, terarah, dan dapat dipercaya oleh manajemen, auditor, regulator, maupun pelanggan.