AI memiliki masalah diskriminasi. Di perbankan, ini bisa menghancurkan

AMSTERDAM — Kecerdasan buatan memiliki masalah bias rasial.

Dari sistem identifikasi biometrik yang salah mengidentifikasi wajah orang kulit hitam dan minoritas secara tidak proporsional, hingga aplikasi perangkat lunak pengenalan suara yang gagal membedakan suara dengan aksen daerah yang berbeda, AI harus banyak bekerja dalam hal diskriminasi.

Dan masalah memperkuat bias yang ada bisa menjadi lebih buruk jika menyangkut layanan perbankan dan keuangan.

Deloitte mencatat bahwa sistem AI pada akhirnya hanya sebaik data yang mereka berikan: Kumpulan data yang tidak lengkap atau tidak representatif dapat membatasi objektivitas AI, sementara bias dalam pelatihan tim pengembangan sistem semacam itu dapat melanggengkan siklus bias tersebut.

Nabil Manji, kepala crypto dan Web3 di Worldpay di FIS, mengatakan hal penting untuk dipahami tentang produk AI adalah bahwa kekuatan teknologi sangat bergantung pada bahan sumber yang digunakan untuk melatihnya.

“Hal tentang seberapa bagus produk AI, ada dua variabel,” kata Manji kepada CNBC dalam sebuah wawancara. “Salah satunya adalah data yang dapat diaksesnya, dan kedua adalah seberapa bagus model bahasa besar itu. Itu sebabnya dari sisi data, Anda melihat perusahaan seperti Reddit dan lainnya, mereka telah mengumumkannya secara terbuka dan mengatakan kami tidak akan mengizinkan perusahaan di sekitar kita untuk mengikis data, Anda harus membayar kami untuk itu.”

Mengenai layanan keuangan, Manji mengatakan bahwa banyak sistem data backend yang terfragmentasi dalam berbagai bahasa dan format.

“Tidak ada yang dikonsolidasikan atau diharmonisasikan,” tambahnya. “Ini akan menyebabkan produk berbasis AI menjadi jauh kurang efektif dalam layanan keuangan daripada di vertikal lain atau perusahaan lain di mana mereka memiliki keseragaman dan sistem yang lebih modern atau akses ke data.”

Lebih kecil menyarankan bahwa blockchain, atau teknologi buku besar terdistribusi, dapat berfungsi sebagai cara untuk mendapatkan gambaran yang lebih jelas tentang data berbeda yang tersembunyi dalam sistem bank tradisional yang berantakan.

Namun, dia menambahkan bahwa bank – sebagai institusi yang sangat diatur dan bergerak lambat – tidak mungkin bergerak dengan kecepatan yang sama dengan rekan teknologi mereka yang lebih gesit untuk mengadopsi alat AI baru.

“Kamu punya Microsoft Dan Google, yang selama satu atau dua dekade terakhir dipandang sebagai kekuatan pendorong inovasi. Mereka tidak bisa mengikuti kecepatan itu. Dan kemudian Anda berpikir tentang layanan keuangan. Bank tidak dikenal cepat,” kata Manji.

Rumman Chowdhury, mantan kepala etika, transparansi, dan akuntabilitas pembelajaran mesin Twitter, mengatakan pinjaman adalah contoh utama bagaimana bias sistem AI terhadap komunitas yang terpinggirkan dapat mengangkat kepalanya.

“Diskriminasi algoritme sebenarnya sangat nyata dalam peminjaman,” kata Chowdhury dalam sebuah panel di Money20/20 di Amsterdam. “Chicago memiliki sejarah yang benar-benar menolak (pinjaman) itu ke lingkungan yang didominasi kulit hitam.”

Pada tahun 1930-an, Chicago dikenal karena praktik diskriminatif “redlining”, di mana kelayakan kredit properti sangat ditentukan oleh demografi rasial di lingkungan tertentu.

“Akan ada peta raksasa di dinding semua distrik di Chicago, dan mereka akan menggambar garis merah melalui semua distrik yang didominasi orang Afrika-Amerika, dan tidak memberi mereka pinjaman,” tambahnya.

“Maju cepat beberapa dekade kemudian, dan Anda sedang mengembangkan algoritme untuk menentukan risiko berbagai distrik dan individu. Dan meskipun Anda mungkin tidak memasukkan titik data ras seseorang, hal itu secara implisit diambil.”

Memang, Angle Bush, pendiri Black Women in Artificial Intelligence, sebuah organisasi yang didedikasikan untuk memberdayakan perempuan kulit hitam di sektor AI, memberi tahu CNBC bahwa ketika sistem AI digunakan secara khusus untuk keputusan persetujuan pinjaman, dia telah menemukan bahwa ada risiko mereplikasi bias yang ada dalam data historis yang digunakan untuk melatih algoritme.

“Ini dapat menyebabkan penolakan pinjaman otomatis untuk individu dari komunitas yang terpinggirkan, memperkuat perbedaan ras atau gender,” tambah Bush.

“Sangat penting bagi bank untuk menyadari bahwa menerapkan AI sebagai solusi dapat secara tidak sengaja melanggengkan diskriminasi,” katanya.

Frost Li, seorang pengembang yang telah bekerja di AI dan pembelajaran mesin selama lebih dari satu dekade, mengatakan kepada CNBC bahwa dimensi “personalisasi” dari integrasi AI juga dapat menimbulkan masalah.

“Yang menarik dari AI adalah bagaimana kami memilih ‘fitur inti’ untuk pelatihan,” kata Li, yang mendirikan dan menjalankan Loup, sebuah perusahaan yang membantu pengecer online mengintegrasikan AI ke dalam platform mereka. “Terkadang kami memilih fitur yang tidak terkait dengan hasil yang ingin kami prediksi.”

Saat menerapkan AI ke perbankan, kata Li, lebih sulit untuk mengidentifikasi “pelakunya” dalam bias ketika semua perhitungan kacau.

“Contoh yang bagus adalah berapa banyak startup fintech yang khusus untuk orang asing, karena lulusan Universitas Tokyo tidak akan bisa mendapatkan kartu kredit bahkan jika dia bekerja di Google, namun seseorang dapat dengan mudah mendapatkannya dari community college- credit union karena para bankir lebih mengenal sekolah lokal,” tambah Li.

AI generatif biasanya tidak digunakan untuk membuat skor kredit atau konsumen yang menilai risiko.

“Alat ini dibuat bukan untuk itu,” kata Niklas Guske, COO di Taktile, sebuah startup yang membantu fintech mengotomatiskan pengambilan keputusan.

Sebaliknya, Guske mengatakan aplikasi yang paling kuat adalah dalam preprocessing data tidak terstruktur seperti file teks — seperti mengklasifikasikan transaksi.

“Sinyal tersebut kemudian dapat dimasukkan ke dalam model penjaminan emisi yang lebih tradisional,” kata Guske. “Oleh karena itu, AI Generatif akan meningkatkan kualitas data yang mendasari keputusan tersebut daripada menggantikan proses penilaian umum.”

Tapi itu juga sulit dibuktikan. menarik dan Goldman Sachs, misalnya, dituduh memberi wanita batas bawah untuk kartu Apple. Namun klaim ini ditolak oleh Departemen Layanan Keuangan New York setelah regulator tidak menemukan bukti diskriminasi berdasarkan jenis kelamin.

Masalahnya, menurut Kim Smouter, direktur kelompok anti-rasisme Jaringan Eropa Melawan Rasisme, adalah sulit untuk membuktikan apakah diskriminasi berbasis AI benar-benar terjadi.

“Salah satu masalah dalam penyebaran massal AI,” katanya, “adalah kurangnya transparansi dalam bagaimana keputusan ini dibuat dan mekanisme ganti rugi apa yang ada, sehingga individu yang dirasialisasi bahkan menyadari bahwa ada diskriminasi.”

“Individu memiliki sedikit pengetahuan tentang cara kerja sistem AI dan bahwa kasus individu mereka sebenarnya mungkin merupakan puncak gunung es di seluruh sistem. Akibatnya, juga sulit untuk melacak kasus tertentu di mana ada yang tidak beres,” tambahnya.

Smouter mengutip contoh skandal kesejahteraan anak Belanda, di mana ribuan klaim manfaat salah dituduh sebagai penipuan. Pemerintah Belanda terpaksa mengundurkan diri setelah laporan tahun 2020 menemukan bahwa para korban “diperlakukan dengan bias institusional”.

Ini, kata Smouter, “menunjukkan seberapa cepat disfungsi semacam itu dapat menyebar dan betapa sulitnya untuk membuktikannya dan memperbaikinya setelah ditemukan dan sementara itu terjadi kerusakan yang signifikan, seringkali tidak dapat diubah.”

Chowdhury mengatakan ada kebutuhan untuk badan pengatur global, seperti Perserikatan Bangsa-Bangsa, untuk mengatasi beberapa risiko seputar AI.

Meskipun AI adalah alat inovatif, beberapa teknolog dan ahli etika telah menyatakan keraguan tentang keandalan moral dan etika teknologi tersebut. Di antara kekhawatiran terbesar yang diungkapkan oleh orang dalam industri adalah informasi yang salah; bias rasial dan gender yang tertanam dalam algoritme AI; dan “halusinasi” yang dihasilkan oleh alat mirip ChatGPT.

“Saya cukup khawatir, karena AI generatif, kita memasuki dunia pasca-kebenaran ini di mana tidak ada yang kita lihat online dapat dipercaya – tidak ada teks, tidak ada video, tidak ada audio, tapi kemudian bagaimana kami mendapatkan informasi kami? Dan bagaimana kami memastikan bahwa informasi memiliki tingkat integritas yang tinggi?” kata Chowdhury.

Sekarang adalah waktu untuk regulasi AI yang berarti untuk diterapkan – tetapi mengetahui berapa lama waktu yang dibutuhkan proposal peraturan seperti undang-undang AI Uni Eropa untuk berlaku, beberapa khawatir itu tidak akan segera terjadi .

“Kami menyerukan lebih banyak transparansi dan akuntabilitas algoritme dan cara kerjanya dan pernyataan awam yang memungkinkan individu yang bukan ahli AI untuk menilai sendiri, bukti pengujian dan publikasi hasil, proses pengaduan independen, audit dan pelaporan berkala, keterlibatan komunitas rasial saat merancang dan mempertimbangkan teknologi untuk penerapan, ”kata Smouter.

Undang-Undang Kecerdasan Buatan, kerangka peraturan pertama dari jenisnya, mencakup pendekatan dan konsep hak fundamental seperti ganti rugi, menurut Smouter, menambahkan bahwa peraturan tersebut akan diberlakukan dalam waktu sekitar dua tahun.

“Alangkah baiknya jika periode ini dapat dipersingkat untuk memastikan bahwa transparansi dan akuntabilitas menjadi inti dari inovasi,” katanya.