OpenAI mengambil mantel melawan “halusinasi” AI, perusahaan mengumumkan Rabu, dengan metode yang lebih baru untuk melatih model kecerdasan buatan.
Penelitian tersebut dilakukan pada saat misinformasi yang berasal dari sistem AI diperdebatkan lebih dari sebelumnya, di tengah ledakan AI yang generatif dan menjelang pemilihan presiden AS tahun 2024.
OpenAI mempercepat ledakan AI generatif tahun lalu ketika merilis ChatGPT, chatbot-nya yang ditenagai oleh GPT-3 dan GPT-4, dan melampaui 100 juta pengguna bulanan dalam dua bulan, dilaporkan membuat rekor untuk aplikasi dengan pertumbuhan tercepat. Hingga saat ini, Microsoft telah menginvestasikan lebih dari $13 miliar dalam OpenAI, dan nilai startup telah mencapai sekitar $29 miliar.
Halusinasi AI terjadi ketika model seperti ChatGPT OpenAI atau GoogleSe Bard sepenuhnya memalsukan informasi dan bertindak seolah-olah mereka memuntahkan fakta. Salah satu contoh: Dalam video promosi Google bulan Februari untuk Bard, chatbot membuat klaim yang tidak benar tentang James Webb Space Telescope. Baru-baru ini, ChatGPT mengutip kasus “palsu” dalam pengajuan pengadilan federal di New York, dan pengacara New York yang terlibat dapat menghadapi sanksi.
“Bahkan model canggih cenderung menghasilkan kepalsuan – mereka menunjukkan kecenderungan untuk menemukan fakta di saat-saat ketidakpastian,” tulis para peneliti OpenAI dalam laporan tersebut. “Halusinasi ini sangat bermasalah di domain yang membutuhkan penalaran multi-langkah, karena satu kesalahan logis saja sudah cukup untuk menggagalkan solusi yang jauh lebih besar.”
Strategi baru OpenAI yang potensial untuk melawan pemalsuan: Latih model AI untuk menghargai diri mereka sendiri untuk setiap individu, langkah penalaran yang benar saat sampai pada jawaban, alih-alih hanya menghargai kesimpulan akhir yang benar. Pendekatan ini disebut “pengawasan proses,” sebagai lawan dari “pengawasan hasil,” dan para peneliti mengatakan dapat mengarah pada AI yang dapat dijelaskan dengan lebih baik, karena strategi tersebut mendorong model untuk mengikuti rantai pendekatan “berpikir” yang lebih mirip manusia.
“Mendeteksi dan mengurangi kesalahan logis model, atau halusinasi, adalah langkah penting untuk membangun AGI (atau kecerdasan umum buatan) yang selaras,” kata Karl Cobbe, peneliti matematika di OpenAI kepada CNBC, mencatat bahwa sementara OpenAI tidak menciptakan pengawasan proses . pendekatan, membantu perusahaan mendorongnya ke depan. “Motivasi di balik penelitian ini adalah untuk mengatasi halusinasi agar model lebih mampu memecahkan masalah penalaran yang menantang.”
OpenAI merilis kumpulan data 800.000 tag manusia yang menyertainya yang digunakan untuk melatih model yang disebutkan dalam makalah penelitian, kata Cobbe.
Ben Winters, penasihat senior di Pusat Informasi Privasi Elektronik dan pemimpin proyek AI dan hak asasi manusianya, menyatakan skeptis, mengatakan kepada CNBC bahwa dia ingin memeriksa kumpulan data lengkap dan contoh terkait.
“Saya hanya berpikir bahwa itu saja tidak mengurangi kekhawatiran yang signifikan tentang informasi yang salah dan hasil yang salah … ketika benar-benar digunakan di alam liar,” kata Winters. Dia menambahkan, “Tentu penting jika mereka berniat untuk mengimplementasikan semua yang mereka temukan melalui penelitian mereka di sini (ke dalam produk mereka), dan jika tidak, itu menimbulkan beberapa pertanyaan yang cukup serius tentang apa yang ingin mereka rilis ke publik. ”
Karena tidak jelas apakah makalah OpenAI telah ditinjau oleh rekan sejawat atau ditinjau dalam format lain, Suresh Venkatasubramanian, direktur Pusat Tanggung Jawab Teknologi di Universitas Brown, mengatakan kepada CNBC bahwa dia melihat penelitian tersebut lebih dari pengamatan awal, daripada yang lainnya.
“Ini harus mengguncang komunitas riset sebelum kita dapat mengatakan sesuatu dengan pasti tentang ini,” kata Venkatasubramanian. “Di dunia ini, ada banyak hasil yang keluar sangat sering, dan karena ketidakstabilan keseluruhan dalam seberapa besar model bahasa bekerja, apa yang berfungsi di satu lingkungan, model dan konteks mungkin tidak berfungsi di lingkungan, model, dan konteks lain. .”
Venkatasubramanian menambahkan, “Beberapa hal halusinasi yang dikhawatirkan orang adalah (model) mengarang kutipan dan referensi. Tidak ada bukti dalam makalah ini bahwa itu akan berhasil. … Bukannya saya mengatakan itu akan berhasil. tidak akan bekerja; Saya mengatakan bahwa makalah ini tidak memberikan bukti itu.”
Cobbe mengatakan perusahaan “kemungkinan akan mengirimkan (makalah) ke konferensi mendatang untuk tinjauan sejawat.” OpenAI tidak menanggapi permintaan komentar kapan, jika pernah, perusahaan berencana menerapkan strategi baru di ChatGPT dan produk lainnya.
“Sungguh menyenangkan melihat perusahaan mengotak-atik pengembangan sistem mereka untuk mencoba dan mengurangi kesalahan semacam ini – saya pikir kuncinya adalah menafsirkan ini sebagai penelitian perusahaan, mengingat banyaknya hambatan yang ada. untuk bentuk akuntabilitas yang lebih dalam,” Sarah Myers West, direktur pelaksana AI Now Institute, mengatakan kepada CNBC.
West menambahkan, “(OpenAI) merilis kumpulan data kecil umpan balik tingkat manusia dengan makalah ini, tetapi tidak memberikan detail dasar tentang data yang digunakan untuk melatih dan menguji GPT-4. Jadi, masih ada sejumlah besar keburaman yang menantang setiap upaya akuntabilitas yang berarti di bidang AI, bahkan jika sistem ini sudah memengaruhi orang secara langsung.”
