Alex Huth (kiri), Shailee Jain (tengah) dan Jerry Tang (kanan) bersiap untuk mengumpulkan data aktivitas otak di Biomedical Imaging Center di University of Texas di Austin. Para peneliti melatih decoder semantik mereka pada puluhan jam data aktivitas otak dari peserta, yang dikumpulkan dalam pemindai fMRI.
Foto: Nolan Zunk/Universitas Texas di Austin.
Para ilmuwan telah mengembangkan sistem AI non-invasif yang berfokus pada menerjemahkan aktivitas otak seseorang ke dalam aliran teks, menurut sebuah studi peer-review yang diterbitkan Senin di jurnal Nature Neuroscience.
Sistem, yang disebut dekoder semantik, pada akhirnya dapat bermanfaat bagi pasien yang kehilangan kemampuan untuk berkomunikasi secara fisik setelah menderita stroke, kelumpuhan, atau penyakit degeneratif lainnya.
Para peneliti di University of Texas di Austin mengembangkan sistem sebagian menggunakan model transformator, yang mirip dengan apa yang mendukung chatbot Google Bard dan chatbot ChatGPT OpenAI.
Peserta studi melatih dekoder dengan mendengarkan podcast selama beberapa jam di dalam pemindai fMRI, yang merupakan mesin besar yang mengukur aktivitas otak. Sistem ini tidak memerlukan implan bedah.
Ph.D. SISWA JERRY TANG BERSIAP UNTUK MENGUMPULKAN DATA AKTIVITAS OTAK DI PUSAT PENCITRAAN BIOMEDIKA DI UNIVERSITAS TEXAS DI AUSTIN.
Foto: Nolan Zunk/Universitas Texas di Austin.
Setelah sistem AI dilatih, ia dapat menghasilkan aliran teks saat peserta mendengarkan atau menyarankan untuk menceritakan kisah baru. Teks yang dihasilkan bukanlah transkrip yang tepat, melainkan para peneliti merancangnya dengan tujuan untuk menangkap pemikiran atau ide umum.
Menurut rilis berita, sistem terlatih menghasilkan teks yang mendekati atau sama persis dengan makna yang dimaksudkan dari kata-kata asli peserta sekitar setengahnya.
Misalnya, ketika seorang peserta mendengar kata-kata “Saya belum memiliki SIM” selama percobaan, pemikiran tersebut diterjemahkan menjadi: “Dia bahkan belum mulai belajar mengemudi.”
“Untuk metode non-invasif, ini merupakan lompatan nyata dibandingkan dengan apa yang telah dilakukan sebelumnya, yang biasanya berupa kata tunggal atau kalimat pendek,” kata Alexander Huth, salah satu pemimpin penelitian tersebut, dalam rilisnya. “Kami mendapatkan model untuk memecahkan kode bahasa berkelanjutan dengan ide-ide kompleks untuk jangka waktu yang lama.”
Peserta juga diminta untuk menonton empat video tanpa suara saat berada di pemindai, dan sistem AI mampu menggambarkan “peristiwa tertentu” secara akurat dari mereka, kata rilis tersebut.
Mulai hari Senin, dekoder tidak dapat digunakan di luar lingkungan lab karena bergantung pada pemindai fMRI. Tetapi para peneliti percaya itu pada akhirnya dapat digunakan melalui sistem pencitraan otak yang lebih portabel.
Peneliti utama studi ini telah mengajukan aplikasi paten PCT untuk teknologi tersebut.
