Bagaimana Walmart, Delta, dan Starbucks menggunakan AI untuk memeriksa pesan karyawan

Perhatikan referensi George Orwell.

Tergantung di mana Anda bekerja, ada kemungkinan besar kecerdasan buatan akan mencegat pesan Anda di Slack, Microsoft Teams, Perbesar dan aplikasi populer lainnya.

Pengusaha besar Amerika seperti Walmart, Maskapai Penerbangan Delta, T-Mobile, Chevron Dan Starbucksserta merek Eropa termasuk Nestle dan AstraZenecaberalih ke startup berusia tujuh tahun, Aware, untuk memantau obrolan di antara jajaran mereka, menurut perusahaan tersebut.

Jeff Schumann, salah satu pendiri dan CEO startup yang berbasis di Columbus, Ohio, mengatakan AI membantu perusahaan “memahami risiko dalam komunikasi mereka,” mendapatkan pembacaan sentimen karyawan secara real-time, daripada bergantung pada laporan tahunan atau tahunan. survei dua tahunan.

Dengan menggunakan data anonim dalam produk analitik Aware, klien dapat melihat bagaimana karyawan dari kelompok usia tertentu atau dalam geografi tertentu bereaksi terhadap kebijakan perusahaan atau kampanye pemasaran baru, menurut Schumann. Lusinan model AI Aware, yang dibuat untuk membaca teks dan memproses gambar, juga dapat mengidentifikasi penindasan, pelecehan, diskriminasi, ketidakpatuhan, pornografi, ketelanjangan, dan perilaku lainnya, katanya.

Alat analisis Aware – yang memantau sentimen dan toksisitas karyawan – tidak memiliki kemampuan untuk menandai nama individu karyawan, menurut Schumann. Namun alat eDiscovery terpisah dapat melakukannya jika terjadi ancaman ekstrem atau perilaku berisiko lainnya yang telah ditentukan sebelumnya oleh pelanggan, tambahnya.

CNBC tidak menerima tanggapan dari Walmart, T-Mobile, Chevron, Starbucks atau Nestle terkait penggunaan Aware. Perwakilan AstraZeneca mengatakan perusahaannya menggunakan produk eDiscovery, namun tidak menggunakan analitik untuk memantau sentimen atau toksisitas. Delta mengatakan kepada CNBC bahwa mereka menggunakan analitik dan eDiscovery dari Aware untuk memantau tren dan sentimen sebagai cara untuk mengumpulkan umpan balik dari karyawan dan pemangku kepentingan lainnya, dan untuk menyimpan catatan hukum di platform media sosialnya.

Tidak perlu seorang penggila novel distopia untuk melihat di mana semua hal bisa menjadi salah.

Jutta Williams, salah satu pendiri Humane Intelligence, sebuah organisasi nirlaba akuntabilitas AI, mengatakan bahwa AI menambah permasalahan baru dan berpotensi menimbulkan masalah pada apa yang disebut program risiko orang dalam, yang telah ada selama bertahun-tahun untuk menilai hal-hal seperti spionase perusahaan, khususnya dalam komunikasi e-pos. .

Berbicara secara luas tentang pengawasan karyawan AI dan bukan teknologi Aware secara khusus, Williams mengatakan kepada CNBC, “Banyak dari hal ini yang dianggap sebagai kejahatan.” Dia menambahkan: “Ini memperlakukan orang seperti saham dengan cara yang belum pernah saya lihat sebelumnya.”

AI pengawasan karyawan adalah bagian yang berkembang pesat namun merupakan bagian khusus dari pasar AI yang lebih besar yang telah meledak dalam satu tahun terakhir, setelah peluncuran chatbot ChatGPT OpenAI pada akhir tahun 2022. AI Generatif dengan cepat menjadi ungkapan populer bagi perusahaan yang telah menjadi panggilan pendapatan, dan beberapa bentuk teknologi ini mengotomatiskan tugas-tugas di hampir setiap industri, mulai dari jasa keuangan dan penelitian biomedis hingga logistik, perjalanan online, dan utilitas.

Pendapatan Aware telah tumbuh rata-rata 150% per tahun selama lima tahun terakhir, kata Schumann kepada CNBC, dan pelanggan tipikalnya memiliki sekitar 30,000 karyawan. Pesaing utama termasuk Qualtrics, Relativity, Proofpoint, Smarsh dan Netskope.

Berdasarkan standar industri, Aware masih cukup ramping. Perusahaan terakhir kali mengumpulkan dana pada tahun 2021, ketika mengumpulkan $60 juta dalam putaran yang dipimpin oleh Goldman Sachs Manajemen aset. Bandingkan dengan perusahaan model bahasa besar, atau LLM, seperti OpenAI dan Anthropic, yang masing-masing telah mengumpulkan miliaran dolar, sebagian besar dari mitra strategis.

Schumann memulai perusahaannya pada tahun 2017 setelah menghabiskan hampir delapan tahun bekerja dalam kolaborasi perusahaan di perusahaan asuransi Nationwide.

Sebelumnya dia adalah seorang pengusaha. Dan Aware bukanlah perusahaan pertama yang ia dirikan yang membangkitkan pemikiran tentang Orwell.

Pada tahun 2005, Schumann mendirikan perusahaan bernama BigSaudaraLite.com. Menurut profil LinkedIn-nya, perusahaan tersebut mengembangkan perangkat lunak yang meningkatkan “pengalaman menonton digital dan seluler” dari serial realitas CBS “Big Brother”. Dalam novel klasik Orwell “1984”, Big Brother adalah pemimpin negara totaliter di mana warganya selalu diawasi.

“Saya membuat pemutar sederhana yang berfokus pada pengalaman konsumen yang lebih bersih dan mudah bagi orang-orang untuk menonton acara TV di komputer mereka,” kata Schumann melalui email.

Di Aware, dia melakukan sesuatu yang sangat berbeda.

Setiap tahun, perusahaan mengeluarkan laporan yang mengumpulkan wawasan dari miliaran pesan – pada tahun 2023 jumlahnya mencapai 6,5 miliar – yang dikirim ke seluruh perusahaan besar, menghitung faktor risiko yang dirasakan dan skor sentimen di tempat kerja. Schumann menyebut triliunan pesan yang dikirim setiap tahun melalui platform komunikasi di tempat kerja sebagai “kumpulan data tidak terstruktur dengan pertumbuhan tercepat di dunia.”

Ketika jenis konten lain yang dibagikan, seperti gambar dan video, disertakan, AI analitik Aware menganalisis lebih dari 100 juta konten setiap hari. Dengan melakukan hal ini, teknologi ini menciptakan grafik sosial perusahaan, yang melihat tim mana yang lebih banyak berbicara satu sama lain secara internal dibandingkan tim lainnya.

“Alat ini selalu melacak sentimen karyawan secara real-time, dan selalu melacak toksisitas secara real-time,” kata Schumann tentang alat analisis tersebut. “Jika Anda adalah bank yang menggunakan Aware dan sentimen tenaga kerja melonjak dalam 20 menit terakhir, itu karena mereka secara kolektif membicarakan sesuatu yang positif. Teknologi akan mampu memberi tahu mereka apa pun itu.”

Aware mengonfirmasi kepada CNBC bahwa mereka menggunakan data dari pelanggan perusahaannya untuk melatih model pembelajaran mesinnya. Penyimpanan data perusahaan berisi sekitar 6,5 miliar pesan, mewakili sekitar 20 miliar interaksi individu di lebih dari 3 juta karyawan unik, kata perusahaan itu.

Ketika pelanggan baru mendaftar untuk alat analitik, model AI Aware memerlukan waktu sekitar dua minggu untuk melatih pesan karyawan dan mempelajari pola emosi dan sentimen dalam perusahaan sehingga dapat melihat apa yang normal dan tidak normal, kata Schumann.

“Tidak akan ada nama orang di dalamnya, untuk melindungi privasi,” kata Schumann. Sebaliknya, pelanggan akan melihat bahwa “mungkin tenaga kerja berusia di atas 40 tahun di wilayah Amerika Serikat ini memandang perubahan pada (a) kebijakan dengan sangat negatif karena biayanya, namun semua orang di luar kelompok usia dan lokasi tersebut memandangnya secara positif karena perubahan tersebut berdampak pada perubahan (a) kebijakan.” mereka dengan cara yang berbeda.”

Namun alat eDiscovery Aware bekerja secara berbeda. Sebuah perusahaan dapat mengatur akses berbasis peran ke nama karyawan tergantung pada kategori “risiko ekstrim” yang dipilih perusahaan, menginstruksikan teknologi Aware untuk merilis nama individu, dalam kasus tertentu, ke sumber daya manusia atau perwakilan perusahaan lain untuk menariknya.

“Beberapa tindakan yang paling umum adalah kekerasan ekstrem, intimidasi ekstrem, pelecehan, namun hal ini berbeda-beda di setiap industri,” kata Schumann, seraya menambahkan bahwa dugaan insider trading akan terdeteksi di layanan keuangan.

Misalnya, pelanggan dapat menentukan kebijakan “ancaman kekerasan”, atau kategori lainnya, menggunakan teknologi Aware, kata Schumann, dan meminta model AI memantau pelanggaran di Slack, Microsoft Tim dan Tempat Kerja oleh Meta. Klien juga dapat menautkannya ke tanda berbasis aturan untuk frasa, pernyataan tertentu, dan lainnya. Jika AI menemukan sesuatu yang melanggar kebijakan yang ditentukan perusahaan, AI dapat memberikan nama karyawan tersebut kepada perwakilan pelanggan yang ditunjuk.

Jenis praktik ini telah digunakan dalam komunikasi email selama bertahun-tahun. Yang baru adalah penggunaan AI dan penerapannya pada platform perpesanan di tempat kerja seperti Slack dan Teams.

Amba Kak, direktur eksekutif AI Now Institute di New York University, prihatin dengan penggunaan AI untuk membantu menentukan apa yang dianggap perilaku berisiko.

“Hal ini menciptakan efek mengerikan terhadap apa yang dikatakan orang di tempat kerja,” kata Kak, seraya menambahkan bahwa Komisi Perdagangan Federal, Departemen Kehakiman, dan Equal Employment Opportunity telah menyatakan keprihatinannya mengenai kasus ini, meskipun dia tidak membicarakannya secara spesifik. Teknologi sadar. “Ini adalah masalah hak-hak pekerja dan juga masalah privasi.”

Schumann mengatakan bahwa meskipun alat eDiscovery dari Aware memungkinkan tim investigasi keamanan atau SDM menggunakan AI untuk mencari data dalam jumlah besar, “kemampuan serupa namun mendasar sudah ada saat ini” di Slack, Teams, dan platform lainnya.

“Perbedaan utama di sini adalah Aware dan model AI-nya tidak mengambil keputusan,” kata Schumann. “AI kami mempermudah penyisiran kumpulan data baru ini untuk mengidentifikasi potensi risiko atau pelanggaran kebijakan.”

Meskipun data dikumpulkan atau dianonimkan, penelitian menunjukkan bahwa ini adalah konsep yang cacat. Sebuah studi penting tentang privasi data menggunakan data Sensus AS tahun 1990 menunjukkan bahwa 87% orang Amerika dapat diidentifikasi hanya menggunakan kode pos, tanggal lahir, dan jenis kelamin. Pelanggan yang sadar menggunakan alat analitiknya memiliki kemampuan untuk menambahkan metadata ke pelacakan pesan, seperti usia karyawan, lokasi, departemen, masa jabatan, atau fungsi pekerjaan.

“Apa yang mereka katakan bergantung pada gagasan yang sangat ketinggalan jaman dan, menurut saya, benar-benar gila pada saat ini bahwa anonimisasi atau agregasi adalah seperti peluru ajaib dalam mengatasi masalah privasi,” kata Kak.

Selain itu, jenis model AI yang digunakan Aware bisa efektif dalam menghasilkan kesimpulan dari data agregat, membuat tebakan akurat, misalnya, tentang pengenal pribadi berdasarkan bahasa, konteks, istilah slang, dan banyak lagi, menurut penelitian terbaru.

“Pada dasarnya tidak ada perusahaan yang mampu memberikan jaminan komprehensif mengenai privasi dan keamanan LLM dan sistem semacam ini,” kata Kak. “Tidak ada seorang pun yang dapat memberi tahu Anda secara langsung bahwa tantangan-tantangan ini telah diselesaikan.”

Lalu bagaimana dengan pidato karyawan? Jika suatu interaksi ditandai dan seorang pekerja didisiplinkan atau dipecat, sulit bagi mereka untuk melakukan pembelaan jika mereka tidak mengetahui semua data yang terlibat, kata Williams.

“Bagaimana Anda akan menghadapi penuduh Anda ketika kami tahu kemampuan penjelasan AI masih belum matang?” kata Williams.

Sebagai tanggapan, Schumann mengatakan, “Tidak ada model AI kami yang membuat keputusan atau rekomendasi mengenai disiplin karyawan.”

“Ketika model menandai suatu interaksi,” kata Schumann, “model tersebut memberikan konteks penuh seputar apa yang terjadi dan kebijakan apa yang menyebabkannya, memberikan tim investigasi informasi yang mereka perlukan untuk memutuskan langkah selanjutnya yang selaras dengan kebijakan perusahaan dan hukum.”

LIHAT: AI ‘benar-benar dipertaruhkan di sini’ dengan adanya PHK teknologi baru-baru ini