Di sebuah gedung perkantoran tak bertanda di Austin, Texas, dua ruangan kecil berisi beberapa orang Amazon karyawan merancang dua jenis microchip untuk pelatihan dan mempercepat AI generatif. Chip khusus ini, Inferentia dan Trainium, memberi pelanggan AWS alternatif untuk melatih model bahasa besar mereka Nvidia GPU, yang menjadi sulit dan mahal untuk diperoleh.
“Seluruh dunia menginginkan lebih banyak chip untuk melakukan AI generatif, apakah itu GPU atau apakah itu chip Amazon sendiri yang kami rancang,” CEO Amazon Web Services Adam Selipsky mengatakan kepada CNBC dalam sebuah wawancara. “Saya pikir kami berada dalam posisi yang lebih baik daripada siapa pun di Bumi untuk menyediakan kapasitas yang diinginkan oleh pelanggan kami secara kolektif.”
Yang lain lagi telah bergerak lebih cepat dan berinvestasi lebih banyak untuk mengeluarkan bisnis dari ledakan AI generatif. Ketika OpenAI meluncurkan ChatGPT pada bulan November, Microsoft mendapat perhatian luas karena menghadirkan chatbot viral dan investasi $13 miliar di OpenAI. Itu dengan cepat menambahkan model AI generatif ke produknya sendiri dan memasukkannya ke Bing pada bulan Februari.
bulan yang sama, Google meluncurkan model bahasa utamanya sendiri, Bard, diikuti dengan investasi $300 juta di pesaing OpenAI, Anthropic.
Baru pada bulan April Amazon mengumumkan keluarga model bahasa besarnya sendiri, yang disebut Titan, bersama dengan layanan yang disebut Bedrock untuk membantu pengembang meningkatkan perangkat lunak menggunakan AI generatif.
“Amazon tidak terbiasa mengejar pasar. Amazon terbiasa menciptakan pasar. Dan saya pikir untuk pertama kalinya dalam waktu yang lama, mereka mendapati diri mereka berada di belakang dan pekerjaan mereka untuk bermain mengejar ketinggalan,” kata Chirag Dekate, VP Analis di Gartner.
Meta juga baru-baru ini merilis LLM-nya sendiri, Llama 2. Pesaing ChatGPT open source sekarang tersedia untuk diuji di cloud publik Microsoft Azure.
Keripik sebagai ‘diferensiasi sejati’
Dalam jangka panjang, kata Dekate, silikon khusus Amazon dapat memberikan keunggulan dalam AI generatif.
“Saya pikir perbedaan sebenarnya adalah kemampuan teknis yang mereka bawa,” katanya. “Karena coba tebak? Microsoft tidak punya Trainium atau Inferentia,” ujarnya.
AWS diam-diam mulai memproduksi silikon khusus pada tahun 2013 dengan perangkat keras khusus yang disebut Nitro. Sekarang chip AWS volume tertinggi. Amazon memberi tahu CNBC setidaknya ada satu di setiap server AWS, dengan total lebih dari 20 juta yang digunakan.
AWS mulai memproduksi silikon khusus pada tahun 2013 dengan perangkat keras khusus yang disebut Nitro. Amazon mengatakan kepada CNBC pada bulan Agustus bahwa Nitro sekarang adalah chip AWS volume tertinggi, dengan setidaknya satu di setiap server AWS dan total lebih dari 20 juta digunakan.
Terima kasih Amazon
Pada 2015, Amazon membeli startup chip Israel Annapurna Labs. Kemudian pada tahun 2018, Amazon meluncurkan chip server berbasis Arm, Graviton, pesaing CPU x86 dari raksasa seperti AMD Dan Intel.
“Mungkin satu digit tinggi hingga mungkin 10% dari total penjualan server adalah Arm, dan sebagian besar dari itu adalah Amazon. Jadi di sisi CPU, mereka melakukannya dengan cukup baik,” kata Stacy Rasgon, analis senior di Bernstein Riset.
Juga di tahun 2018, Amazon meluncurkan chip yang berfokus pada AI. Ini terjadi dua tahun setelah Google mengumumkan Unit Prosesor Tensor, atau TPU pertamanya. Microsoft belum mengumumkan chip Athena AI yang sedang dikerjakannya, kabarnya bermitra dengan AMD.
CNBC mengadakan tur di balik layar laboratorium chip Amazon di Austin, Texas, tempat Trainium dan Inferentia dikembangkan dan diuji. VP Produk Matt Wood menjelaskan kegunaan kedua chip tersebut.
“Pembelajaran mesin dipecah menjadi dua tahap berbeda ini. Jadi Anda melatih model pembelajaran mesin dan kemudian Anda membuat kesimpulan terhadap model yang dilatih itu,” kata Wood. “Trainium menawarkan sekitar 50% peningkatan dalam hal performa harga dibandingkan dengan cara lain untuk melatih model pembelajaran mesin di AWS.”
Trainium pertama kali memasuki pasar pada tahun 2021, setelah rilis Inferentia tahun 2019, yang sekarang menjadi generasi keduanya.
Inferentia memungkinkan pelanggan “untuk memberikan inferensi pembelajaran mesin yang sangat, sangat murah, throughput tinggi, latensi rendah, yang merupakan semua prediksi dari saat Anda mengetik insentif ke dalam model AI generatif Anda, di situlah semua diproses untuk memberi Anda jawabannya,” kata Wood.
Namun, untuk saat ini, GPU Nvidia masih menjadi raja dalam hal model pelatihan. Pada bulan Juli, AWS memperkenalkan perangkat keras akselerasi AI baru yang ditenagai oleh Nvidia H100s.
“Chip NVIDIA memiliki ekosistem perangkat lunak masif yang dibangun di sekitarnya selama 15 tahun terakhir yang tidak dimiliki orang lain,” kata Rasgon. “Pemenang besar dalam AI saat ini adalah Nvidia.”
Chip khusus Amazon, dari kiri ke kanan, Inferentia, Trainium, dan Graviton ditampilkan di kantor pusat Amazon di Seattle pada 13 Juli 2023.
Joseph Huerta
Gunakan dominasi awan
Namun, dominasi cloud AWS merupakan pembeda besar bagi Amazon.
“Amazon tidak perlu memenangkan berita utama. Amazon sudah memiliki basis penginstalan cloud yang sangat kuat. Yang perlu mereka lakukan hanyalah mencari cara untuk memungkinkan pelanggan mereka yang sudah ada untuk memperluas ke gerakan penciptaan nilai menggunakan AI generatif,” kata Dekate.
Saat memilih antara Amazon, Google, dan Microsoft untuk AI generatif, ada jutaan pelanggan AWS yang mungkin tertarik ke Amazon karena mereka sudah terbiasa dengannya, menggunakan aplikasi lain, dan menyimpan data mereka di sana.
“Ini masalah kecepatan. Seberapa cepat perusahaan ini dapat bergerak untuk mengembangkan aplikasi AI generatif ini didorong dengan terlebih dahulu memulai dengan data yang mereka miliki di AWS dan menggunakan alat komputasi dan pembelajaran mesin yang kami sediakan,” jelas Mai-Lan Tomsen Bukovec, VP teknologi di AWS.
AWS adalah penyedia komputasi awan terbesar di dunia, dengan 40% pangsa pasar pada tahun 2022, menurut peneliti industri teknologi Gartner. Meskipun pendapatan operasional turun dari tahun ke tahun selama tiga kuartal berturut-turut, AWS masih menyumbang 70% dari keseluruhan laba operasional Amazon sebesar $7,7 miliar pada kuartal kedua. Margin operasi AWS secara historis jauh lebih luas daripada di Google Cloud.
AWS juga memiliki portofolio alat pengembang yang terus berkembang yang berfokus pada AI generatif.
“Mari kita memutar balik waktu bahkan sebelum ChatGPT. Tidak seperti setelah itu terjadi, tiba-tiba kita terburu-buru dan membuat rencana, karena Anda tidak dapat mendesain chip dalam waktu secepat itu, apalagi mengatakan Anda tidak bisa membangun layanan Bedrock dalam hitungan 2 hingga 3 bulan,” ujar Swami Sivasubramanian, VP database, analitik, dan pembelajaran mesin AWS.
Bedrock memberi pelanggan AWS akses ke model bahasa besar yang dibuat oleh Anthropic, Stability AI, AI21 Labs, dan Titan milik Amazon.
“Kami tidak percaya bahwa satu model akan menguasai dunia, dan kami ingin pelanggan kami memiliki model modern dari beberapa pemasok, karena mereka akan memilih alat yang tepat untuk pekerjaan yang tepat,” kata Sivasubramanian.
Seorang karyawan Amazon mengerjakan chip AI khusus, mengenakan jaket bertanda chip AWS Inferentia, di lab chip AWS di Austin, Texas, pada 25 Juli 2023.
Katya Tarasov
Salah satu penawaran AI terbaru dari Amazon adalah AWS HealthScribe, layanan yang diluncurkan pada bulan Juli untuk membantu dokter menyiapkan ringkasan kunjungan pasien menggunakan AI generatif. Amazon juga memiliki SageMaker, pusat pembelajaran mesin yang menawarkan algoritme, model, dan lainnya.
Alat hebat lainnya adalah pendamping pengkodean CodeWhisperer, yang menurut Amazon telah memungkinkan pengembang menyelesaikan tugas rata-rata 57% lebih cepat. Tahun lalu, Microsoft juga melaporkan peningkatan produktivitas dari pendamping pengkodeannya, GitHub Copilot.
Pada bulan Juni, AWS mengumumkan “pusat” inovasi AI generatif senilai $100 juta.
“Kami memiliki begitu banyak pelanggan yang mengatakan, ‘Saya ingin melakukan AI generatif,’ tetapi mereka belum tentu tahu apa artinya bagi mereka dalam konteks bisnis mereka sendiri. Jadi kami akan menghadirkan arsitek solusi. dan insinyur dan ahli strategi dan ilmuwan data untuk bekerja dengan mereka secara pribadi,” kata CEO AWS Selipsky.
Meskipun AWS sejauh ini sebagian besar berfokus pada alat alih-alih membangun pesaing untuk ChatGPT, email internal baru-baru ini menunjukkan bahwa CEO Amazon Andy Jassy juga secara langsung mengawasi tim pusat baru yang membangun model bahasa besar yang ekstensif.
Dalam panggilan pendapatan kuartal kedua, Jassy mengatakan bahwa “jumlah yang sangat signifikan” dari bisnis AWS sekarang didukung oleh AI dan lebih dari 20 layanan pembelajaran mesin yang ditawarkannya. Beberapa contoh klien termasuk Philips, 3M, Old Mutual dan HSBC.
Pertumbuhan eksplosif dalam AI datang dengan kekhawatiran keamanan dari perusahaan yang khawatir bahwa karyawan memasukkan informasi hak milik ke dalam data pelatihan yang digunakan oleh model bahasa besar publik.
“Saya tidak dapat memberi tahu Anda berapa banyak perusahaan Fortune 500 yang telah saya ajak bicara yang telah melarang ChatGPT. Jadi dengan pendekatan kami terhadap AI generatif dan layanan Bedrock kami, apa pun yang Anda lakukan, model apa pun yang Anda gunakan melalui Bedrock, jadilah terisolasi lingkungan cloud pribadi virtual. Itu akan dienkripsi, itu akan memiliki kontrol akses AWS yang sama,” kata Selipsky.
Untuk saat ini, Amazon hanya mempercepat dorongannya ke AI generatif, mengatakan kepada CNBC bahwa “lebih dari 100.000” pelanggan menggunakan pembelajaran mesin di AWS hari ini. Meskipun itu adalah persentase kecil dari jutaan pelanggan AWS, analis mengatakan hal itu dapat berubah.
“Apa yang tidak kami lihat adalah perusahaan berkata, ‘Oh, tunggu sebentar, Microsoft sangat unggul dalam AI generatif, ayo keluar dan ubah strategi infrastruktur kita, migrasikan semuanya ke Microsoft.’ Dekate berkata, “Jika Anda sudah menjadi pelanggan Amazon, kemungkinan besar Anda mungkin akan menjelajahi ekosistem Amazon secara luas.”
— Jordan Novet dari CNBC berkontribusi pada laporan ini.
KOREKSI: Artikel ini telah diperbarui untuk mencerminkan Inferentia sebagai chip yang digunakan untuk inferensi pembelajaran mesin.
