Microsoft meluncurkan dua chip pada konferensi Ignite di Seattle pada hari Rabu.
Yang pertama, chip kecerdasan buatan Maia 100 miliknya, mampu bersaing Yang dari Nvidia unit pemrosesan grafis AI yang sangat dicari. Yang kedua, chip Cobalt 100 Arm, ditujukan untuk tugas komputasi umum dan dapat bersaing dengan prosesor Intel.
Perusahaan-perusahaan teknologi yang kaya akan uang mulai memberikan pelanggan mereka lebih banyak pilihan untuk infrastruktur cloud yang dapat mereka gunakan untuk menjalankan aplikasi. Ali Baba, Amazon dan Google telah melakukan ini selama bertahun-tahun. Microsoft, dengan uang tunai sekitar $144 miliar pada akhir Oktober, memiliki 21,5% pangsa pasar cloud pada tahun 2022, hanya tertinggal dari Amazon, menurut sebuah perkiraan.
Mesin virtual yang berjalan pada chip Cobalt akan tersedia secara komersial melalui cloud Azure Microsoft pada tahun 2024, kata Rani Borkar, wakil presiden perusahaan, kepada CNBC dalam sebuah wawancara. Dia tidak memberikan batas waktu perilisan Maia 100.
Google mengumumkan unit pemrosesan tensor aslinya untuk AI pada tahun 2016. Amazon Layanan Web meluncurkan chip berbasis Graviton Arm dan prosesor Inferentia AI pada tahun 2018, dan mengumumkan Trainium, untuk model pelatihan, pada tahun 2020.
Chip AI khusus dari penyedia cloud dapat membantu memenuhi permintaan ketika terjadi kekurangan GPU. Namun Microsoft dan rekan-rekannya di bidang komputasi awan tidak berencana mengizinkan perusahaan membeli server yang berisi chip mereka, tidak seperti Nvidia atau AMD.
Perusahaan membangun chipnya untuk komputasi AI berdasarkan masukan pelanggan, jelas Borkar.
Microsoft sedang menguji bagaimana Maia 100 memenuhi kebutuhan chatbot AI mesin pencari Bing (sekarang disebut Copilot, bukan Bing Chat), asisten pengkodean GitHub Copilot, dan GPT-3.5-Turbo, model bahasa utama OpenAI yang didukung Microsoft, Borkar dikatakan. OpenAI telah memberi model bahasanya sejumlah besar informasi dari Internet, dan mereka dapat menghasilkan pesan email, meringkas dokumen, dan menjawab pertanyaan dengan beberapa kata instruksi manusia.
Model GPT-3.5-Turbo berfungsi di asisten ChatGPT OpenAI, yang menjadi populer segera setelah tersedia tahun lalu. Kemudian perusahaan bergerak cepat untuk menambahkan kemampuan obrolan serupa ke perangkat lunak mereka, sehingga meningkatkan permintaan akan GPU.
“Kami telah bekerja secara menyeluruh dan (dengan) semua pemasok kami yang berbeda untuk membantu meningkatkan posisi pasokan kami dan mendukung banyak pelanggan kami serta permintaan yang mereka berikan kepada kami,” Colette Kress, chief financial officer Nvidia , mengatakan pada konferensi Evercore di New York pada bulan September.
OpenAI sebelumnya melatih model pada GPU Nvidia di Azure.
Selain merancang chip Maia, Microsoft merancang perangkat keras berpendingin cairan khusus yang disebut Sidekicks yang dapat ditempatkan di rak tepat di sebelah rak yang berisi server Maia. Perusahaan dapat memasang rak server dan rak Sidekick tanpa memerlukan retrofit, kata juru bicara.
Dengan GPU, memanfaatkan ruang pusat data yang terbatas dapat menghadirkan tantangan. Perusahaan terkadang menempatkan beberapa server yang berisi GPU di bagian bawah rak sebagai “yatim piatu” untuk mencegah panas berlebih, daripada mengisi rak dari atas ke bawah, kata Steve Tuck, salah satu pendiri dan CEO Oxide Computer. Perusahaan terkadang menambahkan sistem pendingin untuk mengurangi suhu, kata Tuck.
Microsoft mungkin melihat adopsi prosesor Cobalt lebih cepat daripada chip Maia AI jika pengalaman Amazon bisa menjadi panduannya. Microsoft sedang menguji aplikasi Teams dan layanan database Azure SQL di Cobalt. Sejauh ini, kinerjanya 40% lebih baik daripada chip berbasis Arm Azure yang sudah ada, yang berasal dari startup Ampere, kata Microsoft.
Dalam satu setengah tahun terakhir, seiring dengan naiknya harga dan suku bunga, banyak perusahaan mencari metode untuk membuat belanja cloud mereka lebih efisien, dan bagi pelanggan AWS, Graviton adalah salah satunya. Seluruh 100 pelanggan teratas AWS kini menggunakan chip berbasis Arm, yang dapat memberikan peningkatan kinerja harga sebesar 40%, kata wakil presiden Dave Brown.
Namun, berpindah dari GPU ke chip AI AWS Trainium bisa lebih rumit daripada bermigrasi dari Intel Xeon ke Gravitons. Setiap model AI memiliki keunikannya masing-masing. Banyak orang telah berupaya membuat berbagai alat berfungsi di Arm karena kemunculannya di perangkat seluler, dan hal tersebut tidak berlaku pada silikon untuk AI, kata Brown. Namun seiring berjalannya waktu, katanya, ia memperkirakan organisasi akan melihat peningkatan harga dan kinerja yang serupa dengan Trainium dibandingkan dengan GPU.
“Kami telah membagikan spesifikasi ini dengan ekosistem dan banyak mitra kami di ekosistem, sehingga menguntungkan semua pelanggan Azure kami,” katanya.
Borkar mengatakan dia tidak memiliki rincian tentang kinerja Maia dibandingkan dengan alternatif seperti H100 dari Nvidia. Nvidia mengatakan pada hari Senin bahwa H200-nya akan mulai dikirimkan pada kuartal kedua tahun 2024.
LIHAT: Nvidia membukukan kenaikan selama 10 hari berturut-turut, didorong oleh pengumuman chip AI baru
