Nvidias Digits adalah superkomputer AI kecil untuk meja Anda

Dengan semua perhatian tertuju pada kartu grafis baru Nvidia (dan untuk alasan yang bagus – kartu grafis ini cukup kuat), perusahaan ini merilis sesuatu yang mungkin akan menjadi berita yang lebih besar: Superkomputer AI pribadi bernama Project Digits (kita sebut saja Digits from sekarang karena itu jauh lebih keren).

Digits adalah komputer pribadi kecil mirip Mac mini yang dapat muat di hampir semua meja. Anda menyambungkannya ke keyboard dan monitor, mencolokkannya ke listrik, dan Anda siap menggunakannya.

Tapi apa yang ada di dalamnya membuatnya cukup istimewa. Digits didukung oleh GB10 Grace Blackwell Superchip baru dari Nvidia, yang memberikan kinerja AI hingga 1 petaflop, dan Nvidia bekerja sama dengan MediaTek untuk membuat chip tersebut lebih hemat energi, yang berarti bahwa menjalankannya memerlukan jenis daya yang Anda dapatkan dari standar. stopkontak.

GB10 dipasangkan dengan RAM 128GB dan penyimpanan NVMe hingga 4TB. Semua ini akan memungkinkan pengembang menjalankan model bahasa besar (LLM) hingga 200 miliar parameter. Dengan menggunakan teknologi Nvidia ConnectX, mereka juga dapat memasangkan dua komputer Digit untuk menjalankan model dengan parameter hingga 405 miliar.

Sebagian besar hal ini mungkin tidak masuk akal bagi orang-orang yang tidak berkecimpung dalam bisnis pengembangan aplikasi AI. Namun misalnya, ChatGPT 3.5 memiliki 175 miliar parameter (ChatGPT 4 jauh lebih besar tetapi kami tidak mengetahui angka pastinya), sedangkan LLM Meta yang paling kuat, Llama 3, memiliki 405 miliar parameter). Ini berarti Anda dapat menjalankan LLM yang sangat kuat di rumah daripada mengandalkan infrastruktur cloud.

“Menempatkan superkomputer AI di meja setiap data scientist, peneliti dan mahasiswa AI akan memberdayakan mereka untuk terlibat dan membentuk era AI,” kata Jensen Huang, pendiri dan CEO Nvidia, dalam keterangan tertulisnya.

Pengembang yang menggunakan Digits akan dapat mengakses perpustakaan perangkat lunak AI Nvidia termasuk kit pengembangan, alat orkestrasi, kerangka kerja, dan model yang tersedia di katalog Nvidia NGC dan di portal Pengembang Nviia. Mereka juga akan memiliki akses ke kerangka Nvidia NeMo, dan perpustakaan Nvidia RAPIDS.

Berita terbesar di sini mungkin adalah harganya. Digit akan tersedia pada bulan Mei, mulai dari $3.000. Dana sebesar ini seharusnya dapat digunakan oleh sejumlah besar perusahaan kecil dan peneliti, yang akan menggunakannya untuk membuat dan menguji aplikasi AI.

Jika ini masih terdengar terlalu mahal, Anda bisa mencoba Jetson dari Nvidia. Ini adalah komputer rumah AI seharga $249 yang diluncurkan Desember lalu, dan dapat menangani hingga 8 miliar parameter.

Mashable tayang langsung di CES 2025! Kami meliput semua perkembangan paling liar dan paling penting minggu ini, jadi silakan terus periksa kembali bersama kami. Ingin mengirimkan produk yang Anda wakili untuk dipertimbangkan tim kami saat kami mengidentifikasi CES Terbaik? Berikut info lebih lanjut tentang cara melakukannya.