Büyük dil modelleri ve üretken yapay zekâ ile çalışmak, uzun süre ya pahalı bulut sunucuları ya da veri merkezi donanımı gerektirdi. NVIDIA DGX Spark, NVIDIA'nın veri merkezlerinde kullanılan yapay zekâ altyapısını masaüstüne sığdıran, avuç içi büyüklüğünde bir yapay zekâ süper bilgisayarıdır.
1. DGX Spark Nedir?
DGX Spark, NVIDIA GB10 Grace Blackwell Superchip üzerine kuruludur. Bu tek yonga; 20 çekirdekli Arm işlemciyi (10 Cortex-X925 ve 10 Cortex-A725 çekirdek) ve 5. nesil Tensor çekirdeklerine sahip Blackwell grafik işlemciyi bir araya getirir. Cihaz, FP4 hassasiyette 1 petaFLOP'a kadar yapay zekâ performansı sunar.
- Bellek: 128 GB birleşik (unified) LPDDR5X sistem belleği, 273 GB/s bant genişliği
- Depolama: 4 TB'a kadar kendinden şifreli M.2 NVMe SSD
- Ağ: 200 Gbps NVIDIA ConnectX-7, 10 GbE Ethernet, Wi-Fi 7, Bluetooth 5.4
- Bağlantılar: 4 adet USB-C, HDMI 2.1a
- Boyut ve ağırlık: 150 × 150 × 50,5 mm, 1,2 kg
- Güç: 240 W harici güç adaptörü
2. 128 GB Birleşik Bellek Neden Önemli?
Yapay zekâ modellerinde çoğu zaman belirleyici olan işlem gücü değil, modelin belleğe sığıp sığmadığıdır. Klasik bir bilgisayarda model, ekran kartının kendi belleğine sığmak zorundadır. DGX Spark'ta ise işlemci ve grafik işlemci aynı 128 GB belleği ortak kullanır. Bu sayede tek bir cihazda 200 milyar parametreye kadar yapay zekâ modelleri çalıştırılabilir, denenebilir ve ince ayar yapılabilir.
3. Kimler İçin Uygun?
- Yapay zekâ geliştiricileri ve yazılım ekipleri: Modelleri bulut maliyeti ödemeden, kendi masasında deneyip geliştirmek isteyenler.
- Araştırmacılar ve üniversiteler: Laboratuvar ortamında büyük modellerle çalışmak, öğrencilere uygulamalı yapay zekâ eğitimi vermek isteyenler.
- Veri bilimciler: Büyük veri setleri üzerinde model eğitimi, ince ayar ve analiz yapanlar.
- Verisini dışarı çıkarmak istemeyen kurumlar: Müşteri, sağlık veya finans verileri gibi hassas bilgilerle çalışan şirketler ve kamu kurumları. Model yerelde çalıştığı için veriler kurum dışına çıkmaz; bu, KVKK uyumu açısından da önemli bir avantajdır.
4. Neler Yapılabilir?
- Yerel büyük dil modeli (LLM): Açık kaynaklı dil modellerini internete bağlı kalmadan, kurum içinde çalıştırmak.
- İnce ayar (fine-tuning): Hazır bir modeli şirketin kendi dokümanları, terimleri veya müşteri yazışmalarıyla özelleştirmek.
- Kurum içi asistanlar (RAG): Şirket dokümanları üzerinde soru-cevap yapan, kaynak gösteren yapay zekâ asistanları kurmak.
- Yapay zekâ ajanları: Birden fazla adımı kendi başına yürüten ajan uygulamalarını geliştirip test etmek.
- Görüntü ve video: Görüntü üretimi, görüntü işleme ve görüntü analizi modelleriyle çalışmak.
5. Yazılım: Kutudan Çıktığı Gibi Hazır
DGX Spark, Ubuntu tabanlı NVIDIA DGX OS işletim sistemi ve önceden yüklenmiş NVIDIA yapay zekâ yazılım yığınıyla gelir: CUDA, popüler yapay zekâ kütüphaneleri ve çerçeveleri ile hazır modelleri kolayca çalıştırmayı sağlayan NVIDIA NIM mikro servisleri. En önemli avantajlarından biri, DGX Spark'ta geliştirilen bir uygulamanın aynı NVIDIA yazılım altyapısı sayesinde daha büyük DGX sistemlerine veya buluta küçük değişikliklerle taşınabilmesidir.
Bilmeniz gereken bir nokta: İşlemci Arm mimarisindedir. Yapay zekâ yazılımlarının büyük çoğunluğu Arm üzerinde sorunsuz çalışır; ancak yalnızca x86 (Intel/AMD) için hazırlanmış özel bir yazılım kullanacaksanız uyumluluğunu önceden kontrol etmekte fayda var.
6. İki DGX Spark'ı Birleştirmek
Daha büyük modeller gerektiğinde iki DGX Spark, arka paneldeki ConnectX-7 bağlantı noktaları üzerinden 200 Gbps hızla birbirine bağlanabilir. Bu yapılandırmada 405 milyar parametreye kadar modeller çalıştırılabilir. Böylece ihtiyaç büyüdükçe yatırımı kademeli olarak artırmak mümkün olur.
7. DGX Spark mı, RTX PRO Ekran Kartlı İş İstasyonu mu?
- DGX Spark: Asıl gücü büyük bellek kapasitesidir. Belleğe sığmayan büyük modelleri tek, sessiz ve az enerji tüketen bir cihazda çalıştırmak için idealdir.
- RTX PRO ekran kartlı iş istasyonu: GDDR7 belleğin çok daha yüksek bant genişliği sayesinde belleğe sığan modellerde daha yüksek ham hız sunar. Yoğun eğitim, render ve simülasyon işleri için güçlü bir alternatiftir.
Doğru seçim, çalışacağınız modellerin boyutuna ve iş yükünüzün türüne bağlıdır. NVIDIA RTX PRO ekran kartları ve DGX Spark seçeneklerini birlikte inceleyebilirsiniz.
8. Kurulum ve Kullanım Ortamı
DGX Spark standart bir masaüstü ortamında çalışır; ayrı bir sunucu odası veya özel soğutma gerektirmez. NVIDIA'nın önerdiği çalışma sıcaklığı 5–30 °C aralığıdır. Cihazla birlikte gelen 240 W güç adaptörünün kullanılması gerekir; daha düşük güçte bir adaptör performansı düşürebilir veya cihazın açılmasını engelleyebilir. Ekran, klavye ve fare bağlanarak masaüstü bilgisayar gibi kullanılabileceği gibi ağ üzerinden uzaktan da erişilebilir.
Sonuç
NVIDIA DGX Spark; büyük yapay zekâ modellerini veri merkezine ya da buluta ihtiyaç duymadan, verinizi kurum içinde tutarak geliştirmenin en kompakt yoludur. Lusi Teknoloji, NVIDIA DGX çözüm entegratörü olarak kurulum, entegrasyon ve ihtiyaç büyüdüğünde daha büyük DGX altyapılarına geçiş konusunda destek verir. Projeniz hakkında görüşmek için bizimle iletişime geçebilirsiniz.
