llama.cpp Sistem Gereksinimleri
Bu sayfayı ekleyen: #Netler
llama.cpp, LLM (Büyük Dil Modelleri) çalıştırmak için optimize edilmiş, C/C++ ile yazılmış yüksek performanslı bir çıkarım (inference) motorudur. Düşük sistem kaynaklarında bile yüksek verimlilik sunacak şekilde tasarlanmıştır.
Bu doküman, llama.cpp çalıştırmak için gereken minimum ve önerilen sistem gereksinimlerini, quantization (nicemleme) boyutlarına göre bellek gereksinimlerini ve platform spesifik optimizasyonları detaylandırmaktadır.
1. Genel Sistem Gereksinimleri Overview
| Bileşen | Minimum Gereksinim | Önerilen Gereksinim |
|---|---|---|
| İşletim Sistemi | Windows 10/11, macOS 11+, Linux (Ubuntu 20.04+) | Windows 11, macOS 14+ (Apple Silicon), Ubuntu 22.04 LTS |
| İşlemci (CPU) | AVX desteği olan x86_64 işlemci veya ARM64 | AVX2 / AVX-512 / AMX destekli modern CPU (Intel 12. Gen+ / AMD Ryzen 5000+) |
| Sistem Belleği (RAM) | 8 GB RAM | 16 GB - 64 GB+ RAM (Model boyutuna bağlı) |
| Grafik Kartı (GPU) | Opsiyonel (Yalnızca CPU ile çalışabilir) | NVIDIA RTX 30/40 serisi (CUDA) veya Apple M Serisi (Metal) |
| Depolama | SSD (Model boyutuna bağlı min. 10 GB boş alan) | NVMe M.2 SSD (Yüksek okuma/yazma hızı) |
| Derleyici (Compile için) | GCC 8+, Clang 6+, MSVC 2019+ | CMake 3.18+, en güncel GCC/Clang/MSVC |
2. Model Boyutlarına Göre RAM / VRAM Gereksinimleri
llama.cpp modelleri genellikle GGUF formatında ve farklı nicemleme (quantization) seviyelerinde kullanılır. Model parametre sayısı ($B = \text{Billion}$) ve quant seviyesi bellek ihtiyacını doğrudan belirler.
Not: Model yükleme esnasında ek olarak bağlam penceresi (context size - $KV\text{ cache}$) için RAM/VRAM gereklidir (Genellikle extra +1 GB ile 4 GB arası).
7B (7 Milyar Parametreli Modeller - Örn: Llama 2/3 8B, Mistral 7B)
- Q4_K_M (4-bit - Önerilen Denge): ~5.5 GB RAM/VRAM
- Q8_0 (8-bit - Yüksek Hassasiyet): ~8.5 GB RAM/VRAM
- FP16 (16-bit - Sıkıştırmasız): ~14 - 16 GB RAM/VRAM
13B / 14B (13-14 Milyar Parametreli Modeller)
- Q4_K_M (4-bit): ~9.5 GB RAM/VRAM
- Q8_0 (8-bit): ~15 GB RAM/VRAM
- FP16 (16-bit): ~28 GB RAM/VRAM
30B / 34B (30-34 Milyar Parametreli Modeller)
- Q4_K_M (4-bit): ~20 GB RAM/VRAM
- Q8_0 (8-bit): ~35 GB RAM/VRAM
70B (70 Milyar Parametreli Modeller - Örn: Llama 3 70B)
- Q4_K_M (4-bit): ~43 GB RAM/VRAM
- Q8_0 (8-bit): ~73 GB RAM/VRAM
3. Donanım Mimarilerine Göre Gereksinimler ve Destekler
A. Apple Silicon (MacBook M1/M2/M3/M4)
llama.cpp, Apple Silicon chiplerinde Metal API desteği sayesinde son derece verimlidir. Sistem belleği (Unified Memory) hem CPU hem GPU tarafından ortak kullanılır.
- Minimum: M1/M2/M3 Mac ile 8 GB Unified Memory (7B Q4 modeller için)
- Önerilen: M-Series Pro/Max/Ultra (32 GB, 64 GB veya 128 GB Unified Memory)
- Avantajı: Yüksek bellek bant genişliği ($400\text{ GB/s} - 800\text{ GB/s}$) sayesinde devasa modeller tek bir çip üzerinde hızlıca çalışabilir.
B. NVIDIA GPUs (CUDA)
Model katmanlarını GPU'ya aktarmak (-ngl / --n-gpu-layers parametresi) işlem hızını devasa oranda artırır.
- Minimum: NVIDIA GTX 1060 (6 GB VRAM) veya üzeri
- Önerilen: RTX 3060 (12 GB), RTX 4070 (12 GB/16 GB), RTX 3090/4090 (24 GB)
- Kurulum Gereksinimi: CUDA Toolkit 11.7+ ve güncel NVIDIA sürücüleri.
C. AMD GPUs (ROCm / Vulkan)
- Linux: ROCm desteği ile RX 6000/7000 serisi kartlar yüksek performans verir.
- Windows/Linux (Vulkan): ROCm desteklenmeyen sistemlerde Vulkan backend kullanılabilir.
D. CPU Yanı (x86 / ARM)
Sadece CPU üzerinde çalıştırılacaksa:
- Komut Seti Desteği: İşlemcinizin AVX, AVX2, AVX-512 veya ARM NEON desteklemesi gerekmektedir.
- RAM Bant Genişliği: CPU modunda hız kısıtlayıcı ana faktör işlemci hızı değil, RAM bant genişliğidir (Dual-channel veya Quad-channel DDR4/DDR5 önerilir).
4. Yazılım ve Bağımlılık Gereksinimleri
llama.cpp reposunu kaynak koddan derlemek veya hazır binary çalıştırmak için gereken yazılımsal altyapı:
Derleme Altyapısı (Source Build)
- Git
- CMake (v3.18 veya daha yeni bir sürüm)
- C++17 Destekli Derleyici:
- Windows: Visual Studio 2019/2022 (Desktop development with C++) veya MinGW-w64
- Linux: GCC veya Clang
- macOS: Xcode Command Line Tools
5. Performans Optimizasyonu İpuçları
- Katman Paylaşımı (Offloading): VRAM boyutunuz modelin tamamına yetmiyorsa, katmanların bir kısmını GPU'ya, kalanını RAM/CPU'ya verebilirsiniz (
--n-gpu-layers). - Flash Attention:
--flash-attnparametresi ile bellek kullanımını azaltıp çıkarım hızını artırabilirsiniz (Destekleyen GPU'larda). - Thread Ayarı: CPU kullanımında izlek sayısı (
-t/--threads), işlemcinin fiziksel çekirdek sayısına eşitlenmelidir (Hyperthreading/Logical cores hariç). - mmap Desteği:
--mmapkullanımı modellerin diskten belleğe çok daha hızlı yüklenmesini sağlar.
Yorumlar (0)
Henüz yorum yok. İlk yorumu siz yapın!
Yorum Yap
Yorum yapmak için giriş yapın veya kayıt olun.