trkod.tr — Türkçe Kılavuzlar

llama.cpp Sistem Gereksinimleri

Bu sayfayı ekleyen: #Netler

llama.cpp, LLM (Büyük Dil Modelleri) çalıştırmak için optimize edilmiş, C/C++ ile yazılmış yüksek performanslı bir çıkarım (inference) motorudur. Düşük sistem kaynaklarında bile yüksek verimlilik sunacak şekilde tasarlanmıştır.

Bu doküman, llama.cpp çalıştırmak için gereken minimum ve önerilen sistem gereksinimlerini, quantization (nicemleme) boyutlarına göre bellek gereksinimlerini ve platform spesifik optimizasyonları detaylandırmaktadır.


1. Genel Sistem Gereksinimleri Overview

BileşenMinimum GereksinimÖnerilen Gereksinim
İşletim SistemiWindows 10/11, macOS 11+, Linux (Ubuntu 20.04+)Windows 11, macOS 14+ (Apple Silicon), Ubuntu 22.04 LTS
İşlemci (CPU)AVX desteği olan x86_64 işlemci veya ARM64AVX2 / AVX-512 / AMX destekli modern CPU (Intel 12. Gen+ / AMD Ryzen 5000+)
Sistem Belleği (RAM)8 GB RAM16 GB - 64 GB+ RAM (Model boyutuna bağlı)
Grafik Kartı (GPU)Opsiyonel (Yalnızca CPU ile çalışabilir)NVIDIA RTX 30/40 serisi (CUDA) veya Apple M Serisi (Metal)
DepolamaSSD (Model boyutuna bağlı min. 10 GB boş alan)NVMe M.2 SSD (Yüksek okuma/yazma hızı)
Derleyici (Compile için)GCC 8+, Clang 6+, MSVC 2019+CMake 3.18+, en güncel GCC/Clang/MSVC

2. Model Boyutlarına Göre RAM / VRAM Gereksinimleri

llama.cpp modelleri genellikle GGUF formatında ve farklı nicemleme (quantization) seviyelerinde kullanılır. Model parametre sayısı ($B = \text{Billion}$) ve quant seviyesi bellek ihtiyacını doğrudan belirler.

Not: Model yükleme esnasında ek olarak bağlam penceresi (context size - $KV\text{ cache}$) için RAM/VRAM gereklidir (Genellikle extra +1 GB ile 4 GB arası).

7B (7 Milyar Parametreli Modeller - Örn: Llama 2/3 8B, Mistral 7B)

13B / 14B (13-14 Milyar Parametreli Modeller)

30B / 34B (30-34 Milyar Parametreli Modeller)

70B (70 Milyar Parametreli Modeller - Örn: Llama 3 70B)


3. Donanım Mimarilerine Göre Gereksinimler ve Destekler

A. Apple Silicon (MacBook M1/M2/M3/M4)

llama.cpp, Apple Silicon chiplerinde Metal API desteği sayesinde son derece verimlidir. Sistem belleği (Unified Memory) hem CPU hem GPU tarafından ortak kullanılır.

B. NVIDIA GPUs (CUDA)

Model katmanlarını GPU'ya aktarmak (-ngl / --n-gpu-layers parametresi) işlem hızını devasa oranda artırır.

C. AMD GPUs (ROCm / Vulkan)

D. CPU Yanı (x86 / ARM)

Sadece CPU üzerinde çalıştırılacaksa:


4. Yazılım ve Bağımlılık Gereksinimleri

llama.cpp reposunu kaynak koddan derlemek veya hazır binary çalıştırmak için gereken yazılımsal altyapı:

Derleme Altyapısı (Source Build)


5. Performans Optimizasyonu İpuçları

  1. Katman Paylaşımı (Offloading): VRAM boyutunuz modelin tamamına yetmiyorsa, katmanların bir kısmını GPU'ya, kalanını RAM/CPU'ya verebilirsiniz (--n-gpu-layers).
  2. Flash Attention: --flash-attn parametresi ile bellek kullanımını azaltıp çıkarım hızını artırabilirsiniz (Destekleyen GPU'larda).
  3. Thread Ayarı: CPU kullanımında izlek sayısı (-t / --threads), işlemcinin fiziksel çekirdek sayısına eşitlenmelidir (Hyperthreading/Logical cores hariç).
  4. mmap Desteği: --mmap kullanımı modellerin diskten belleğe çok daha hızlı yüklenmesini sağlar.

Yorumlar (0)

Henüz yorum yok. İlk yorumu siz yapın!

Yorum Yap

Yorum yapmak için giriş yapın veya kayıt olun.