trkod.tr — Türkçe Kılavuzlar

Windows Üzerinde llama.cpp Kurulumu ve Derleme Rehberi (CMake & w64devkit)

Bu sayfayı ekleyen: #Netler

llama.cpp, büyük dil modellerini (LLM) minimum kaynak tüketimiyle yerel donanımınızda çalıştırmanızı sağlayan yüksek performanslı bir C/C++ kütüphanesidir. Windows üzerinde en yüksek performansı elde etmek ve en güncel özelliklerden yararlanmak için projeyi doğrudan kaynak kodundan derlemek en sağlıklı yöntemdir.

Bu rehberde, Windows ortamında w64devkit (taşınabilir C/C++ geliştirme ortamı) ve CMake kullanarak llama.cpp'yi adım adım nasıl derleyeceğinizi öğreneceksiniz.


1. Ön Gereksinimler

Derleme işlemine başlamadan önce aşağıdaki araçların kurulu veya indirilmiş olması gerekir:

  1. Git for Windows: Kaynak kodları klonlamak için gereklidir. git-scm.com adresinden indirebilirsiniz.
  2. CMake: Derleme dosyalarını oluşturmak için en az CMake 3.14 veya üstü gereklidir. cmake.org adresinden "Windows x64 Installer" sürümünü indirin. Kurulum sırasında "Add CMake to system PATH" seçeneğini işaretlemeyi unutmayın.
  3. w64devkit: Windows için hafif ve taşınabilir bir GCC/MinGW-w64 derleyici paketidir. Kurulum gerektirmez, taşınabilir (portable) olarak çalışır.

2. w64devkit Kurulumu ve Ortam Hazırlığı

  1. w64devkit GitHub Releases sayfasına gidin.
  2. En güncel w64devkit-x.x.x.zip arşivini indirin.
  3. İndirdiğiniz zip dosyasını kolay erişebileceğiniz bir dizine çıkartın (Örnek: C:\w64devkit).
  4. Ortam Değişkeni (PATH) Ekleme (İsteğe bağlı ancak önerilir):
    • Windows Başlat menüsüne Ortam Değişkenleri yazın ve açın.
    • Sistem Değişkenleri panelinde Path satırını seçip Düzenle butonuna tıklayın.
    • Yeni butonuna basarak derleyicinin bin dizinini ekleyin: C:\w64devkit\bin
    • Değişiklikleri kaydedip çıkın.

İpucu: PATH eklemek istemiyorsanız, doğrudan C:\w64devkit\w64devkit.exe dosyasını çalıştırarak tüm GCC araçlarının hazır olduğu entegre bir komut satırı terminali açabilirsiniz.


3. llama.cpp Kaynak Kodunu İndirme

Bir terminal (PowerShell veya Komut İstemi) açın ve projeyi yerleştirmek istediğiniz dizine geçin:

Bash
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp

Alt modüllerin veya güncellemelerin tam olduğundan emin olmak için şu komutu çalıştırabilirsiniz:

Bash
git submodule update --init --recursive

4. Derleme Yöntemleri

Yöntem A: w64devkit Doğrudan Make ile (En Hızlı Yöntem)

Eğer sadece temel CPU desteğiyle hızlıca çalıştırmak istiyorsanız, w64devkit içinde bulunan make aracını doğrudan kullanabilirsiniz:

  1. C:\w64devkit\w64devkit.exe dosyasını açın.
  2. llama.cpp dizinine gidin:
Bash
   cd /c/llama.cpp
  1. İşlemci çekirdek sayınıza göre derlemeyi başlatın (Örneğin 8 çekirdek için):
Bash
   make -j8

Derleme tamamlandığında llama-cli.exe ve llama-server.exe doğrudan ana dizinde oluşacaktır.


Yöntem B: CMake ve MinGW (Önerilen Modern Yöntem)

CMake, AVX komut setlerini ve isteğe bağlı donanım optimizasyonlarını daha kontrollü yönetmenizi sağlar.

  1. PowerShell veya Komut İstemi'ni açıp llama.cpp klasörüne girin:
   cd C:\llama.cpp
  1. Derleme yapılandırmasını oluşturun:
   cmake -B build -G "MinGW Makefiles" -DCMAKE_BUILD_TYPE=Release
  1. Derleme işlemini yürütün:
   cmake --build build --config Release -j

Tamamlanan çalıştırılabilir dosyalar build/bin/ dizini altında yer alacaktır:


(İsteğe Bağlı) NVIDIA GPU (CUDA) Desteği ile Derleme

Eğer bilgisayarınızda NVIDIA bir ekran kartı ve CUDA Toolkit kuruluysa, GPU hızlandırmasından faydalanmak için GGML_CUDA=ON bayrağını kullanabilirsiniz:

cmake -B build-cuda -G "MinGW Makefiles" -DGGML_CUDA=ON -DCMAKE_BUILD_TYPE=Release
cmake --build build-cuda --config Release -j

5. Kurulumun Doğrulanması

Derlemenin başarıyla tamamlandığını test etmek için sürüm ve yardım çıktısını kontrol edin:

.\build\bin\llama-cli.exe --help

Ekranda kullanım parametreleri listeleniyorsa, llama.cpp Windows ortamınızda başarıyla hazır hale gelmiş demektir. Artık bir GGUF modelini indirip doğrudan yerel olarak çalıştırmaya başlayabilirsiniz.

Yorumlar (0)

Henüz yorum yok. İlk yorumu siz yapın!

Yorum Yap

Yorum yapmak için giriş yapın veya kayıt olun.