Windows Üzerinde llama.cpp Kurulumu ve Derleme Rehberi (CMake & w64devkit)
Bu sayfayı ekleyen: #Netler
llama.cpp, büyük dil modellerini (LLM) minimum kaynak tüketimiyle yerel donanımınızda çalıştırmanızı sağlayan yüksek performanslı bir C/C++ kütüphanesidir. Windows üzerinde en yüksek performansı elde etmek ve en güncel özelliklerden yararlanmak için projeyi doğrudan kaynak kodundan derlemek en sağlıklı yöntemdir.
Bu rehberde, Windows ortamında w64devkit (taşınabilir C/C++ geliştirme ortamı) ve CMake kullanarak llama.cpp'yi adım adım nasıl derleyeceğinizi öğreneceksiniz.
1. Ön Gereksinimler
Derleme işlemine başlamadan önce aşağıdaki araçların kurulu veya indirilmiş olması gerekir:
- Git for Windows: Kaynak kodları klonlamak için gereklidir. git-scm.com adresinden indirebilirsiniz.
- CMake: Derleme dosyalarını oluşturmak için en az CMake 3.14 veya üstü gereklidir. cmake.org adresinden "Windows x64 Installer" sürümünü indirin. Kurulum sırasında "Add CMake to system PATH" seçeneğini işaretlemeyi unutmayın.
- w64devkit: Windows için hafif ve taşınabilir bir GCC/MinGW-w64 derleyici paketidir. Kurulum gerektirmez, taşınabilir (portable) olarak çalışır.
2. w64devkit Kurulumu ve Ortam Hazırlığı
- w64devkit GitHub Releases sayfasına gidin.
- En güncel
w64devkit-x.x.x.ziparşivini indirin. - İndirdiğiniz zip dosyasını kolay erişebileceğiniz bir dizine çıkartın (Örnek:
C:\w64devkit). - Ortam Değişkeni (PATH) Ekleme (İsteğe bağlı ancak önerilir):
- Windows Başlat menüsüne
Ortam Değişkenleriyazın ve açın. Sistem DeğişkenleripanelindePathsatırını seçip Düzenle butonuna tıklayın.- Yeni butonuna basarak derleyicinin
bindizinini ekleyin:C:\w64devkit\bin - Değişiklikleri kaydedip çıkın.
- Windows Başlat menüsüne
İpucu: PATH eklemek istemiyorsanız, doğrudan
C:\w64devkit\w64devkit.exedosyasını çalıştırarak tüm GCC araçlarının hazır olduğu entegre bir komut satırı terminali açabilirsiniz.
3. llama.cpp Kaynak Kodunu İndirme
Bir terminal (PowerShell veya Komut İstemi) açın ve projeyi yerleştirmek istediğiniz dizine geçin:
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cppAlt modüllerin veya güncellemelerin tam olduğundan emin olmak için şu komutu çalıştırabilirsiniz:
git submodule update --init --recursive4. Derleme Yöntemleri
Yöntem A: w64devkit Doğrudan Make ile (En Hızlı Yöntem)
Eğer sadece temel CPU desteğiyle hızlıca çalıştırmak istiyorsanız, w64devkit içinde bulunan make aracını doğrudan kullanabilirsiniz:
C:\w64devkit\w64devkit.exedosyasını açın.llama.cppdizinine gidin:
cd /c/llama.cpp- İşlemci çekirdek sayınıza göre derlemeyi başlatın (Örneğin 8 çekirdek için):
make -j8Derleme tamamlandığında llama-cli.exe ve llama-server.exe doğrudan ana dizinde oluşacaktır.
Yöntem B: CMake ve MinGW (Önerilen Modern Yöntem)
CMake, AVX komut setlerini ve isteğe bağlı donanım optimizasyonlarını daha kontrollü yönetmenizi sağlar.
- PowerShell veya Komut İstemi'ni açıp
llama.cppklasörüne girin:
cd C:\llama.cpp- Derleme yapılandırmasını oluşturun:
cmake -B build -G "MinGW Makefiles" -DCMAKE_BUILD_TYPE=Release- Derleme işlemini yürütün:
cmake --build build --config Release -jTamamlanan çalıştırılabilir dosyalar build/bin/ dizini altında yer alacaktır:
build\bin\llama-cli.exe(Komut satırı istemcisi)build\bin\llama-server.exe(Yerel HTTP/OpenAI API sunucusu)
(İsteğe Bağlı) NVIDIA GPU (CUDA) Desteği ile Derleme
Eğer bilgisayarınızda NVIDIA bir ekran kartı ve CUDA Toolkit kuruluysa, GPU hızlandırmasından faydalanmak için GGML_CUDA=ON bayrağını kullanabilirsiniz:
cmake -B build-cuda -G "MinGW Makefiles" -DGGML_CUDA=ON -DCMAKE_BUILD_TYPE=Release
cmake --build build-cuda --config Release -j5. Kurulumun Doğrulanması
Derlemenin başarıyla tamamlandığını test etmek için sürüm ve yardım çıktısını kontrol edin:
.\build\bin\llama-cli.exe --helpEkranda kullanım parametreleri listeleniyorsa, llama.cpp Windows ortamınızda başarıyla hazır hale gelmiş demektir. Artık bir GGUF modelini indirip doğrudan yerel olarak çalıştırmaya başlayabilirsiniz.
Yorumlar (0)
Henüz yorum yok. İlk yorumu siz yapın!
Yorum Yap
Yorum yapmak için giriş yapın veya kayıt olun.