16 Kasım 2026 PazartesiRSS

Yapay Zeka

Yerel LLM Çalıştırma: Kuantizasyon ve Donanım Rehberi

Aziz Özdemiroğlu

Büyük dil modellerini kendi bilgisayarınızda çalıştırmak artık bir hobi projesi değil, ciddi bir seçenek: veriler cihazdan çıkmıyor, API faturası yok, internet kesilse de çalışıyor. Ama hangi model hangi donanıma sığar, "Q4_K_M" ne demek, neden bazı modeller saniyede 50 token üretirken bazıları 2 token'da kalıyor? Bu rehberde bellek hesabını, kuantizasyonu ve Ollama ile llama.cpp kullanımını pratik örneklerle anlatıyoruz.

Kısaca

  • Belirleyici kaynak bellek: model ağırlıkları + bağlam (KV cache) GPU belleğine (VRAM) veya birleşik belleğe sığmalı.
  • Kaba hesap: parametre sayısı × bit başına ağırlık ÷ 8 = ağırlık boyutu. 8 milyar parametreli bir model 16 bit'te ~16 GB, 4 bit'te ~4,5–5 GB tutar.
  • Kuantizasyon, ağırlıkları daha az bitle saklar. 4–5 bit aralığı (ör. GGUF Q4_K_M, Q5_K_M) çoğu kullanımda kalite/boyut dengesinin en iyi noktası.
  • Hız büyük ölçüde bellek bant genişliğine bağlı. Model belleğe sığmayıp sistem RAM'ine taşarsa hız dramatik düşer.
  • Başlamak için en kolay yol Ollama. Daha fazla kontrol için llama.cpp.

Bellek nereye gidiyor?

Bir modeli çalıştırırken bellek üç kalemden oluşur:

Kalem Neye bağlı Not
Model ağırlıkları Parametre sayısı × kuantizasyon bit sayısı En büyük kalem
KV cache (bağlam belleği) Bağlam uzunluğu × katman sayısı × gizli boyut Uzun bağlamda gigabaytlara çıkar
Çalışma zamanı ek yükü Çıkarım motoru, ara tamponlar Genellikle birkaç yüz MB – 1 GB

Ağırlık boyutu tablosu (yaklaşık)

Parametre FP16 (16 bit) 8 bit ~4,5–5 bit (Q4_K_M civarı)
3B ~6 GB ~3,2 GB ~2 GB
8B ~16 GB ~8,5 GB ~5 GB
14B ~28 GB ~15 GB ~9 GB
32B ~64 GB ~34 GB ~20 GB
70B ~140 GB ~75 GB ~42 GB

Değerler parametre × bit ÷ 8 formülüyle hesaplanmış kaba tahminlerdir. Gerçek dosya boyutları model mimarisine ve kuantizasyon türüne göre değişir. Buna KV cache ve çalışma zamanı payını ekleyin.

Pratik kural: Seçtiğiniz kuantize modelin dosya boyutuna %20–30 pay ekleyin. Kullanılabilir VRAM'iniz bu toplamdan büyükse model rahat çalışır.

Kuantizasyon nedir?

Modeller genellikle 16 bit kayan noktalı ağırlıklarla eğitilir. Kuantizasyon bu ağırlıkları daha az bitle (8, 6, 5, 4, hatta 2–3 bit) temsil eder. Küçük bloklar halinde ölçeklendirme yapıldığı için kayıp, düşük bit sayılarında bile şaşırtıcı derecede azdır.

GGUF kuantizasyon türleri (llama.cpp / Ollama)

Tür Yaklaşık bit/ağırlık Kullanım
Q8_0 ~8,5 Kaliteye en yakın; bellek bolsa
Q6_K ~6,6 Çok yüksek kalite
Q5_K_M ~5,7 Kalite odaklı denge
Q4_K_M ~4,8 Çoğu kullanım için önerilen varsayılan
Q3_K_M ~3,9 Bellek kısıtlıysa; kalite kaybı belirginleşir
Q2_K ~3 Yalnızca çok büyük modelleri sığdırmak için

Genel gözlem: Büyük bir modelin 4 bit sürümü, aynı belleğe sığan küçük bir modelin 16 bit sürümünden çoğu görevde daha iyi sonuç verir.

Hız: neden bellek bant genişliği?

Token üretirken (decode aşaması) her yeni token için modelin tüm ağırlıklarının bellekten okunması gerekir. Bu yüzden kabaca:

Saniyedeki token ≈ Bellek bant genişliği (GB/s) ÷ Model boyutu (GB)

Bu, üst sınır için kaba bir tahmindir; gerçek değer daha düşüktür.

Donanım türü Tipik bant genişliği 5 GB'lık model için kaba üst sınır
Çift kanallı DDR5 masaüstü RAM ~80–100 GB/s ~16–20 token/s
Birleşik bellekli dizüstü/masaüstü yongalar ~100–800 GB/s (modele göre) ~20–160 token/s
Orta/üst segment oyun GPU'su ~400–1000+ GB/s ~80–200 token/s

Model VRAM'e sığmayıp katmanların bir kısmı CPU'ya taşınırsa, hız en yavaş halka olan sistem RAM'i tarafından belirlenir.

Ollama ile başlamak

# Linux kurulumu (betiği çalıştırmadan önce içeriğini inceleyin)
curl -fsSL https://ollama.com/install.sh -o ollama-install.sh && less ollama-install.sh && sh ollama-install.sh

# Bir model indirip sohbet başlatın (etiketler Ollama kütüphanesinde listelenir)
ollama run llama3.1:8b

# Yüklü modeller ve bellek kullanımı
ollama list
ollama ps

Ollama yerel bir HTTP API sunar (varsayılan 127.0.0.1:11434):

curl http://127.0.0.1:11434/api/generate -d '{
  "model": "llama3.1:8b",
  "prompt": "PostgreSQL'\''de kısmi indeks nedir? Kısaca açıkla.",
  "stream": false
}'

Bağlam uzunluğunu ayarlamak: Uzun belgelerle çalışacaksanız bağlam penceresini artırın, ama KV cache'in belleği büyüteceğini unutmayın:

# Modelfile ile özelleştirilmiş model
cat > Modelfile <<'EOF'
FROM llama3.1:8b
PARAMETER num_ctx 16384
PARAMETER temperature 0.3
EOF
ollama create llama-uzun -f Modelfile

llama.cpp ile daha fazla kontrol

git clone https://github.com/ggml-org/llama.cpp && cd llama.cpp
cmake -B build -DGGML_CUDA=ON        # NVIDIA için; Apple Silicon'da Metal varsayılan açık
cmake --build build --config Release -j

# OpenAI uyumlu sunucu: -ngl ile GPU'ya alınacak katman sayısı, -c bağlam uzunluğu
./build/bin/llama-server -m modeller/model-Q4_K_M.gguf -ngl 99 -c 8192 --host 127.0.0.1 --port 8080
Parametre Anlamı
-ngl GPU'ya yüklenecek katman sayısı. VRAM yetmiyorsa düşürün
-c Bağlam uzunluğu (token)
-t CPU iş parçacığı sayısı
--host 127.0.0.1 Sunucuyu yalnızca yerelden erişilebilir yapar

Güvenlik notları

  • Yerel LLM sunucularını (11434, 8080) internete açmayın. Kimlik doğrulamasız bir API, kaynaklarınızı başkalarına açar.
  • Modelleri güvenilir kaynaklardan indirin. GGUF ve safetensors gibi biçimler, yüklenirken kod çalıştıran pickle dosyalarına göre daha güvenlidir.
  • Lisansları kontrol edin. Açık ağırlıklı modellerin bir kısmı ticari kullanımı kısıtlar.
  • Yerel model de istem enjeksiyonuna açıktır. Araç ve dosya erişimi verirken aynı ajan güvenliği kurallarını uygulayın.

Donanım seçimi kontrol listesi

  • Çalıştırmak istediğiniz en büyük model ve kuantizasyon belirlendi
  • Dosya boyutu + %20–30 pay ≤ kullanılabilir VRAM / birleşik bellek
  • Hedef bağlam uzunluğu için KV cache payı hesaba katıldı
  • Bellek bant genişliği, beklenen token/s için yeterli
  • Güç tüketimi ve soğutma (sürekli yükte GPU) değerlendirildi
  • Sunucu yalnızca yerel arayüzde dinliyor

Sonuç

Yerel LLM'lerde başarı, "en büyük modeli" değil belleğe rahat sığan en iyi modeli seçmekten geçer. 4–5 bit kuantizasyon çoğu iş için yeterli kaliteyi sunar; hızı ise büyük ölçüde bellek bant genişliği belirler. Ollama ile birkaç dakikada başlayın, ihtiyaçlarınız netleşince llama.cpp ile ince ayara geçin.

Kaynaklar

#Yerel LLM#Ollama#llama.cpp#Kuantizasyon#GGUF#VRAM

Benzer Yazılar