LLM Ayarları ve Backend Yönetimi
Platformda kullanılan AI modellerini ve backend yapılandırmalarını yönettiğiniz bölüm.
LLM Ayarları Ana Ekranı
Sol menüden "LLM Ayarları" seçildiğinde aşağıdaki ekran açılır:
Backend ekle butonu ile birlikte aşağıdaki ekran açılır.
Üst Bölüm — Maliyet Özeti
| Alan | Açıklama |
|---|---|
| Bu Ay Harcama | "$0.00 / $1000.00" — Aylık kullanım limiti ile mevcut harcama |
| Toplam Token | Toplam işlenen token sayısı (ör: 239,524) |
| Prompt/Completion | Prompt vs Completion oranı |
| Geri Kalan Bütçe | Kalan aylık bütçe |
Backend Kartları
Platforma eklenmiş her LLM backend'i bir kart olarak gösterilir:
1. Ollama-local
- Tipi: Ollama
- URL:
http://host.docker.internal:11434 - Öncelik: 3 (en düşük öncelik)
- Aktif: Açık/onaylı
- Alt bilgisi: Model listesi (
embeddinggemma:lastest,gemma4:e4b,qwen3.5:cloud,qwem3.5/embedding0.68)
2. Ollama-MacStudio
- Tipi: Ollama
- URL:
https://ollama.taztech.ir - Öncelik: 2
- Aktif: Açık/onaylı
- Alt bilgisi: Model listesi (
embeddinggemma:lastest,gem4:e4b,qwen3.5:cloud)
3. OpenRouter
- Tipi: OpenRouter (Cloud API)
- URL:
https://openrouter.ai/api/v1 - Öncelik: 1 (en yüksek öncelik)
- Aktif: Açık/onaylı
- Alt bilgisi: Model listesi (
google/gemma-4-32b-it-free,nvidia/llama-nemotron-embed-v1:1b-v2-free)
Her backend kartında "Düzenle" butonu ile detay ayarlarına erişilir.
Routing Kuralları
Alt kısımda "Routing Kuralları" bölümü — henüz tanımlı kural yok ise boş durum gösterir. "Kural Ekle" butonu ile yeni routing kuralları eklenir.
Backend Düzenleme Dialogu
Bir backend'in "Düzenle" butonuna tıklandığında detaylı yapılandırma dialogu açılır:
Temel Alanlar
| Alan | Açıklama | Örnek |
|---|---|---|
| Backend İsmi | Backend'in sistem içindeki adı | ollama-local |
| Display Name | Kullanıcı arayüzünde gösterilen isim | Local Ollama |
| Provider | Sağlayıcı tipi (dropdown) | Ollama |
| Default Model | Bu backend'de varsayılan olarak kullanılacak model | qwen3.5:cloud |
| Available Models (virgülle) | Bu backend üzerinde erişilebilir tüm modeller | embeddinggemma:latest,gemma4:e4b,qwen3.5:cloud,qwen3-embedding:0.6b |
Model Yetenekleri
Her model için ayrı yetenek ayarları:
| Model | Aktif | Embeddings | Tools |
|---|---|---|---|
embeddinggemma:latest | ✅ | ✅ | ❌ |
gemma4:e4b | ✅ | ✅ | ✅ (Default) |
| ... | ... | ... | ... |
- "Default Yap" butonu ile o model varsayılan olarak atanır
Gelişmiş Ayarlar (Aşağı Kaydırma)
| Alan | Açıklama | Örnek |
|---|---|---|
| Base URL | Backend API endpoint'i | http://host.docker.internal:11434 |
| API Key | Değiştirmek için doldurulan alan (gizli) | — |
| Öncelik | Routing önceliği (düşük sayı = yüksek öncelik) | 3 |
| Retry | Başarısız isteklerde tekrar deneme sayısı | 2 |
| Timeout (sn) | İstek zaman aşımı süresi | 180 sn |
| Aktif Toggle | Backend'in aktif/pasif durumu | Açık/onaylı |
Routing Mantığı
Platform, backend'leri öncelik sırasına göre kullanır:
- İlk olarak Öncelik 1'deki backend'e istek gönderilir
- Eğer yanıt alınamazsa (timeout/error), Öncelik 2'ye geçilir
- Son olarak Öncelik 3'e deneme yapılır
Bu sayede bir backend erişilemez durumda olsa bile platform çalışmaya devam eder.