Ollama API Sorun Giderme Rehberi

ollama API Uç Noktası Yapısını Anlama

The ollama endpoint alanı, OpenAI API yapısını yansıtan sıkı bir RESTful kalıbını izler. POST istekleri göndererek onunla etkileşim kurarsınız /v1/chat/completions ve mevcut modelleri GET /v1/models. Bu standartlaştırma, istemci kodunuzu yeniden yazmadan altta yatan modelleri değiştirmenize olanak tanır.

Birçok geliştirici, uç noktanın varsayılan olarak gömme veya görüntü oluşturmayı desteklediğini varsayar. Desteklemez. Örneğin, barındırılan hizmetimiz yalnızca tek bir uncensored modelle metin tamamlamalarını sağlar.Her zaman kontrol edin GET /v1/models tam olarak hangi yeteneklerin sunulduğunu görmek için yanıtı kontrol edin. Bir model listesi görürseniz, istek göndermeden önce model kimliklerini doğrulayın.

Yerel bir örneği kullanırken uç nokta genellikle şurada çalışır: http://localhost:11434. Bulut sağlayıcıları için özel bir temel URL kullanacaksınız. HTTP istemcinizin başlıkları doğru şekilde işlediğinden emin olun, özellikle Content-Type: application/json. Eksik bir başlık genellikle model hataları gibi görünen sessiz başarısızlıklara neden olur.

Yapısal öğeler:

• model: Belirli LLM'nin dize tanımlayıcısı.
• messages: Rol tabanlı içerik nesnelerinden oluşan bir dizi.
• stream: Sunucu Tarafı Olaylar (SSE) etkinleştiren bir boolean bayrak.

Neden ollama API Çağrılarınız Başarısız Oluyor

API çağrıları genellikle yanlış base URL'ler, süresi dolmuş anahtarlar veya hatalı JSON yükleri nedeniyle başarısız olur. En yaygın hata, API anahtarınızın eksik veya geçersiz olduğu anlamına gelen 401 Yetkisiz yanıtıdır. Diğer sık karşılaşılan sorun, 404 Bulunamadır; bu, uç noktanın istenen yol veya model kimliğini desteklemediğini gösterir.

İstek gövdenizi dikkatlice kontrol edin. Uç noktanın desteklemediği bir parametre gönderirseniz, örneğin modalities yalnızca metin tabanlı bir model için, sunucu isteği reddedebilir. Hizmetimiz örneğin, görüntü girişini desteklemez. Göndermek hemen bir hataya neden olur.

Zeitüberschreitungen verursachen ebenfalls Ausfälle. Wenn Ihre lokale Ollama-Instanz im Leerlauf ist, kann sie das Modell aus dem VRAM entladen. Die erste Anfrage nach einem Kaltstart kann mehrere Sekunden dauern. Legen Sie einen großzügigen Timeout in Ihrem HTTP-Client fest, um vorzeitige Trennungen zu vermeiden.

Yaygın hata kodları:

• 400: Hatalı İstek (bozuk JSON veya geçersiz parametreler).
• 401: Yetkisiz (geçersiz veya eksik API anahtarı).
• 429: Çok Fazla İstek (hız sınırı aşıldı).
• 500: İç Sunucu Hatası (model yükleme hatası).

Sansürsüz ollama Modellerini Doğru Yapılandırma

Kontrolsüz modeller, beklendiği gibi davranmak için genellikle belirli parametreler gerektirir. Temel fark şunlarda yatmaktadır: system prompt. Modelin standart reddetmeleri aşması için açıkça talimat vermeniz gerekir. Güçlü bir sistem prompt'u olmadan model, varsayılan güvenlik davranışlarına geri dönebilir.

Uç noktamiz model kimliğini kullanır uncensored. Bu ID'ye istek gönderirsiniz ve sunucu altta yatan model seçimini yönetir. Bu, model sürümlerinin yönetilmesinin karmaşıklığını soyutlar. Altta yatan mimarinin Llama tabanlı mı yoksa Mistral tabanlı mı olduğunu bilmeniz gerekmez.

Ayarlama temperature parametresi yaratıcılığı kontrol etmek için. 0,7 dengeli yanıtlar için iyi bir başlangıç noktasıdır. Daha yüksek değerler rastgeleliği artırır, bu da yaratıcı yazım için kullanışlıdır ancak gerçeklik doğruluğunu azaltabilir. Daha düşük değerler çıktıyı daha deterministik hale getirir.

Yapılandırma ipuçları:

• Kullan top_p yanında temperature daha iyi kontrol için.
• Ayarla stop sonsuz döngüleri önlemek için diziler.
• Her zaman bir system rol tanımı için mesaj.

Akışı ve Token Limitlerini İşleme

Akış yanıtları Sunucu Tarafı Olayları (SSE) aracılığıyla parça parça veri döndürür. Her parça kısmi bir tamamlama içerir. Tam yanıtı elde etmek için bu parçaları birleştirmelisiniz. Hizmetimiz, maliyetleri gerçek zamanlı izlemenize olanak tanıyan son parçada belirteç kullanım istatistikleri içerir.

Token limitleri uzun konuşmalar için kritiktir. Uç noktamız, hem istem hem de tamamlama dahil olmak üzere 100.000 token'lık bir bağlam penceresi destekler. Ancak, istek başına maksimum çıktı 16.000 token'dır. Eğer ayarlamazsanız max_tokens, varsayılan değer 2.048 token'dır. Bu, uzun yanıtların beklenmedik şekilde kısaltılmasına neden olabilir.

Akış (streaming) sırasında ağ kesintilerini zarifçe yönetin. Bağlantı koparsa, sunucu destekliyorsa son alınan parçadan devam edebilirsiniz. Aksi takdirde tüm isteği yeniden denemeniz gerekebilir. Her zaman usage field son chunk'ta faturalandırma sürprizlerinden kaçınmak için.

Akış için en iyi uygulamalar:

• Boş satırları yoksayarak SSE olaylarını doğru şekilde parse edin.
• Bellekte veya arabellekte parçaları biriktirin.
• Şunu kontrol edin usage son parçada token sayıları için nesne.

Faturalandırma Hataları ve Token Aritmetiği

Faturalandırma hataları genellikle tokenların nasıl sayıldığının yanlış anlaşılmasından kaynaklanır. Tokenlar hem giriş (prompt) hem de çıkış (completion) için ücretlendirilir. Fiyatlandırma 1M giriş tokenı başına 0,15 $ ve 1M çıkış tokenı başına 0,50 $ şeklindedir. Hatalar ve reddetmeler ücretsizdir, bu da hata ayıklama sırasında maliyetleri düşürür.

Tokenizer'lar karakterlerle her zaman 1:1 eşleşmez. Tek bir kelime birden fazla token olabilir. Maliyetleri karakter sayısına dayalı olarak tahmin ederseniz, faturayı küçük tahmin etmiş olabilirsiniz. İstekleri göndermeden önce doğru sayımlar almak için istemcinizde güvenilir bir tokenizer kütüphanesi kullanın.

Kredi süresiyle dolmaz. Kripto ile yükleme yaparsanız, bakiye kullanana kadar orada kalır. Bu, uzun vadeli projeler için faydalıdır. Ancak, her isteğin bakiyenizden token tükettiğini unutmayın. Bakiyeniz düşükse, sonraki istekler başarısız olabilir.

Faturalandırma ipuçları:

• Her yanıtta token kullanımını izleyin.
• Düşük bakiye eşikleri için uyarılar kurun.
• Kullan max_tokens olası maliyetleri sınırlamak için.

Güvenlik ve Bağlantı Noktası Tarama Sorunları

Yerel Ollama uç noktaları genellikle varsayılan olarak ağa açılır. Bu onları ücretsiz işlem gücü arayan port tarayıcılarına karşı savunmasız hale getirir. 11434 portunu kimlik doğrulaması olmadan açarsanız, herkes GPU kaynaklarınızı kullanabilir. Bu yüksek elektrik faturalarına ve yavaş performansa yol açabilir.

Varsayılan bağlantı noktasını değiştirerek veya kimlik doğrulaması içeren bir ters vekil sunucu kullanarak uç noktanızı güvence altına alın. Barındırılan hizmetimiz güvenliği sizin için yönetir, bu nedenle bağlantı noktası açığının endişesine kapılmanıza gerek yoktur. Sadece API anahtarınızı gizli tutmanız yeterlidir.

Yerel kurulumlar için erişimi güvenilir IP adresleriyle sınırlamak amacıyla bir güvenlik duvarı kullanın. Ayrıca Ollama'nın yapılandırma dosyasında jeton tabanlı kimlik doğrulamayı etkinleştirebilirsiniz. Bu, yetkisiz kullanıcıların istek yapmasını engeller.

Güvenlik adımları:

• İnternete açarken varsayılan bağlantı noktasını değiştirin.
• HTTPS ve kimlik doğrulama ile bir ters proxy kullanın.
• Ağ trafiğinizi olağan dışı faaliyetler açısından izleyin.

Yerel vs Bulut Ollama API Kullanımı

Yerel kullanım, veri gizliliği ve model seçimi konusunda tam kontrol sağlar. Aynı anda birden fazla modeli çalıştırabilir ve aralarında anında geçiş yapabilirsiniz. Ancak donanım bakımı, güncellemeler ve güvenlik sorumluluğu size aittir. Bulut kullanımı bu sorumlulukları sağlayıcıya devreder.

Bulut hizmetimiz, sınırsız içerik üretimi için optimize edilmiş bir uncensored model sunar. Büyük model dosyalarını indirmeden anında erişim elde edersiniz. Karşılıklı olarak verileriniz sunucularımızdan geçer. Hassas veriler için yerel çözüm tercih edilebilir.

Bulut hizmetleri genellikle ağ dönüşleri nedeniyle daha yüksek gecikmeye sahiptir. Yerel örnekler, GPU yeterince hızlıysa neredeyse sıfır gecikme süresi sunar. Ancak yerel örnekler önemli miktarda VRAM gerektirir. GPU bellek yetersiz kalırsa model CPU'ya geçiş yapabilir, bu da yanıtları önemli ölçüde yavaşlatır.

Karşılaştırma:

• Yerel: Gizlilik, kontrol, donanım bağımlılığı.
• Bulut: Kolaylık, ölçeklenebilirlik, veri aktarımı.

Yaygın İstemci Tarafı Hataları

Geliştiriciler genellikle hız sınırlarını (rate limits) yönetmeyi unutur. Hizmetimiz anahtar başına dakikada 300 istek iziner. Bu sınırı aşarsanız 429 hatası alırsınız. Bu hataları zarifçe yönetmek için istemcinizde üstel geri çekilme (exponential backoff) uygulayın.

Diğer bir hata, ayarlanmamış olanı stream parametre doğru şekilde. Akış bekliyor ancak stream: true, tüm yanıtı almadan önce veri almayı beklersiniz. Bu, uygulamanızın yavaş görünmesine neden olabilir.

JSON modu hataları da yaygındır. Eğer set response_format: {type: "json_object"}, model geçerli JSON döndürmelidir. Döndürmezse parserınız başarısız olur. JSON ayrıştırma hatalarını yakalamak ve yeniden denemek için hata işleme ekleyin.

Kontrol listesi:

• Hız sınırı işlemini uygulayın.
• Ayarla stream: true gerçek zamanlı güncellemeler için.
• JSON modu kullanılırken JSON çıktısını doğrula.