Ollama API-vianmääritysopas

Ymmärrä ollama API -päätepisteen rakenne

The ollama endpoint noudattaa tiukkaa RESTful-kuvioita, jotka jäljittelevät OpenAI-API:n rakennetta. Vuorovaikutat sen lähettämällä POST-pyyntöjä osoitteeseen /v1/chat/completions ja kysy saatavilla olevia malleja käyttäen GET /v1/models. Tämä vakioinnin ansiosta voit vaihtaa taustamalleja ilman asiakaskoodin uudelleenkirjoittamista.

Monet kehittäjät olettavat, että päätepiste tukee vektoreita tai kuvagenerointia oletusarvoisesti. Se ei tue. Palvelumme, esimerkiksi, tarjoaa vain tekstitäydennyksiä yhdellä sensuroimattomalla mallilla. Tarkista aina GET /v1/models vastaus nähdäksesi tarkasti, mitkä ominaisuudet ovat käytettävissä. Jos näet listan malleista, varmista niiden tunnukset ennen pyyntöjen lähettämistä.

Kun käytät paikallista instanssia, päätepiste toimii yleensä osoitteessa http://localhost:11434. Pilvipalveluntarjoajille käytät mukautettua base URL -arvoa. Varmista, että HTTP-asiakkaasi käsittelee otsikot oikein, erityisesti Content-Type: application/json. Puuttuva otsikko aiheuttaa usein hiljaisia epäonnistumisia, jotka näyttävät mallivirheilta.

Rakenteelliset elementit:

• model: Tietyn LLM:n merkkijonotunniste.
• messages: Taulukko roolipohjaisia sisältöobjekteja.
• stream: Boolean-lippu, joka mahdollistaa Server-Sent Eventsin (SSE).

Miksi ollama-API-kutsusi voivat epäonnistua

API-kutsut epäonnistuvat yleensä virheellisten base URL:ien, vanhentuneiden avainten tai virheellisten JSON-payloadien vuoksi. Yleisin virhe on 401 Unauthorized-vastaus, mikä tarkoittaa, että API-avaimesi puuttuu tai se on virheellinen. Toinen yleinen ongelma on 404 Not Found, joka osoittaa, että päätepiste ei tue pyydettyä polkua tai mallitunnistetta.

Tarkkaa pyyntörunkoasi huolellisesti. Jos lähetät parametrin, jota päätepiste ei tue, kuten modalities tekstipainotteiselle mallille palvelin voi hylätä pyynnön. Palvelumme esimerkiksi ei tue kuvasyötteitä. Kuvan lähettäminen aiheuttaa välittömän virheen.

Zeitüberschreitungen verursachen ebenfalls Ausfälle. Wenn Ihre lokale Ollama-Instanz im Leerlauf ist, kann sie das Modell aus dem VRAM entladen. Die erste Anfrage nach einem Kaltstart kann mehrere Sekunden dauern. Legen Sie eine großzügige Zeitüberschreitung in Ihrem HTTP-Client fest, um vorzeitige Trennungen zu vermeiden.

Yleiset virhekoodit:

• 400: Bad Request (virheellinen JSON tai virheelliset parametrit).
• 401: Ei valtuutettu (virheellinen tai puuttuva API-avain).
• 429: Liian monta pyyntöä (nopeusrajoitus ylitetty).
• 500: Internal Server Error (mallin latausvirhe).

Rajoittamattomien ollama-mallien oikea määrittäminen

Epäsuodatetut mallit vaativat usein tiettyjä parametreja toimiakseen odotetulla tavalla. Pääero piilee system prompt. Sinun on nimenomaan ohjattava mallia kiertämään vakiokieltojen mekanismit. Ilman vahvaa järjestelmäohjetta malli voi palata oletusturvakäyttäytymiseen.

Päätepistemme käyttää mallitunnistetta uncensored. Lähetät pyyntöjä tähän tunnukseen, ja palvelin käsittelee taustalla olevan mallin valinnan. Tämä abstrahoi malliversioiden hallinnan monimutkaisuuden. Sinun ei tarvitse tietää, onko taustalla oleva arkkitehtuuri Llama- vai Mistral-pohjainen.

Säädä temperature parametri kontrollata luovuutta. Arvo 0,7 on hyvä lähtökohta tasapainoisille vastauksille. Korkeammat arvot lisäävät satunnaisuutta, mikä on hyödyllistä luovaan kirjoittamiseen, mutta voi vähentää faktuaalista tarkkuutta. Alhaisemmat arvot tekevät tuloksesta deterministisemmän.

Konfiguraovinkit:

• Käyttö top_p vieressä temperature parempaan hallintaan.
• Aseta stop sekvenssit äärettömien silmukoiden estämiseksi.
• Sisällytä aina system viesti roolimäärittelyä varten.

Striimauksen ja token-rajojen käsittely

Streamausvastaukset palauttavat dataa lohkoissa Server-Sent Events (SSE) -tapahtumien kautta. Jokainen lohko sisältää osittaisen täydennyksen. Sinun on koottava nämä lohkot saadaksesi koko vastauksen. Palvelumme sisältää tokenkäyttötilastot viimeisessä lohkossa, mikä mahdollistaa kustannusten seurannan reaaliajassa.

Tokenirajoitukset ovat kriittisiä pitkissä keskusteluissa. Päätepisteemme tukee 100,000 tokenin konteksti-ikkunaa, joka yhdistää sekä promptin että suorituksen. Maksimituotos pyyntöä kohti on kuitenkin 16,000 tokenia. Jos et aseta max_tokens, oletusarvo on 2 048 tokenia. Tämä voi katkaista pitkät vastaukset odottamattomasti.

Streamattaessa käsittele verkkokatkokset joustavasti. Jos yhteys katkeaa, voit jatkaa viimeisestä vastaanotetusta osasta, jos palvelin tukee sitä. Muussa tapauksessa sinun täytyy ehkä yrittää koko pyyntöä uudelleen. Seuraa aina usage kenttä viimeisessä lohkossa välttääksesi yllätykset laskutuksessa.

Virran parhaat käytännöt:

• Jäsennä SSE-tapahtumat oikein ohittaen tyhjät rivit.
• Kasakoi palaset muistiin tai puskuriin.
• Tarkista usage object viimeisessä palassa token-laskelmia varten.

Laskutusvirheet ja tokenien aritmetiikka

Laskutusvirheet johtuvat usein siitä, ettei ymmärretä, miten tokenit lasketaan. Tokeneista peritään maksu sekä syötteestä (prompt) että tuloksesta (completion). Hinnastomme on 0,15 $ per 1M syöttötokeniä ja 0,50 $ per 1M tulostokeniä. Virheet ja hylkäykset ovat ilmaisia, mikä vähentää debuggauskustannuksia.

Tokenisoijat eivät aina kartoita merkkejä suhteessa 1:1. Yksi sana voi olla useita tokenneja. Jos arvioit kustannuksia merkkimäärän perusteella, saatat aliarvioida laskun. Käytä luotettavaa tokenisoijakirjastoa asiakasohjelmasssa saadaksesi tarkat määrät ennen pyyntöjen lähettämistä.

Luotto ei vanhene. Jos lataat saldon kryptalla, saldo pysyy käytettävissä, kunnes käytät sen. Tämä on hyödyllistä pitkäaikaisissa projekteissa. Huomioi kuitenkin, että jokainen pyyntö kuluttaa tekstejä saldosasi. Jos saldo on matala, seuraavat pyynnöt voivat epäonnistua.

Vinkkejä laskutukseen:

• Seuraa token-käyttöä jokaisessa vastauksessa.
• Aseta hälytykset matalan saldon kynnyksille.
• Käyttö max_tokens rajoittaaksesi mahdollisia kustannuksia.

Turvallisuus- ja porttiskannausongelmat

Paikalliset Ollama-päätepisteet ovat usein oletuksena alttiina verkolle. Tämä tekee niistä haavoittuvia porttiskannerien varalta, jotka etsivät ilmaista laskentatehoa. Jos altistat portin 11434 ilman todennusta, kuka tahansa voi käyttää GPU-resurssejasi. Tämä voi johtaa korkeisiin sähkölehtiin ja hitaaseen suorituskykyyn.

Turvaa päätepisteesi muuttamalla oletusporttia tai käyttämällä reverse proxya todennuksen kanssa. Isännöity palvelumme hoitaa turvallisuuden puolestasi, joten sinun ei tarvitse huolehtia porttien altistumisesta. Sinun tarvitsee vain pitää API-avaimesi yksityisenä.

Paallisiin asennuksiin käytä pallovarustinta rajoittaaksesi pääsyn luotettaviin IP-osoitteisiin. Voit myös ottaa käyttöön token-pohaisen todennuksen Ollaman määritystiedostossa. Tämä estaa luvattomat käyttäjät tekemästä pyyntöjä.

Turvatoimet:

• Vaihda oletusportti, jos paljastat palvelimen internetiin.
• Käytä reverse proxya HTTPS:n ja autentikoinnin kanssa.
• Seuraa verkkoliikennettäsi poikkeuksellisen toiminnan varalta.

Paikallinen vs Pilvi ollama API -käyttö

Paikallinen käyttö antaa sinulle täyden hallinnan tietoyksityisyydestä ja mallivalinnoista. Voit ajaa useita malleja samanaikaisesti ja vaihtaa niiden välillä välittömästi. Vastaat kuitenkin laitteiston ylläpidosta, päivityksistä ja turvallisuudesta. Pilvikäyttö siirtää nämä vastuut tarjoajalle.

Pilvipalvelumme tarjoaa uncensored-mallin, joka on optimoitu rajoittamattomaan sisältögenerointiin. Saat välittömän pääsyn ilman suurten mallitiedostojen lataamista. Vaihtoehtona on, että tietosi kulkee palvelimemme kautta. Arkaluontoiselle datalle paikallinen ratkaisu voi olla suositeltavampi.

Pilvipalveluilla on usein suurempi viive verkkokierrosten vuoksi. Paikalliset instanssit ovat lähes nollaviiveisiä, jos GPU on tarpeeksi nopea. Paikalliset instanssit vaativat kuitenkin huomattavasti VRAM-muistia. Jos GPU:n muisti loppuu, malli voi siirtyä CPU:lle, mikä hidastaa vastauksia dramaattisesti.

Vertailu:

• Paikallinen: Yksityisyys, hallinta, laitteiston riippuvuus.
• Pilvi: Mukavuus, skaalautuvuus, datansiirto.

Yleiset asiakaspuolen virheet

Kehittäjät unohtavat usein nopeusrajoitusten käsittelyn. Palvelumme sallii 300 pyyntöä minuutissa per avain. Jos ylität tämän, saat 429-virheen. Toteuta eksponentiaalinen backoff asiakasohjelmassasi näiden virheiden käsittelemiseksi sujuvasti.

Virhe on jättää huomiotta stream parametri oikein. Jos odotat streamauksen, mutta et aseta stream: true, odotat koko vastauksen saapumista ennen minkään datan vastaanottamista. Tämä voi saada sovelluksesi tuntumaan hitaalta.

JSON-tilan virheet ovat myös yleisiä. Jos asetat response_format: {type: "json_object"}, mallin on palauteltava kelvollinen JSON. Jos se ei tee niin, tulkkisi kaatuu. Lisää virheenkäsittely kaappaamaan ja yrittämään uudelleen JSON-tulkkivirheet.

Tarkistuslista:

• Ota käyttöön nopeusrajoitusten käsittely.
• Aseta stream: true todellisen ajan päivityksille.
• Validoi JSON-tuloste käytettäessä JSON-tilaa.