Ollama endpoint API-dokumentation

Base URL og autentificering

Brug den angivne base URL og en API-nøgle til hver anmodning. Endpointet er https://api.ollamaendpoint.com/v1Autorisation header som en Bearer-token. Du genererer denne nøgle straks efter login med Google eller e-mail. Nøglen er unik for hver konto og erstatter enhver tidligere aktiv nøgle.

Første anmodning

Send en standard chat-completion for at generere tekst. Model-ID er uncensored and accepts the same parameters as standard OpenAI clients. This works for NSFW LLM tasks or unrestricted content generation.

• Metode: POST
• Endpoint: /v1/chat/completions
• Model: uncensored

Copycurl https://api.ollamaendpoint.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Get the local ip address of this machine"}]
  }'

Et succesfuldt svar returnerer den genererede tekst i choices array. Tjek de usage felt til at se token-tællinger.

Python SDK-integration

Installer den officielle OpenAI-bibliotek og konfigurer base URL. Dette giver dig mulighed for at bruge den uncensored ollama-model med velkendt Python-kode. Indstil base_url og api_key før klientinitialisering. Koden forbliver kompatibel med eksisterende OpenAI SDK'er.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.ollamaendpoint.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Kald chat.completions.create Metode præcis som du ville for GPT. Svarstrukturen matcher standardforventninger. Du kan streame eller få fulde svar.

Node SDK-integration

Brug Node.js OpenAI-pakken til at interagere med API'et. Konfigurer klienten med den tilpassede base URL og din API-nøgle. Denne tilgang fungerer til server-side applikationer eller edge-funktioner. Pakken håndterer automatisk serialisering og gentagelser.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.ollamaendpoint.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Kald completion-endpointet med din prompt. Biblioteket returnerer et promise, der opløses til response-objektet. Håndter fejl i overensstemmelse med standard HTTP-statuskoder.

Streaming-svar med SSE

Aktivér streaming ved at indstille stream: true i din anmodning. Serveren returnerer en stream af Server-Sent Events (SSE). Hver chunk indeholder delvis tekst og tokenforbrugsdata. Den sidste chunk indeholder de fulde forbrugsstatistikker til fakturering. Dette reducerer den opfattede forsinkelse for lange output.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Ophob indholdsdelene fra hver chunk for at rekonstruere det fulde svar. Behandle fejl, mens de ankommer i streamen. Den sidste chunk bekræfter tokenantallet til din forudbetalede kredit.

Rate Limits og Begrænsninger

Hver API-nøgle understøtter 300 anmodninger i minuttet og 8 samtidige anmodninger. Den maksimale størrelse for anmodningskroppen er 8 MB. Context-vinduet er 100,000 tokens for prompt og completion tilsammen. Outputgrænser er 16,000 tokens pr. anmodning. Fejl og afslag forbruger ikke kredit. En 401-fejl betyder, at din nøgle er ugyldig. En 402-fejl indikerer utilstrækkelig forudbetalt kredit. En 429-fejl betyder, at du har ramt hastighedsgrænsen. Juster din konkurrenceevne for at holde dig inden for grænserne.