Dokumentace API koncového bodu Ollama

Základní URL a ověření

Použijte poskytnutou základní URL a API klíč pro každý požadavek. Koncový bod je https://api.ollamaendpoint.com/v1Autorizace hlavička jako Bearer token. Tento klíč vygenerujete ihned po přihlášení přes Google nebo e-mail. Klíč je unikátní pro každý účet a nahrazuje jakýkoli předchozí aktivní klíč.

První požadavek

Odešlete standardní dokončení chatu pro generování textu. ID modelu je uncensored a přijímá stejné parametry jako standardní klienti OpenAI. To funguje pro úkoly NSFW LLM nebo generování neomezeného obsahu.

• Metoda: POST
• Koncový bod: /v1/chat/completions
• Model: uncensored

Copycurl https://api.ollamaendpoint.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Get the local ip address of this machine"}]
  }'

Úspěšná odpověď vrací vygenerovaný text v poli choices. Zkontrolujte usage pole pro zobrazení počtu tokenů.

Integrace Python SDK

Nainstalujte oficiální knihovnu OpenAI a nakonfigurujte základní URL. To vám umožní použít model ollama bez omezení s osvědčeným Python kódem. Nastavte base_url a api_key před inicializací klienta. Kód zůstává kompatibilní s existujícími SDK OpenAI.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.ollamaendpoint.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Volání chat.completions.create metoda stejně jako u GPT. Struktura odpovědi odpovídá standardním očekáváním. Můžete streamovat nebo získat úplné odpovědi.

Integrace SDK pro Node

Použijte balíček OpenAI pro Node.js k interakci s API. Nakonfigurujte klienta s vlastní základní URL a vaším API klíčem. Tento přístup funguje pro serverové aplikace nebo okrajové funkce. Balíček automaticky zpracovává serializaci a opakované pokusy.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.ollamaendpoint.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Vyvolat koncový bod dokončování s vaším promptem. Knihovna vrací promise, který se vyřeší na objekt odpovědi. Chyby zpracujte podle standardních stavových kódů HTTP.

Streamované odpovědi s SSE

Povolte streamování nastavením stream: true ve vaší žádosti. Server vrací stream Server-Sent Events (SSE). Každý chunk obsahuje částečný text a data o využití tokenů. Poslední chunk obsahuje kompletní statistiky využití pro fakturaci. To snižuje vnímanou latenci u dlouhých výstupů.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Akumulujte části obsahu z každého chunku pro rekonstrukci celé odpovědi. Zpracovávejte chyby, jak přicházejí ve streamu. Poslední chunk potvrzuje počet tokenů pro váš předplacený kredit.

Limity rychlosti a omezení

Každý API klíč podporuje 300 požadavků za minutu a 8 souběžných požadavků. Maximální velikost těla požadavku je 8 MB. Kontextové okno má 100 000 tokenů pro prompt a completion dohromady. Limity výstupu jsou 16 000 tokenů na požadavek. Chyby a odmítnutí nespotřebovávají kredit. Chyba 401 znamená, že je váš klíč neplatný. Chyba 402 indikuje nedostatek předplaceného kreditu. Chyba 429 znamená, že jste dosáhli limitu rychlosti. Upravte svou souběžnost tak, abyste zůstali v limitech.