Dokumentacja API endpointu Ollama

Bazowy URL i autoryzacja

Użyj dostarczonego adresu URL bazowego i klucza API dla każdego żądania. Punkt końcowy to https://api.ollamaendpoint.com/v1Autoryzacja nagłówek jako token Bearer. Generujesz ten klucz bezpośrednio po zalogowaniu się za pomocą Google lub e-mail. Klucz jest unikalny dla każdego konta i zastępuje dowolny poprzedni aktywny klucz.

Pierwsze żądanie

Wyślij standardowe żądanie chat completion, aby wygenerować tekst. Identyfikator modelu to uncensored i przyjmuje te same parametry co standardowi klienci OpenAI. Działa to dla zadań NSFW LLM lub generowania treści bez ograniczeń.

• Metoda: POST
• Punkt końcowy: /v1/chat/completions
• Model: uncensored

Copycurl https://api.ollamaendpoint.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Get the local ip address of this machine"}]
  }'

Pomyślna odpowiedź zwraca wygenerowany tekst w tablicy choices. Sprawdź usage pole, aby zobaczyć liczbę tokenów.

Integracja SDK Python

Zainstaluj oficjalną bibliotekę OpenAI i skonfiguruj adres bazowy. Pozwala to na użycie modelu ollama uncensored znanym kodem Pythona. Ustaw base_url i api_key przed zainicjowaniem klienta. Kod pozostaje kompatybilny z istniejącymi SDK OpenAI.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.ollamaendpoint.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Wywołaj chat.completions.create metoda tak jak dla GPT. Struktura odpowiedzi odpowiada standardowym oczekiwaniom. Możesz strumieniować lub uzyskać pełne odpowiedzi.

Integracja SDK Node

Użyj pakietu OpenAI dla Node.js do interakcji z API. Skonfiguruj klienta z niestandardowym URL bazowym i swoim kluczem API. To podejście działa dla aplikacji serwerowych lub funkcji edge. Pakiet obsługuje serializację i ponawianie prób automatycznie.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.ollamaendpoint.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Wywołaj endpoint completion ze swoim promptem. Biblioteka zwraca promise, który resolve’uje się do obiektu odpowiedzi. Obsłuż błędy zgodnie ze standardowymi kodami statusu HTTP.

Odpowiedzi strumieniowe z SSE

Włącz strumieniowanie, ustawiając stream: true w Twoim żądaniu. Serwer zwraca strumień Zdarzeń Wysyłanych przez Serwer (SSE). Każdy chunk zawiera częściowy tekst oraz dane dotyczące użycia tokenów. Ostatni chunk zawiera kompletne statystyki użycia do rozliczeń. Zmniejsza to postrzeganą latencję dla długich wyjść.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Zbierz części treści z każdego fragmentu, aby odtworzyć pełną odpowiedź. Przetwarzaj błędy, gdy pojawiają się w strumieniu. Ostatni fragment potwierdza liczbę tokenów dla Twojego konta z góry opłaconego.

Limity szybkości i ograniczenia

Każdy klucz API obsługuje 300 żądań na minutę i 8 żądań równoległych. Maksymalny rozmiar ciała żądania wynosi 8 MB. Okno kontekstowe wynosi 100,000 tokenów dla promptu i uzupełnienia łącznie. Limity wyjściowe to 16,000 tokenów na żądanie. Błędy i odrzucenia nie zużywają kredytu. Błąd 401 oznacza, że Twój klucz jest nieprawidłowy. Błąd 402 oznacza niewystarczający saldo zaliczkowe. Błąd 429 oznacza przekroczenie limitu szybkości. Dostosuj swoją równoległość, aby pozostać w granicach limitów.