Документація API ендпоінту Ollama

Базова URL-адреса та аутентифікація

Використовуйте наданий базовий URL та API-ключ для кожного запиту. Кінцева точка — https://api.ollamaendpoint.com/v1Авторизація header як Bearer-токен. Ви генеруєте цей ключ одразу після входу через Google або електронну пошту. Ключ є унікальним для облікового запису та замінює будь-який попередній активний ключ.

Перший запит

Надішліть стандартне завершення чату для генерації тексту. Ідентифікатор моделі — uncensored та приймає ті ж параметри, що й стандартні клієнти OpenAI. Це працює для задач NSFW LLM або генерації необмеженого контенту.

• Метод: POST
• Точка доступу: /v1/chat/completions
• Модель: uncensored

Copycurl https://api.ollamaendpoint.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Get the local ip address of this machine"}]
  }'

Успішна відповідь повертає згенерований текст у масиві choices. Перевірте usage поле для перегляду кількості токенів.

Інтеграція SDK Python

Встановіть офіційну бібліотеку OpenAI і налаштуйте базову URL-адресу. Це дозволяє використовувати uncensored модель ollama з знайомим Python-кодом. Встановіть base_url та api_key перед ініціалізацією клієнта. Код залишається сумісним із існуючими SDK OpenAI.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.ollamaendpoint.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Викличте chat.completions.create метод, як і для GPT. Структура відповіді відповідає стандартним очікуванням. Ви можете використовувати потокову передачу або отримувати повні відповіді.

Інтеграція Node SDK

Використовуйте Node.js OpenAI пакет для взаємодії з API. Налаштуйте клієнт із власним базовим URL та вашим API-ключем. Цей підхід працює для серверних додатків або edge-функцій. Пакет автоматично обробляє серіалізацію та повторні спроби.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.ollamaendpoint.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Викличте ендпоінт completion із вашим промптом. Бібліотека повертає проміс, який розв’язується до об’єкта відповіді. Обробляйте помилки відповідно до стандартних кодів стану HTTP.

Потокові відповіді з SSE

Увімкніть потокову передачу, встановивши stream: true у вашому запиті. Сервер повертає потік подій, що генеруються сервером (SSE). Кожен чанк містить частковий текст та дані про використання токенів. Останній чанк містить повну статистику використання для билінгу. Це знижує сприйняту затримку для довгих виводів.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Накопичуйте частини вмісту з кожного фрагмента, щоб відновити повну відповідь. Обробляйте помилки, як тільки вони надходять у потік. Останній фрагмент підтверджує кількість токенів для вашого передоплаченого балансу.

Ліміти частоти та обмеження

Кожний API-ключ підтримує 300 запитів на хвилину та 8 паралельних запитів. Максимальний розмір тіла запиту становить 8 МБ. Контекстне вікно становить 100,000 токенів для запиту та відповіді разом. Ліміти виводу становлять 16,000 токенів на запит. Помилки та відмови не споживають кредит. Помилка 401 означає, що ваш ключ недійсний. Помилка 402 вказує на недостатність попередньо оплаченого кредиту. Помилка 429 означає, що ви досягли ліміту швидкості. Налаштуйте паралелізм, щоб залишатися в межах лімітів.