Tài liệu API Điểm cuối Ollama

Base URL và Xác thực

Sử dụng URL cơ sở được cung cấp và khóa API cho mọi yêu cầu. Điểm cuối là https://api.ollamaendpoint.com/v1Authorization header dưới dạng Bearer token. Bạn tạo khóa này ngay sau khi đăng nhập bằng Google hoặc email. Khóa này là duy nhất cho mỗi tài khoản và thay thế bất kỳ khóa đang hoạt động nào trước đó.

Yêu cầu đầu tiên

Gửi yêu cầu hoàn thành trò chuyện tiêu chuẩn để tạo văn bản. Định danh mô hình là uncensored và chấp nhận cùng các tham số như các khách hàng OpenAI tiêu chuẩn. Điều này hoạt động cho các nhiệm vụ LLM NSFW hoặc tạo nội dung không giới hạn.

• Phương pháp: POST
• Điểm cuối: /v1/chat/completions
• Mô hình: uncensored

Copycurl https://api.ollamaendpoint.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Get the local ip address of this machine"}]
  }'

Một phản hồi thành công sẽ trả về văn bản được tạo trong mảng choices. Hãy kiểm tra usage trường để xem số lượng token.

Tích hợp SDK Python

Cài đặt thư viện OpenAI chính thức và cấu hình URL cơ sở. Điều này cho phép bạn sử dụng mô hình ollama không kiểm duyệt với mã Python quen thuộc. Đặt base_url và api_key trước khi khởi tạo máy khách. Mã vẫn tương thích với các SDK OpenAI hiện có.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.ollamaendpoint.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Gọi chat.completions.create phương thức giống như bạn sẽ làm với GPT. Cấu trúc phản hồi khớp với các kỳ vọng tiêu chuẩn. Bạn có thể phát trực tiếp hoặc nhận phản hồi đầy đủ.

Tích hợp SDK Node

Sử dụng gói OpenAI Node.js để tương tác với API. Cấu hình máy khách với URL cơ sở tùy chỉnh và khóa API của bạn. Cách tiếp cận này hoạt động cho các ứng dụng phía máy chủ hoặc các hàm biên. Gói xử lý tuần tự hóa và các lần thử lại tự động.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.ollamaendpoint.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Gọi endpoint completion với prompt của bạn. Thư viện trả về một promise sẽ giải quyết thành đối tượng phản hồi. Xử lý lỗi theo các mã trạng thái HTTP tiêu chuẩn.

Phản hồi luồng với SSE

Bật phát trực tiếp bằng cách đặt stream: true trong yêu cầu của bạn. Máy chủ trả về một luồng Server-Sent Events (SSE). Mỗi chunk chứa văn bản một phần và dữ liệu sử dụng token. Chunk cuối cùng bao gồm thống kê sử dụng đầy đủ để tính phí. Điều này giảm độ trễ cảm nhận cho các đầu ra dài.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Tích hợp các phần nội dung từ mỗi chunk để tái tạo lại phản hồi đầy đủ. Xử lý lỗi khi chúng xuất hiện trong luồng. Chunk cuối cùng xác nhận số lượng token cho số dư trả trước của bạn.

Giới hạn tốc độ và Ràng buộc

Mỗi khóa API hỗ trợ 300 yêu cầu mỗi phút và 8 yêu cầu đồng thời. Kích thước tối đa của thân yêu cầu là 8 MB. Cửa sổ ngữ cảnh là 100,000 token cho prompt và kết hợp hoàn thành. Giới hạn đầu ra là 16,000 token mỗi yêu cầu. Lỗi và từ chối không tiêu thụ tín dụng. Lỗi 401 có nghĩa là khóa của bạn không hợp lệ. Lỗi 402 cho biết không đủ tín dụng trả trước. Lỗi 429 có nghĩa là bạn đã đạt giới hạn tốc độ. Điều chỉnh độ đồng thời của bạn để duy trì trong giới hạn.