Ollama एंडपॉइंट API दस्तावेज़ीकरण

बेस URL और प्रमाणीकरण

प्रत्येक अनुरोध के लिए प्रदान की गई बेस यूआरएल और एपीआई कुंजी का उपयोग करें। एंडपॉइंट है https://api.ollamaendpoint.com/v1अनुमोदन header एक Bearer token के रूप में। आप Google या ईमेल से लॉगिन करने के तुरंत बाद यह कुंजी उत्पन्न करते हैं। कुंजी प्रति खाते अद्वितीय होती है और किसी भी पिछली सक्रिय कुंजी को प्रतिस्थापित कर देती है।

पहला अनुरोध

टेक्स्ट जनरेट करने के लिए एक मानक चैट पूर्णता भेजें। मॉडल ID है uncensored और मानक OpenAI क्लाइंट्स के समान ही पैरामीटर स्वीकार करता है। यह NSFW LLM कार्यों या बिना प्रतिबंध वाली सामग्री जनरेशन के लिए काम करता है।

• विधि: POST
• एंडपॉइंट: /v1/chat/completions
• मॉडल: uncensored

Copycurl https://api.ollamaendpoint.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Get the local ip address of this machine"}]
  }'

एक सफल प्रतिक्रिया जनरेटेड टेक्स्ट को choices एरे में लौटाती है। जांचें कि usage टोकन गणना देखने के लिए फ़ील्ड।

Python SDK इंटीग्रेशन

औपचारिक OpenAI लाइब्रेरी को इंस्टॉल करें और बेस URL को कॉन्फ़िगर करें। इससे आपको परिचित Python कोड के साथ अनसेंसर्ड ollama मॉडल का उपयोग करने की अनुमति मिलती है। सेट करें base_url और api_key इंटीग्रेट करने से पहले। जांचें कि अनुरोध POST का उपयोग करते हैं

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.ollamaendpoint.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

कॉल करें chat.completions.create विधि बिल्कुल वैसे ही जैसे आप GPT के लिए करते हैं। प्रतिक्रिया की संरचना मान अपेक्षाओं से मेल खाती है। आप स्ट्रीम कर सकते हैं या पूर्ण प्रतिक्रियाएं प्राप्त कर सकते हैं।

Node SDK एकीकरण

एपीआई के साथ इंटरैक्ट करने के लिए नोड.जेएस ओपनएआई पैकेज का उपयोग करें। कस्टम बेस यूआरएल और अपनी एपीआई कुंजी के साथ क्लाइंट को कॉन्फ़िगर करें। यह दृष्टिकोण सर्वर-साइड एप्लिकेशन्स या एज फंक्शन्स के लिए काम करता है। पैकेज स्वचालित रूप से सीरियलाइजेशन और रिट्राइज हैंडल करता है।

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.ollamaendpoint.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

अपने प्रॉम्प्ट के साथ कंप्लीशन एंडपॉइंट को इंकॉक करें। लाइब्रेरी एक प्रॉमिस लौटाती है जो रिस्पॉन्स ऑब्जेक्ट पर रिज़ॉल्व होती है। मानक HTTP स्टेटस कोड्स के अनुसार त्रुटियों को हैंडल करें।

SSE के साथ स्ट्रीमिंग रिस्पॉन्सेस

सेटिंग करके स्ट्रीमिंग सक्षम करें stream: true आपके अनुरोध में। सर्वर एक Server-Sent Events (SSE) स्ट्रीम लौटाता है। प्रत्येक chunk में आंशिक पाठ और टोकन उपयोग डेटा होता है। अंतिम chunk बिलिंग के लिए पूर्ण उपयोग सांख्यिकी शामिल करता है। यह लंबे आउटपुट के लिए अनुभवजन्य विलंबता को कम करता है।

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

प्रत्येक चंक से सामग्री भागों को एकत्र करके पूर्ण प्रतिक्रिया को पुनर्स्थापित करें। स्ट्रीम में आने पर त्रुटियों को प्रक्रिया करें। अंतिम चंक आपके प्रीपेड क्रेडिट के लिए टोकन गिनती की पुष्टि करता है।

रेट लिमिट्स और बाधाएँ

प्रत्येक API कुंजी प्रति मिनट 300 अनुरोधों और 8 समवर्ती अनुरोधों का समर्थन करती है। अधिकतम अनुरोध बॉडी आकार 8 MB है। प्रॉम्प्ट और कंप्लीशन के लिए संयुक्त रूप से 100,000 टोकन के लिए कंटैक्स्ट विंडो है। प्रति अनुरोध आउटपुट सीमा 16,000 टोकन है। त्रुटियां और अस्वीकृतियां क्रेडिट नहीं खातीं। एक 401 त्रुटि का अर्थ है कि आपकी कुंजी अमान्य है। एक 402 त्रुटि का अर्थ है अपर्याप्त पूर्वभुगतान क्रेडिट। एक 429 त्रुटि का अर्थ है कि आपने दर सीमा को पार कर लिया है। अपनी समवर्तिता को सीमाओं के भीतर रखने के लिए समायोजित करें।