Szybki start: zintegruj API bez cenzury

Wymagania wstępne: SDK i zmienne środowiskowe

Zacznij od zainstalowania preferowanego SDK i ustawienia poświadczeń w zmiennych środowiskowych. Nasza usługa korzysta ze standardowych interfejsów kompatybilnych z OpenAI, więc istniejące biblioteki klienta działają bez modyfikacji. Potrzebujesz tylko klucza API z pulpitu nawigacyjnego oraz bazowego adresu URL do żądań. Nie są wymagane żadne złożone nakładki ani nagłówki własne dla podstawowej integracji.

Copycurl https://api.claudecostpermilliontokens.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "What is the current cost per million tokens for the Pro model?"}]
  }'

Upewnij się, że zmienne środowiskowe są poprawnie wyeksportowane przed uruchomieniem skryptów. To podejście zapewnia bezpieczeństwo uwierzytelniania i przenośność kodu w różnych środowiskach wdrożeniowych.

Inicjowanie klienta z adresem bazowym

Skonfiguruj bibliotekę klienta, aby wskazywała na nasz bazowy adres URL zamiast domyślnego endpointu dostawcy. Użyj dostarczonego bazowego adresu URL i swojego klucza API, aby zainicjować połączenie. Ta prosta zmiana kieruje cały ruch do naszego modelu bez cenzury, zachowując kompatybilność ze standardowymi metodami SDK.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.claudecostpermilliontokens.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Sprawdź połączenie, wypisując dostępne modele. Ten krok potwierdza, że klient jest poprawnie skierowany do naszej infrastruktury przed wysłaniem jakichkolwiek rzeczywistych promptów lub danych.

Wysyłanie twojego pierwszego żądania chat completion

Wyślij standardowe żądanie chat completion używając identyfikatora modelu uncensored. Model ten obsługuje wejście i wyjście tekstowe bez odrzucania treści dla legalnego użytku dla dorosłych. Możesz przekazywać wiadomości, ustawiać temperaturę i definiować inne parametry tak, jak w przypadku dowolnego innego endpointu kompatybilnego z OpenAI.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.claudecostpermilliontokens.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Sprawdź odpowiedź pod kątem wygenerowanego tekstu i zużycia tokenów. Potwierdza to, że Twoja integracja działa poprawnie i że model reaguje zgodnie z oczekiwaniami na Twoje prompty.

Obsługa odpowiedzi strumieniowych i tokenów

Włącz strumieniowanie, ustawiając parametr stream na true w żądaniu. API zwraca fragmenty tekstu, gdy są generowane, umożliwiając wyświetlanie outputu w czasie rzeczywistym. Każdy fragment zawiera dane o użyciu tokenów w ostatnim fragmencie, pomagając w dokładnym śledzeniu zużycia.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Przetwarzaj każdy fragment wydajnie, aby utrzymać niską latencję. Metoda ta jest idealna dla aplikacji, w których kluczowa jest natychmiastowa informacja zwrotna, takich jak interfejsy czatu lub narzędzia do generowania kodu w czasie rzeczywistym.

Korzystanie z wywoływania funkcji i trybu JSON

Wykorzystaj wywoływanie funkcji i tryb JSON dla danych strukturalnych. Ustaw format odpowiedzi na JSON, aby zapewnić spójne parsowanie w Twojej aplikacji. Możesz również zdefiniować narzędzia i określić wybory narzędzi, aby kierować zachowaniem wyjściowym modelu.

Parametry takie jak temperatura, top_p i sekwencje stop pozwalają na precyzyjne dostosowanie stylu odpowiedzi. Wykorzystaj te funkcje, aby bezproblemowo zintegrować model ze swoim istniejącym przepływem pracy.

Zarządzanie uwierzytelnianiem i limitami

Twój klucz API uwierzytelnia wszystkie żądania, przy czym błędy takie jak 401 oznaczają nieprawidłowy klucz, a 402 sygnalizuje niewystarczający kredyt. Limity szybkości ograniczają Cię do 300 żądań na minutę i 8 równoległych żądań na klucz. Okno kontekstowe obsługuje do 100,000 tokenów, z maksymalną wyjściową liczbą 16,000 tokenów na żądanie.

Monitoruj swoje zużycie, aby uniknąć przerw. Błędy podczas przetwarzania są darmowe, więc możesz ponowić żądania bez obaw o zużycie tokenów. Chroń swój klucz i wymień go, jeśli jest to konieczne, przez panel.