CyberStrike-OffSec-35B

Direkt von HuggingFace oder mit einer lokalen Datei ausführen.

./llama-cli -hf oyildirim/CyberStrike-OffSec-35B-GGUF \
  -hff CyberStrike-OffSec-35B-Q5_K_M.gguf \
  -p "Explain SSRF exploitation in cloud environments" \
  -n 512 --temp 0.7

Für produktionstaugliches Serving mit OpenAI-kompatibler API.

vllm serve oyildirim/CyberStrike-OffSec-35B \
  --dtype bfloat16 \
  --max-model-len 4096 \
  --trust-remote-code

Mit der HuggingFace Transformers Bibliothek verwenden.

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model = AutoModelForCausalLM.from_pretrained(
    "oyildirim/CyberStrike-OffSec-35B",
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True,
)
tokenizer = AutoTokenizer.from_pretrained(
    "oyildirim/CyberStrike-OffSec-35B",
    trust_remote_code=True,
)