CyberStrike-OffSec-35B

Exécuter directement depuis HuggingFace ou avec un fichier local.

./llama-cli -hf oyildirim/CyberStrike-OffSec-35B-GGUF \
  -hff CyberStrike-OffSec-35B-Q5_K_M.gguf \
  -p "Explain SSRF exploitation in cloud environments" \
  -n 512 --temp 0.7

Pour un service de production avec une API compatible OpenAI.

vllm serve oyildirim/CyberStrike-OffSec-35B \
  --dtype bfloat16 \
  --max-model-len 4096 \
  --trust-remote-code

Utiliser avec la bibliothèque HuggingFace Transformers.

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model = AutoModelForCausalLM.from_pretrained(
    "oyildirim/CyberStrike-OffSec-35B",
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True,
)
tokenizer = AutoTokenizer.from_pretrained(
    "oyildirim/CyberStrike-OffSec-35B",
    trust_remote_code=True,
)