Server-TuningUnabhängig von der Live-Ansicht · Änderungen werden validiert und dauerhaft gespeichert Modell ReasoningMinimalMittelHoch Parallele Slots Kontext gesamt Batch-Größe µBatch-Größe KV-Cache Kf16q8_0q4_0q4_1iq4_nlq5_0q5_1bf16f32 KV-Cache Vf16q8_0q4_0q4_1iq4_nlq5_0q5_1bf16f32 Flash AttentionAutomatischAnAus Idle-Timeout (Sek.) Request-Timeout (Sek.) Die Agent-Priorität wird direkt per Stern in der Live-Modell-Spalte gesetzt. Andere Agents warten bei Konkurrenz mindestens 300 Sekunden; laufende Slots werden nicht unterbrochen. Die Anfrage-Pause hält neue Anfragen sichtbar in der Warteschlange und endet automatisch beim Manager-Neustart. Einstellungen anwenden
Letzte AnfragenKeine Inhalte, Schlüssel oder Client-IDsMesshistorie leerenModellReasoningWartenLadenTTFTTok/sTokensLimitGesamt