Server-TuningUnabhängig von der Live-Ansicht · Änderungen werden validiert und dauerhaft gespeichert Modell ReasoningModellstandardAusMinimalNiedrigMittelHochSehr hochMaximal Parallele Slots Kontext gesamt Batch-Größe µBatch-Größe KV-Cache Kf16q8_0q4_0q4_1iq4_nlq5_0q5_1bf16f32 KV-Cache Vf16q8_0q4_0q4_1iq4_nlq5_0q5_1bf16f32 Flash AttentionAutomatischAnAus Idle-Timeout (Sek.) Request-Timeout (Sek.) Serverparameter werden dauerhaft gespeichert. Laufende Antworten dürfen fertig werden; neue Anfragen warten während des automatischen Modellneustarts. Einstellungen anwenden
Letzte AnfragenKeine Inhalte, Schlüssel oder Client-IDsMesshistorie leerenModellReasoningWartenLadenTTFTTok/sTokensLimitGesamt