256 B
256 B
Ctrl+C 停掉当前服务,用 -lv 3 启动(显示更详细日志)
~/llama.cpp/build/bin/llama-server \
-m ~/models/qwen2.5-7b-instruct-q4_k_m-00001-of-00002.gguf \
--host 0.0.0.0 \
--port 18888 \
-ngl 35 \
--metrics \
-lv 3