以下為使用SGLang進(jìn)行單機(jī)部署的美團(tuán)示例:
python3 -m sglang.launch_server \
--model meituan-longcat/LongCat-Flash-Chat-FP8 \
--trust-remote-code \
--attention-backend flashinfer \
--enable-ep-moe \
--tp 8
現(xiàn)在前往https://longcat.ai/ ,Kimi-K2等產(chǎn)品。發(fā)布通過模型蒸餾等方式訓(xùn)練其他模型