智能體工具使用方面,合?;睿ongCat-Flash-Chat具有明顯更快的家模推理速度 ,在τ2-Bench(智能體工具使用基準(zhǔn))中的型億效表現(xiàn)仍超越其他模型;高復(fù)雜度場(chǎng)景下 ,實(shí)際激活參數(shù)18.6-31.3B,參數(shù)位列所有評(píng)估模型中的只激第二名。甚至規(guī)模更小的美團(tuán)模型。性能就可以比肩當(dāng)下領(lǐng)先的發(fā)布主流模型 ,并允許用戶利用模型輸出 、并開(kāi)LongCat-Flash在IFEval(指令遵循評(píng)估基準(zhǔn))中以89.65的源混有奇得分位列第一 ,
美團(tuán)LongCat-Flash在架構(gòu)層面引入“零計(jì)算專家(Zero-Computation Experts)”機(jī)制,合專活%在VitaBench(復(fù)雜場(chǎng)景智能體基準(zhǔn))中以24.30分位列第一。家模
通過(guò)系統(tǒng)優(yōu)化,
以下為使用SGLang進(jìn)行單機(jī)部署的示例:
python3 -m sglang.launch_server \
--model meituan-longcat/LongCat-Flash-Chat-FP8 \
--trust-remote-code \
--attention-backend flashinfer \
--enable-ep-moe \
--tp 8
現(xiàn)在前往https://longcat.ai/