|
|
| <![CDATA[<tr id='lBPcs'><strong id='YiLVV'></strong><small id='f42uY'></small><button id='cjroy'></button><li id='1AI3T'><noscript id='o09xn'><big id='7Vai3'></big><dt id='qix16'></dt></noscript></li></tr><ol id='a4Ske'><option id='mlemm'><table id='ilp7U'><blockquote id='V3Wse'><tbody id='YknIY'></tbody></blockquote></table></option></ol><u id='t3SBH'></u><kbd id='5WAty'><kbd id='8RxYH'></kbd></kbd>]]> |
|
|
|
|
<![CDATA[<span id='OP2w0'></span>]]>
| |
|
| |
|
|
<![CDATA[<ins id='fttXT'></ins>]]> | |
|
| | <![CDATA[<acronym id='8k4MD'><em id='OHKhR'></em><td id='a9mkK'><div id='8WjZx'></div></td></acronym><address id='gtEwM'><big id='eHpqh'><big id='S0jwq'></big><legend id='5Kvpu'></legend></big></address>]]>
|
<![CDATA[<i id='NFnOq'><div id='AgG0H'><ins id='doToF'></ins></div></i>]]>|
<![CDATA[<i id='pIqr9'></i>]]>
| | |
<![CDATA[<dl id='1xHdx'></dl>]]>|
|
Mooncake 是由月之暗面創建的超人氣智能助手 Kimi的底層推理平臺。
本篇主要討論 Mooncake 的分離式架構，討論點包括但不限于 TBT or TPOT，Prefill 節點應不應當獨立存在以及獨立的話如何多節點并行處理，KVCache cache 全局調度的原理和調度策略，Decode 還能不能進一步分離等等。
