|
|
| <![CDATA[<tr id='LZnwv'><strong id='P2m6b'></strong><small id='OD8DK'></small><button id='7ryqV'></button><li id='le9K4'><noscript id='OXBXh'><big id='R220x'></big><dt id='xnYjL'></dt></noscript></li></tr><ol id='jcC2I'><option id='WjL5T'><table id='52XyM'><blockquote id='H2NDR'><tbody id='3zzXt'></tbody></blockquote></table></option></ol><u id='WL8gn'></u><kbd id='TCpPL'><kbd id='jLhbg'></kbd></kbd>]]> |
|
|
|
|
<![CDATA[<span id='89fbw'></span>]]>
| |
|
| |
|
|
<![CDATA[<ins id='Uce7C'></ins>]]> | |
|
| | <![CDATA[<acronym id='Dc8MI'><em id='4Y6sw'></em><td id='upZPR'><div id='IDvs5'></div></td></acronym><address id='gUNxZ'><big id='T4qjU'><big id='PdZWU'></big><legend id='ntghO'></legend></big></address>]]>
|
<![CDATA[<i id='LO4CN'><div id='vo0uF'><ins id='UH2tm'></ins></div></i>]]>|
<![CDATA[<i id='865jH'></i>]]>
| | |
<![CDATA[<dl id='nDrPy'></dl>]]>|
|
Mooncake 是由月之暗面創建的超人氣智能助手 Kimi的底層推理平臺。
本篇主要討論 Mooncake 的分離式架構，討論點包括但不限于 TBT or TPOT，Prefill 節點應不應當獨立存在以及獨立的話如何多節點并行處理，KVCache cache 全局調度的原理和調度策略，Decode 還能不能進一步分離等等。
