StreamAzure's Blog

从 HTTP 请求进入 API Server 开始，经 ZMQ 投递、tokenizer 分词、scheduler 调度计算，到增量 token 以 SSE chunk 返回客户端的完整链路。