视频加载失败

StreamAzure 的笔记

Mini-SGLang 源码解析:从 HTTP 到 SSE,5 次消息投递
从 HTTP 请求进入 API Server 开始,经 ZMQ 投递、tokenizer 分词、scheduler 调度计算,到增量 token 以 SSE chunk 返回客户端的完整链路。
#LLM Infra
Mini-SGLang 源码解析:从 HTTP 到 SSE,5 次消息投递
Profile Image of the Author
StreamAzure
读 LLM 推理引擎的源码,一篇讲清一条链路。
公告
本站已从 Hugo + PaperMod 迁移到 Astro + Firefly。
分类
标签
站点统计
文章
1
分类
1
标签
1
总字数
5,037
运行时长
0 天
最后活动
0 天前
站点信息
构建平台
GitHub Actions
博客版本
Firefly v6.16.8
文章许可
None

当前页面没有目录

文章目录

当前页面没有目录