这交流环境也太恶劣了...

@songray 你 po 的内容有说明你的产品运行在什么样的网络环境和设备环境吗？只能知道是跑在 web 浏览器上的，web-llm 是不能跑在浏览器上吗？

笑死，自己没说清楚别人给你找了解决方案还说交流环境恶劣。。。

可以拿 polyglot 测试一下，哈哈

@ukhack 确实可以，实际上我也试了 cloudflare ai ，就是大模型返回实在是太慢了…

@vvhy 没搜到，可以贴个链接给我吗。 我真的很需要高性能方案 = =

我觉得这个挺好的，有时候把网页扒下来转换成 md ，会丢失对代码块语言的标记，导致我得手动添加。

@songray 不是方案，是可以解释为多种语言的代码 https://en.wikipedia.org/wiki/Polyglot_(computing)

@songray 大部分模型是可以转化到 onnx ，onnx 在浏览器运行也有成熟的 wasm 方案，好处是各环境能保持一致，比 tf 好处理，不过 onnx 的 wasm 版本目前社区只支持 cpu

感觉代码高亮这功能不是那么有必要上这么重量级的东西在浏览器里，本地应用的话还行。 如果是我，我可能会搞个粗糙的高亮方案，集合 top 10 种语言的大部分重要关键字，和字符串/数字/注释格式，这几样东西才是最需要高亮的东西，搞个通用又朴素的高亮应付所有代码。毕竟高亮文本只是个辅助视觉提示，不需要那么精确和花骚。这套轻量方案几 K 代码就搞定了，而上模型又慢又要 M 级内存打底。