这个推理速度也太快了吧！chatjimmy.ai比查 db 都快啊！
chatjimmy.ai 可以体验 “Taalas 推出首款产品 HC1 ，搭载 Llama 3.1 8B 模型，性能达每用户 17,000 tokens/秒，较现有技术快近 10 倍，制造成本降低 20 倍，功耗减少 10 倍。该模型虽采用自定义 3-bit 数据格式，存在轻微精度损失，但第二代产品将采用标准 4-bit 浮点格式，进一步优化性能。”
- 上一篇: 这是换脸直播间吗？
- 下一篇: 一早起来， Antigravity 又挂了吗？