大家好! gpt image 2 的生图效果已经可以以假乱真,基于图片,我们的项目 OpenTalking 利用 soulx-flashtalk-14b 模型可以实现可动的对话交互。
GitHub 地址: https://github.com/datascale-ai/opentalking

OpenTalking 默认 avatar 模型是 flashtalk ,为了帮助大家快速体验,整条链路只需要本地部署 一个 模型服务( FlashTalk WebSocket ); LLM 、STT 、TTS 全部走阿里云百炼 API ( OpenAI 兼容端点 + DashScope 实时 ASR/TTS ),也可无痛切换为自己启动或者 OmniRT 部署的自定义模型服务。完整安装说明、模型权重下载和分布式部署见 docs/quickstart.md 、docs/deployment.md 和 docs/hardware.md

开箱即用的实时链路:从 LLM 回复、流式 TTS ,到字幕事件、状态事件和 WebRTC 播放,全部在一条链路中完成。

除了对话之外,电商带货、新闻主播、创意演唱/模仿秀都可实现,您可以开发更多的模式。

话不多说,上图 OWO:

(炉石酒馆鲍勃)
https://i.imgur.com/GWDcF9t.png

(初音未来 Miku )
https://i.imgur.com/MtgAwSK.png

项目基于 Apache License 2.0 协议开源,欢迎大家来跑一跑,提提 Issue 或者 PR !本项目仅用于学习研究,请勿用于违法犯罪。

标签: none

添加新评论