[开源] 只需一张图片,助你打破次元壁,实现和任何想聊天的角色对话,支持音色复刻、角色预设
大家好! gpt image 2 的生图效果已经可以以假乱真,基于图片,我们的项目 OpenTalking 利用 soulx-flashtalk-14b 模型可以实现可动的对话交互。
GitHub 地址: https://github.com/datascale-ai/opentalking
OpenTalking 默认 avatar 模型是 flashtalk ,为了帮助大家快速体验,整条链路只需要本地部署 一个 模型服务( FlashTalk WebSocket ); LLM 、STT 、TTS 全部走阿里云百炼 API ( OpenAI 兼容端点 + DashScope 实时 ASR/TTS ),也可无痛切换为自己启动或者 OmniRT 部署的自定义模型服务。完整安装说明、模型权重下载和分布式部署见 docs/quickstart.md 、docs/deployment.md 和 docs/hardware.md 。
开箱即用的实时链路:从 LLM 回复、流式 TTS ,到字幕事件、状态事件和 WebRTC 播放,全部在一条链路中完成。
除了对话之外,电商带货、新闻主播、创意演唱/模仿秀都可实现,您可以开发更多的模式。
话不多说,上图 OWO:
(炉石酒馆鲍勃)
https://i.imgur.com/GWDcF9t.png
(初音未来 Miku )
https://i.imgur.com/MtgAwSK.png
项目基于 Apache License 2.0 协议开源,欢迎大家来跑一跑,提提 Issue 或者 PR !本项目仅用于学习研究,请勿用于违法犯罪。