韩国发布自研大模型 Solar Open 100B

Upstage 发布了其专有的人工智慧 (AI) 模型 “Solar-Open-100B”，并表示它将建立 “最了解韩国文化甚至韩语细微差别的韩国人工智慧”。

Solar Open 是 Upstage 的旗舰型 102B 参数大规模语言模型，完全从零开始训练，并在 Solar-Apache 许可证 2.0（参见 LICENSE）下发布。作为一种专家混合（Mixture-of-Experts, MoE）架构，它在推理、指令遵循和代理能力方面提供企业级表现，同时优先考虑对开源社区的透明性和可定制性。

亮点

• MoE 架构（102B / 12B）：基于专家混合架构，总参数量为 1020 亿 / 活跃参数为 120 亿。该设计在提供大型模型知识深度的同时，兼顾了更小模型的推理速度和成本效率。
• 大规模训练：在 19.7 万亿（19.7 trillion）Token 上进行了预训练，确保在多个领域具有广泛的知识覆盖和稳健的推理能力。

Upstage 首席执行官金成勋在 30 日于首尔三成洞 COEX 礼堂举行的独立人工智能基金会模式项目首次简报会上表示：“与大型企业不同，Upstage 在过去的五年里一直专注于一个目标：构建能够帮助每个人的人工智能。”

这次首发版本展示的 Solar-Open 模型是一个 1000 亿级（1000 亿）的大型语言模型（LLM）。 Kim 表示：“该模型已超越简单的实验阶段，并已完善到可以部署到实际服务和工作环境中的水平。” 他还补充道：“我们同时注重验证其性能和效率。”

Upstage 强调了 Solar-Open 基于高品质数据的韩语理解能力是其竞争优势。 Kim 表示：「我们的目标不仅是精通韩语，而是要建构能够理解语境、情感和细微差别的 AI。」他着重强调了敬语和非正式用语之间的区别、根据情境变化的表达方式，以及对需要逐步推理的问题的回答。

在训练过程中，资源效率和训练稳定性被认定为核心任务。 Kim 表示：“由于我们使用政府支持的 GPU 进行训练，因此我们优先考虑资源效率。” 他补充道：“通过自动故障检测和故障转移系统以及训练优化，即使在大规模 GPU 环境下，我们也显著缩短了整体训练时间。”

Upstage 也强调，该模式是透过联盟内部的角色分工来实现的。 Upstage 联盟是五支菁英团队中唯一完全由新创公司组成的团队。

Upstage 也公布了下一代模型的计划。明年，该模型将扩展到 2000 亿级语言学习模型 (LLM)，使用 15 兆个代币进行训练，支援 25.6 万个上下文，并新增韩语、英语和日语三种语言。最终，该公司计划专注于模型的泛化能力和普及性，将模型扩展到 3000 亿级，同时扩大训练资料和上下文的范围。

韩国发布自研大模型 Solar Open 100B2

金补充道：“我们的目标只有一个，” 他说，“我们将与众多联盟一起，利用太阳能 LLM 技术，帮助打造一个能够与谷歌和 OpenAI 竞争的全球人工智能三大巨头。”

明年 1 月，政府将对参与自主人工智慧基础模型计画的团队进行第一阶段评估，全面检视其表现和未来规划，并根据评估结果筛选出四支菁英团队。之后，每六个月进行一次评估，每次减少一支精英团队，最终在 2027 年选出两支球队。