xiaohack's Blog - 模型训练
type: channel
link: https://blog.xiaohack.org/tag/96cba317-a3283a/
items: 手把手教你进行论文复现，小白也能学会，赶紧收藏
items: 基于 YOLOv8 的多犬种（60种常见犬类）智能识别系统项目 [目标检测完整源码]
items: AI 撞到“数据天花板”，一场革命正悄悄上演
items: DeepSeek提出mHC，改造何恺明残差连接
items: 基于YOLOv8的蚊蝇位置智能检测识别项目｜完整源码数据集+PyQt5界面+完整训练流程+开箱即用！
items: 大模型长脑子了？研究发现LLM中层会自发模拟人脑进化 ｜
items: 最近在站里看见了很多吐槽 codex 的帖子，我分享一些自己的使用经验给各位参考
items: 分享自己训练的音乐分轨分离模型，已上传 HuggingFace，能一行代码拉取调用

手把手教你进行论文复现，小白也能学会，赶紧收藏
type: item
date: 2026-01-23T17:49:26+08:00
description: 手把手教你进行论文复现，小白也能学会，赶紧收藏复现，是你迈入“真科研”的第一步。你是不是常常看见学术圈或技术论坛中大家提到“论文复现”这个词，却不太明白它的含义？别急！这篇超详细的实操指南，从“是什么” 到 “怎么做”，再到 “避坑技巧”，手把手带小白走完第一次论文复现，赶紧收藏起来慢慢看～什么是“复现”？复现≠复制粘贴！它是用原作者公开的技术细节、实验步骤、代码仓库和数据集，自己动手重新实现，验证论文结果是否可重复的过程。简单说，就是跟着论文的“说明书”，亲自跑一遍实验,既能吃透论文核心逻辑，又能练编程、调参技能，还能检验研究成果的可靠性，毕竟学术研究的本质就是“可验证、可推广”。为什么要做论文复现？1. 深入理解核心技术复现的最大好处是能够从理论层面走向实践。光看论文中的理论、公式和结果可能无法完全理解其背后的实现细节，而亲自动手复现，可以让你更好地理解技术原理。2. 检验研究成果的可靠性论文中的研究结果，未必在其他环境下也能复现，尤其是涉及到数据集和模型训练等因素时。通过复现，我们可以验证这些结果是否具有普适性。3. 累积实战经验复现过程是一个实战的过程，尤其是在深度学习和机器学习、大模型领域，实验中的调参、数据处理、模型选择等都会是你宝贵的经验。对科研人员来说，复现一些经典论文是最直接的学习方式。手把手教你做第一个复现项目复现论文并不是一件容易的事，但只要你掌握了方法，逐步进行，也能顺利完成。接下来我们以《PhotoDoodle: Learning Artistic Image Editing from Few-Shot Examples》这篇论文为例，借助大模型实验室Lab4AI平台，带你从头开始复现。Step 1 找到合适的论文和代码复现的第一步是找到值得复现且能复现的论文和代码。大多数论文会将其代码发布在GitHub或其他平台上，因此你需要阅读论文，并且找到代码仓库的链接，链接通常附加在论文末尾或摘要部分。找到论文提供的GitHub开源代码后，你需要查看项目中是否有清晰的README文件，介绍如何配置环境、安装依赖、运行代码等。这里分享5个筛选项目的关键技巧，总结为“三查”核心原则：查信息完整性、查代码一致性、查资源可行性，帮你快速避坑：完整信息性：优先选择开源项目，尤其是原作者主动公开代码仓库、数据集，这种项目复现难度较低。同时，选择项目时优先关注项目活跃度、检查Star数、Fork数、更新频率、issue解决率等。一般情况下数值越高，说明社区认可度高、维护更及时，遇到问题更容易找到解决方案；代码一致性：检查代码和论文的实现是否一致。如果有问题，可以参考GitHub上的Issues查看是否有人遇到类似问题。资源可行性：检查项目是否提供完整依赖清单、数据集及模型下载链接。如果作者未提供，你可能需要额外花费大量时间寻找适配资源。在《PhotoDoodle》这篇论文中，GitHub上的代码仓库包含了与艺术图像编辑相关的实现，README有详细的项目介绍，包括了从少量样本中学习艺术风格的代码。需要重点关注以下几个部分：项目概述：了解这篇论文的核心思想，确认复现的目标。环境配置：确认环境依赖是否满足你的系统，查看Python、CUDA和其他必需库的版本。训练与推理代码：观察代码是否完整，并分析如何通过代码进行图像编辑任务，特别是如何加载预训练模型、微调模型、以及如何用少量图像进行训练。Step 2 配置环境并安装依赖本次我们选用大模型实验室Lab4AI来进行复现，平台提供灵活计费的H卡算力，闲时使用更优惠。您也可以使用本地资源或者实验室资源，进行本次复现。打开大模型实验室Lab4AI，登录大模型实验室Lab4AI平台。点击右侧“新建实例”，新建前建议先查看“GitHub项目的文档”的环境配置说明。Step 3 下载代码新建实例后，先下载论文代码，推荐4种常用方式：第一种：通过HTTPS方式。通过网页URL链接克隆，无需额外配置密钥，是最常用的方式；第二种：通过SSH方式。通过SSH密钥认证克隆，需通过SSH密钥认证克隆提前在GitHub账号绑定本地SSH密钥，更安全且无需重复输入密码；第三种：通过GitHub CLI方式。通过GitHub官方命令行工具克隆，需先安装并登录该工具，适合习惯命令行操作的用户；第四种：直接下载项目压缩包，不需要Git工具即可获取代码。Step 4 配置环境环境配置是复现的“重头戏”，按以下步骤操作，少踩 90% 的坑：(1) 创建独立虚拟环境，这样能够避免依赖冲突：conda create -n doodle python=3.11.10 # 创建环境 conda activate doodle # 激活环境(2) 安装PyTorch与项目依赖使用 cd 命令进入代码所在文件夹，再分两步安装。…

基于 YOLOv8 的多犬种（60种常见犬类）智能识别系统项目 [目标检测完整源码]
type: item
date: 2026-01-22T21:37:45+08:00
description: 基于 YOLOv8 的多犬种（60种常见犬类）智能识别系统项目 [目标检测完整源码]—— 面向 60 类常见犬种的目标检测与可视化应用落地一、背景与问题：为什么“犬种识别”值得工程化？在宠物经济高速发展的今天，犬类已经从“家庭陪伴动物”逐步演变为需要精细化管理与智能化服务的对象。在实际场景中，犬种信息直接影响：饲养与行为管理策略疫苗接种与健康风险评估宠物交易、领养与救助流程城市宠物管理与公共安全然而，现实中对犬种的识别依然高度依赖人工经验，不仅主观性强，而且在混血犬、幼犬、复杂光照条件下误判率较高。问题的本质在于：如何构建一个既具备高识别精度，又真正“可落地使用”的犬种识别系统？本项目正是围绕这一问题，给出了一套完整可复现的工程级解决方案。源码下载与效果演示哔哩哔哩视频下方观看：https://www.bilibili.com/video/BV1wB8MzsE9P/包含：📦完整项目源码📦 预训练模型权重🗂️ 数据集地址（含标注脚本二、系统整体架构设计该项目并非单一模型 Demo，而是一个从数据、训练到部署的完整闭环系统，整体架构如下：┌────────────┐ │ 数据集层 │ 犬类图像 + YOLO 标注 └─────┬──────┘ ↓ ┌────────────┐ │ 模型训练 │ YOLOv8 Detection └─────┬──────┘ ↓ ┌────────────┐ │ 推理服务 │ 图片 / 视频 / 摄像头 └─────┬──────┘ ↓ ┌────────────┐ │ GUI 应用 │ PyQt5 桌面端 └────────────┘核心目标只有一个：让“深度学习模型”真正变成“普通用户能用的软件”。三、模型选型：为什么是 YOLOv8？在多类别实时检测任务中，YOLO 系列一直是工程实践的主流方案。本项目最终选择 YOLOv8，主要基于以下考虑：3.1 架构层面的优势Anchor-Free 设计减少超参数依赖，收敛更稳定Task-Aligned Assigner分类与定位目标一致性更强更轻量的 Backbone 与 Neck在保证精度的同时提升推理速度3.2 工程友好性原生支持 PyTorch / ONNXUltralytics 提供统一 CLI 与 Python API训练、验证、推理接口高度一致这使得模型不仅“好训”，而且非常适合与 GUI、业务系统结合。四、犬种数据集构建与标注规范4.1 数据规模与类别本系统覆盖 60 种常见犬类，包括但不限于：柯基、哈士奇、柴犬金毛、拉布拉多、贵宾犬德牧、边牧、博美等每个类别均包含多姿态、多背景、多尺度样本，尽量贴近真实使用场景。4.2 数据组织结构（YOLO 标准）dataset/ ├── images/ │ ├── train/ │ └── val/ ├── labels/ │ ├── train/ │ └── val/标签文件采用 YOLO 标准格式：<class_id> <x_center> <y_center> <width> <height>所有坐标均为 相对比例值，确保模型在不同分辨率下具备一致性。五、模型训练流程详解5.1 训练配置示例yolo detect train \ data=dog.yaml \ model=yolov8n.pt \ epochs=100 \ batch=16 \ imgsz=640关键训练策略包括：合理的 batch size 控制显存占用数据增强（翻转、尺度变换、颜色扰动）早期收敛阶段重点关注 box_loss 与 cls_loss5.2 训练过程监控YOLOv8 在 runs/detect/train/ 目录中自动生成：损失函数变化曲线mAP@0.5 / mAP@0.5:0.95混淆矩阵（类别间区分能力）在实际实验中，多数犬种在 mAP@0.5 指标上稳定超过 90%，具备实际应用价值。六、多模态推理能力设计本系统支持多种输入形式，统一由同一推理接口处理。6.1 单张图片与批量图片支持文件与文件夹级别输入自动生成标注结果图适合数据复查与分析场景6.2 视频与实时摄像头基于 OpenCV 逐帧推理支持实时显示检测结果可选保存输出视频文件这一能力使系统能够直接应用于：宠物门店实时监控救助站视频巡检展示型 AI 应用演示七、PyQt5 图形界面设计要点为了降低使用门槛，项目引入 PyQt5 构建完整桌面应用。7.1 界面功能划分输入控制区：选择图片 / 视频 / 摄像头结果展示区：实时显示检测画面日志与状态区：输出模型运行信息7.2 工程价值无需命令行操作非算法人员也可直接使用适合作为课程设计、毕业设计、项目演示系统八、推理代码核心示例from ultralytics import YOLO model = YO…

AI 撞到“数据天花板”，一场革命正悄悄上演
type: item
date: 2026-01-22T15:05:02+08:00
description: 撰稿：李文朋编辑：王一鹏这两年 AI 发展很快，很多企业遇到的瓶颈也在变化：不再是“算力不够”，而是“数据跟不上”。2026 年 1 月，IDC 在《边缘进化：从核心到边缘驱动成功》报告中提到：已经部署生成式 AI 的企业里，超过 60%的“实时交互类应用的响应延迟比预期高”。很多时候，这种延迟不一定是模型慢，也不一定是算力不够，而是数据散在企业内部各处，口径不统一，质量也不稳定，关键时刻更是“找不到、拿不出、对不上、流不动”。金融行业感受特别明显。一位城商行做数字化建设的负责人公开表示：“我们目前不缺算力，也不缺模型。缺的是能让模型真正跑起来的数据。”模型训练成本在下降，但把数据整理好、清洗好、能实时用起来的成本反而越来越高。2026 年初，这个问题已经不只是“体验不好”，甚至会影响商业项目的成败。IDC 在 FutureScape 里提醒称：今年，50%的 AI 驱动应用将会因为数据基础薄弱，达不到原定 ROI 目标。事实上，数据的重要性远不止如此，更长远一点看，甚至会关系到 AI 到底能走多远。2025 年云栖大会上，阿里巴巴集团 CEO 吴泳铭谈过一个判断：AGI 大概率会出现，但只是开始。真正的下一步，是走向能自我迭代、持续变强的 ASI。他把过程分成三段：先学会推理，再学会使用工具辅助人类，然后连接现实世界的数据，能自己学习、自己迭代。说得更直白一点：未来 AI 更像一个“持续在线的系统”，它得不断吃到最新的数据，并把这些数据变成新的能力。数据是否能高效、持续地进入系统，变得愈加重要。正因如此，很多基础设施厂商开始关注“更适合 AI 使用的数据”方向。数据库不再是“存数据”，而是要让数据更容易被统一管理、被实时取用、被不同类型的模型和应用调用。2026 年 1 月 20 日，阿里云在 2026 PolarDB 开发者大会上发布了 AI 就绪（AI-Ready）云原生数据库新标准。它想解决的事情其实很简单：让数据系统不仅能存储、查询多模态数据，还将直接驱动 AI 智能决策，让数据进入模型与业务的路径更短、更稳定，以及更安全。阿里云资深副总裁、数据库产品事业部负责人李飞飞表示：“未来，AI 原生数据库是技术演进的必然方向。从云原生到 Al 就绪，再到 Al 原生，PolarDB 将持续深化 AI 与数据库的融合创新，加快走向超级人工智能时代。”从行业视角看，数据库已不只是业务系统的底座，开始逐渐变成智能应用能不能跑顺的关键部分。围绕“数据怎么被组织、被使用、被转化”的变革，已悄然上演。第一部分：数据困境的背后：是新旧时代的“不兼容”过去很多年，企业做数据治理的“沉淀逻辑”只有一个：让人更容易做决策。业务员、分析师、管理层要看的数据，通常得“对得上”“能解释”“表格整齐”。于是传统数据团队投入大量成本做 ETL（清洗、转换、加载），把数据整理成一张张看起来清楚、口径一致的报表。问题是，现在数据的“主要使用者”变了：很多数据不是给人看，而是给模型用。这就会出现一种情况：对人很友好的数据，不一定对模型有用。一个常见例子是风控。在传统的数据整理过程中，为了让报表更稳定、更好讲，分析人员往往会把极端交易、可疑行为当成离群点删掉，觉得它们会影响整体判断。但对模型来说，删掉这些样本的结果是：正常样本越来越多，异常样本越来越少；并导致欺诈、极端风险这些关键模式识别，几乎无法归纳学习。换句话说，在 AI 时代，“干净数据”并不等于“高质量训练数据”。今天很多企业说“数据资产不少，但模型效果一般”，背后往往是同一类问题——现有数据的组织方式，跟模型所需要的对不上——本质就是“兼容”问题。例如，在结构方面，企业现有数据多数是二维表格，字段清晰，适合报表和人工分析。但很多模型更需要的是向量、图结构、时间序列这些形式，用来表达关系、上下文和变化。传统数据的维度也不够。传统指标体系更强调“少而精”，字段要能解释能展示，但模型训练往往靠大量稠密特征。很多特征单看没什么意义，要组合起来才有价值。传统数据更新速度也慢。很多系统按天、按周更新数据，这对复盘、报表够用，但推荐、风控、运营决策这类应用，往往希望输入尽量接近实时。传统数据格式也较为分散，不少业务系统以结构化数据为主，图像、音频、视频、传感器流等数据通常分散在各自系统里，管理不在一起，调用也不在一起。于是看上去数据资产很多，但真正能直接拿来训练、推理的数据，比例并不高。大家越来越接受一个现实：2026 年，数据本身将决定 AI 模型的能力天花板。为了缓解上面的这些“对不上”问题，“AI 就绪数据”（AI-Ready Data）应运而生。它想表达的不是一个新概念，而是一件很具体的事：数据要经过专门的整理、特征化和组织，以更小的工程成本直接用于训练、推理和决策。AI 就绪数据，通常会包含几类要求：首…

DeepSeek提出mHC，改造何恺明残差连接
type: item
date: 2026-01-21T18:14:21+08:00
description: DeepSeek提出mHC，改造何恺明残差连接大模型实验室Lab4AI论文阅读✔️研究背景深度学习中，残差连接 是 ResNet、Transformer 等架构（含 LLM）的基础，其恒等映射特性保障了大规模训练的稳定性与效率。Hyper-Connections（HC）通过扩展残差流宽度、多样化连接模式提升模型性能，但因连接无约束，破坏了恒等映射特性，导致训练不稳定、扩展性受限，且存在显著内存访问与通信开销，这一问题限制了 HC 在大规模训练中的实际应用，形成研究缺口。✔️研究目的本文解决 HC 架构存在的训练不稳定性、扩展性差及系统开销大的核心问题，同时保留 HC 扩展残差连接带来的性能优势，提出一种兼顾稳定性、扩展性与效率的通用残差连接框架，支撑大规模深度学习模型（尤其是 LLM）的高效训练。✔️核心贡献提出 Manifold-Constrained Hyper-Connections（mHC）框架，通过将 HC 的残差映射投影到双随机矩阵流形（Birkhoff 多面体），恢复恒等映射特性，保障信号传播稳定性；对输入 / 输出映射施加非负约束，避免信号抵消，同时通过核融合、选择性重计算、DualPipe 通信重叠等基础设施优化，降低系统开销；实证验证 mHC 在大规模预训练中的有效性，为深度网络拓扑架构设计提供新视角，推动基础模型的演进。✔️研究方法1）核心方法论：采用 Sinkhorn-Knopp 算法将残差映射 H_res 熵投影到双随机矩阵流形，对 H_pre 和 H_post 用 Sigmoid 函数施加非负约束；2）基础设施优化：基于 TileLang 实现混合精度核融合，通过选择性重计算降低内存占用，扩展 DualPipe 调度实现通信与计算重叠；3）实验设计：在3B至27B参数的语言模型上进行预训练实验，对比基线、HC和mHC的稳定性、下游任务性能及缩放特性。✔️研究结果1）稳定性提升：mHC在27B模型训练中消除HC的损失突增现象，梯度范数保持稳定（对比HC的3000倍信号增益峰值，mHC最大增益仅1.6倍）。2）性能优势：在推理、阅读理解、数学问题解决等任务上全面优于基线和 HC，27B 模型在 BBH 上较 HC 提升 2.1%；3）扩展性与效率：支持模型规模与训练数据量的高效扩展，n=4 时仅增加 6.7% 时间开销，显著降低内存访问与通信成本。

基于YOLOv8的蚊蝇位置智能检测识别项目｜完整源码数据集+PyQt5界面+完整训练流程+开箱即用！
type: item
date: 2026-01-20T13:12:43+08:00
description: 基于YOLOv8的蚊蝇位置智能检测识别项目｜完整源码数据集+PyQt5界面+完整训练流程+开箱即用！源码包含：完整YOLOv8训练代码+数据集(带标注)+权重文件+直接可允许检测的yolo检测程序+直接部署教程/训练教程基本功能演示https://www.bilibili.com/video/BV1zYrhBxEau/源码在哔哩哔哩视频简介处项目摘要本项目基于 YOLOv8 深度学习检测模型，结合 PyQt5 图形界面，实现了对蚊子和苍蝇的自动检测与定位。项目核心特点包括：多输入源支持：可处理单张图片、图片文件夹、视频文件以及实时摄像头输入。高精度识别：利用定制蚊蝇数据集训练，准确识别蚊子与苍蝇，同时兼顾背景样本，降低误报率。开箱即用：提供完整源码、训练数据、预训练权重及部署教程，用户可直接运行检测系统或继续训练自定义模型。可视化界面：PyQt5 图形界面直观展示检测结果，支持边框显示、类别标注、置信度显示等功能。灵活扩展：项目结构清晰，可快速扩展到其他小型生物检测任务或多分类目标检测场景。通过本项目，用户可实现蚊蝇数量监测、位置统计及风险评估，为实验室、公共卫生、农业及城市环境管理提供智能化工具。前言随着智能视觉技术的发展，小型害虫检测在公共卫生、农作物管理及环境监测中具有重要意义。传统人工检测方法不仅耗时长、效率低，而且容易漏检或误判。借助 YOLO 系列目标检测算法，本项目提供了一种快速、准确、可扩展的蚊蝇检测解决方案。项目基于无人机或固定摄像头拍摄的实验样本，通过训练专用数据集，使模型能够在复杂背景下自动识别蚊子和苍蝇位置。结合 PyQt5 图形界面，用户无需掌握深度学习底层技术即可完成检测、可视化及数据统计。一、软件核心功能介绍及效果演示核心功能图片检测支持单张图片检测，自动标注蚊子和苍蝇位置。输出标注图与 YOLO 格式检测结果。批量图片处理支持文件夹中所有图片的批量检测。自动生成检测报告，包括数量统计及置信度分析。视频检测支持本地视频文件输入，实时识别视频中的蚊子与苍蝇。可选择保存检测后的视频，标注框清晰展示目标。摄像头实时检测支持 USB 摄像头或笔记本内置摄像头实时捕捉并检测蚊蝇。界面显示实时检测帧，支持帧率与置信度调节。检测结果可视化在 PyQt5 界面中显示目标框、类别及置信度。支持结果导出，包括图片、视频和 CSV 数据。训练与模型管理提供完整训练代码与数据集标注示例。可加载自定义权重继续训练或微调模型。支持 YOLOv8 标准训练流程，包括训练集划分、超参数配置和结果可视化。效果演示图片示例：检测后每只蚊子与苍蝇都会被框出，类别和置信度清晰显示。视频示例：视频播放时，模型实时标注移动的目标，统计目标数量并可导出检测数据。实时摄像头示例：界面上可即时显示检测框与数量统计，操作简单，无需命令行操作。二、软件效果演示为了直观展示本系统基于 YOLOv8 模型的检测能力，我们设计了多种操作场景，涵盖静态图片、批量图片、视频以及实时摄像头流的检测演示。（1）单图片检测演示用户点击“选择图片”，即可加载本地图像并执行检测：（2）多文件夹图片检测演示用户可选择包含多张图像的文件夹，系统会批量检测并生成结果图。（3）视频检测演示支持上传视频文件，系统会逐帧处理并生成目标检测结果，可选保存输出视频：（4）摄像头检测演示实时检测是系统中的核心应用之一，系统可直接调用摄像头进行检测。由于原理和视频检测相同，就不重复演示了。（5）保存图片与视频检测结果用户可通过按钮勾选是否保存检测结果，所有检测图像自动加框标注并保存至指定文件夹，支持后续数据分析与复审。三、模型的训练、评估与推理YOLOv8是Ultralytics公司发布的新一代目标检测模型，采用更轻量的架构、更先进的损失函数（如CIoU、TaskAlignedAssigner）与Anchor-Free策略，在COCO等数据集上表现优异。其核心优势如下：高速推理，适合实时检测任务支持Anchor-Free检测支持可扩展的Backbone和Neck结构原生支持ONNX导出与部署3.1 YOLOv8的基本原理YOLOv8 是 Ultralytics 发布的新一代实时目标检测模型，具备如下优势：速度快：推理速度提升明显；准确率高：支持 Anchor-Free 架构；支持分类/检测/分割/姿态多任务；本项目使用 YOLOv8 的 Detection 分支，训练时每类表情均标注为独立目标。YOLOv8 由Ultralytics 于 2023 年 1 月 10 日发布，在准确性和速度方面具有尖端性能。在以往YOLO 版本的基础上，YOLOv8 引入了新的功能和优化，使其成为广泛应用中各种物体检测任务的理想选择。YOLOv8原理图如下：3.2 数据集准备与训练采用 YOLO 格式的数据集…

大模型长脑子了？研究发现LLM中层会自发模拟人脑进化 ｜
type: item
date: 2026-01-15T09:53:49+08:00
description: 大模型长脑子了？研究发现LLM中层会自发模拟人脑进化0%展开列表大模型长脑子了？研究发现LLM中层会自发模拟人脑进化今天性能提升60%，英特尔Ultra3这次带来了巨大提升01月14日继宇树后，唯一获得三家大厂押注的自变量：具身模型不是把DeepSeek塞进机器人01月14日Sebastian Raschka 2026预测：Transformer统治依旧，但扩散模型正悄然崛起01月14日端到端智驾新SOTA | KnowVal：懂法律道德、有价值观的智能驾驶系统01月14日仅用10天？Anthropic最新智能体Cowork的代码竟然都是Claude写的01月14日AAAI 2026｜AP2O-Coder 让大模型拥有「错题本」，像人类一样按题型高效刷题01月14日用AI从常规病理切片重建空间蛋白图谱：基于H&E图像的高维蛋白质表达预测01月14日京东首届AI影视创作大赛启动 最高奖金10万元邀全民共创AI视频01月14日合合信息多模态文本智能产品“上新”，覆盖AI教育、AI健康、AI Infra多元场景01月14日500万次围观，1X把「世界模型」真正用在了机器人NEO身上01月14日跳出「黑盒」，人大刘勇团队最新大语言模型理论与机理综述01月14日百川开源全球最强医疗大模型M3，「严肃问诊」定义AI医疗新能力01月14日相约AAAI 2026 | 上海AI实验室北极星 X 星启交流会（报名开启）01月13日视觉模型既懂语义，又能还原细节，南洋理工&商汤提出棱镜假说01月13日无需重新训练，即可学习新任务，Arc研究所开源单细胞基础模型Stack及细胞反应全景图谱01月13日不上云、不租卡，如何优雅地在本地微调Qwen-VL-30B？01月13日OpenAI的首款硬件：是AI耳机，今年销量要冲5000万01月13日华为推出软工代码智能体SWE-Lego，解锁SFT训练极致性能01月13日大模型中标TOP10里的黑马：中关村科金的应用攻坚之道01月13日大模型长脑子了？研究发现LLM中层会自发模拟人脑进化生物智能与人工智能的演化路径截然不同，但它们是否遵循某些共同的计算原理？最近，来自帝国理工学院、华为诺亚方舟实验室等机构的研究人员发表了一篇新论文。该研究指出，大型语言模型（LLM）在学习过程中会自发演化出一种协同核心（Synergistic Core）结构，有些类似于生物的大脑。论文标题：A Brain-like Synergistic Core in LLMs Drives Behaviour and Learning论文地址：https://arxiv.org/abs/2601.06851研究团队利用部分信息分解（Partial Information Decomposition, PID）框架，对 Gemma、Llama、Qwen 和 DeepSeek 等模型进行了深度剖析。他们发现，这些模型的中层表现出极强的协同处理能力，而底层和顶层则更偏向于冗余处理。协同与冗余：LLM 的内部架构研究团队将大型语言模型视为分布式信息处理系统，其核心实验设计旨在量化模型内部组件之间交互的本质。为了实现这一目标，研究者选取了 Gemma 3、Llama 3、Qwen 3 8B 以及 DeepSeek V2 Lite Chat 等多种具有代表性的模型系列进行对比分析。实验方法与量化指标在实验过程中，研究者向模型输入了涵盖语法纠错、逻辑推理、常识问答等 6 个类别的认知任务提示词。针对每一个提示词，模型会生成一段 100 个 Token 的回答，实验设备则同步记录下每一层中所有注意力头或专家模块的激活值。具体而言，研究人员计算了这些输出向量的 L2 范数，以此作为该单元在特定时间步的激活强度数据。基于这些时间序列数据，研究团队应用了整合信息分解（Integrated Information Decomposition, ID）框架。这一框架能够将注意力头对之间的交互分解为「持续性协同」和「持续性冗余」等不同原子项。通过对所有注意力头对的协同值和冗余值进行排名并求差，研究者得到了一个关键指标：协同-冗余秩（Synergy-Redundancy Rank）。该指标能够清晰地标示出模型组件在处理信息时，究竟是倾向于进行独立的信号聚合，还是在进行跨单元的深度集成。跨模型的空间分布规律实验数据揭示了一个在不同架构模型中高度一致的空间组织规律。在归一化后的模型层深图中，协同分布呈现出显著的「倒 U 型」曲线 ：冗余外周（Redundant Periphery）：模型的早期层（靠近输入端）和末期层（靠近输出端）表现出极低的协同秩，信息处理以冗余模式为主。在早期层，这反映了模型在进行基本的解词元化（Detokenization）和局部特征提取；而在末期层…

最近在站里看见了很多吐槽 codex 的帖子，我分享一些自己的使用经验给各位参考
type: item
date: 2026-01-11T08:32:41+08:00
description: 我是从 codex cli 出来就开始使用的，现在工作上完全使用 codex。我觉得 codex 并没有说的这么差而且只要用好基本能解决所有问题。下面是一些基本情况大家了解一下1、机器是 macboompro m1 max2、使用语言为 java 开发都是 web 相关的项目 (最近在学 rust)3、从今年 a÷ 出过公开敌对中国事件后我就没使用 claude code 了，账号我也发邮件让他们删除了4、codex 我只使用 cli，插件没用过，一般都是在 vs 中删除多余的会话看过贴吧很多帖子与问题示例后觉得很多人使用不好的原因是对模型缺乏一个基本的了解，所有我先给大家介绍一些模型的基本知识一、模型的数据是哪里来的公开可获取的互联网文本、技术博客、论坛、文档网站、百科内容、说明文档、博客文章、开源代码 (github)、额外授权的书籍、文档、人工清晰构造的高质量样本 (比如在强化学习和标注数据阶段模型公司就会出一些问题然后邀请专家来为这个问题编写高质量的回答二、token 是什么模型内部用于计算的最小文本单元，token 的切分由 tokenizer 决定，与自然语言的词法规则不完全一致 (大家可以通过这个网站去体验一下 https://tiktokenizer.f2api.com)三、一个模型产生的大致阶段1、预训练阶段这一阶段是训练成本最高的，大模型训练的费用大部分都是花费在这个上面预训练使用的是大量弱结构数据，包括自然语言与代码混合语料。数据不以任务、指令、问答为单位而是以连续文本流的形式输入。模型看到的只是 token 序列，这一阶段模型主要训练结构建模能力 (语言语法、代码语法、嵌套结构、长程依赖关系)、 统计语义关联 (哪些概念常一起出现，哪些模式在特定上下文中更高概率成立) 、跨域泛化能力 (不同语言、不同编程语言、不同写作风格之间的共享模式)。预训练模型不知道自己在回答问题不具备帮助用户解决问题不区分真实与虚假，只区分哪些 token 常见与罕见2、标注训练使用人工编写的高质量样本对模型进行监督训练，这些样本通常以指令、问题、代码需求等形式出现，并配有明确的理想回答。具体可参考 openai 的这篇论文 https://arxiv.org/pdf/2203.02155 (3.4 章节)这一阶段的核心作用是约束模型的输出行为，让模型从单出的对互联网数据回忆续写文本转变为尝试按人类指令完成任务。标注训练本身并不显著增加新知识，而是让模型用已有知识解决用户的具体问题。3、强化学习在标注训练基础上，通过让人类对多个模型回答进行排序，训练奖励模型，再用强化学习算法调整主模型的输出概率分布。强化学习降低胡编概率、提升回答一致性，并强化安全边界与拒答行为用于调整输出倾向上面这些内容了解一下就行，我自己也是懂了个皮毛所以里面肯定有很多错误。具体信息可以去看 Andrej Karpathy 的视频Deep Dive into LLMs like ChatGPTb 站的飞天闪客也可稍微看一下了解了这些后我们可以简单将大模型的一个会话抽象理解成一个持续输出的一维的 token 数组，你在上下文的输入会影响这次会话中模型的输出而且这个影响会发生的很快，当你发现模型的输出开始出现问题或者风格不是需要的最好检查一下你输入了什么，当然你也可以在发现问题时直接纠正，将他改造成你喜欢的样子。推荐在工作的工程中尽量减少语气化的输入 (你认为我在跟你嘻嘻哈哈么？我看起来现在是想跟你搞七捻三么)毁灭吧我累了，猜猜我按下这个按钮会发生什么了解了这些你大概就明白为什么你的模型总是不办事或者办事办的乱七八糟的，当然和模型本身的能力也是有关系的接线来给大家介绍一下 codex cli这是一个 code agent 你可以在本地或者 ide 插件中去使用，它能够使用内置工具帮助你从 0 开始完成一些编码任务工程结构模型层负责理解指令、分析上下文、生成计划与代码，本质是一个经过对齐的代码模型。执行层负责把模型输出转化为可执行动作，例如：读文件、改代码、运行命令、调用工具，并记录完整执行轨迹。环境层即你当前的本地仓库或云环境，包括文件系统、git 状态、依赖环境、网络权限等。Codex 启动时会构建一个指令链，不是简单拼一段 prompt。这个指令链在一次会话（CLI session /exec run）开始时构建完成，之后整个执行过程都基于它运行。AGENTS.md 是配置规则的核心入口，Codex 会在执行任何任务前，自动搜索并加载 AGENTS.md 文件。这些文件不需要你在 prompt 中显式提到，只要存在，就会被自动纳入上下文窗口。全局规则（Global）目录：~/.codex/优先级： AGENTS.override.mdAGENTS.md只读取…

分享自己训练的音乐分轨分离模型，已上传 HuggingFace，能一行代码拉取调用
type: item
date: 2025-12-30T10:34:17+08:00
description: 研究了几个月的 BS-RoFormer 音乐分轨分离，训练出了效果让自己都大吃一惊的模型。模型和推理代码上传到了 HuggingFace Hub： HiDolen/Mini-BS-RoFormer-V2-46.8M · Hugging Face关于模型用两块 4090 在 MUSDB18-HQ 数据集上训练了两天。比同体积模型效果更好、运算量更低。分离贝斯、鼓、其他和人声四个轨道，可以把人声以外的三轨合并起来当伴奏。适配 transformers 库，一行 Python 代码就能拉下来使用。model = AutoModel.from_pretrained( "HiDolen/Mini-BS-RoFormer-V2-46.8M", trust_remote_code=True ).to("cuda") # 非常推荐用 GPU 推理，速度快得多 详细使用方式在 HuggingFace 查看。试听感谢佬友们的公益，跌跌撞撞 vibe 出了个试听页面： Mini-BS-RoFormer-V2📌 转载信息来源： https://linux.do/t/topic/1377165原作者： Chirp转载时间： 2025/12/30 10:34:16