闲着没事搞了个神经网络架构，开源出来水一下

GitHub： GitHub - 1600822305/Fielix: A novel neural network architecture featuring Field Effect Propagation, Dynamic Topology, Spiral Memory, and Emergent Position Encoding. Achieves better learning efficiency than Transformer.

简单说就是用 "场效应" 替代注意力机制，实验下来学习效率比 Transformer 高不少：

实验结果 (27M 参数)

  • 初始 Loss：Fielix 3.0 vs Transformer 7.9
  • 最终 Loss：Fielix 1.66 vs Transformer 2.59
  • 训练速度：慢 2x

缺点是训练慢 2 倍

没精力继续优化了，感兴趣的大佬随便玩

📌 转载信息
原作者：
fakefakefake
转载时间：
2026/1/6 12:03:27

标签: Fielix, Neural Network Architecture, Transformer, Attention Mechanism, Field Effect Propagation

添加新评论