为什么我还是无法理解transformer？
- 发表时间：2025-06-24 22:05:17
- 来源：
不要想的太过复杂，就只有随机数生成的三个矩阵，原始输入已经通过矩阵相乘关联在三个随机数矩阵中，再通过一些代数游戏得到每个token对于整体输入序列的注意力权重矩阵，再和另外一个随机数矩阵进行线性的代数变化即可。
反向传播更新的是这三个矩阵的权重，三个矩阵的维度设计也是为了符合线性代数的运算。
总之这个就是一个巧妙的线性代数游戏，没有什么复杂的逻辑问题。
。
推荐资讯
- 2025-06-20 21:35:16如何看待不超过1879元的Mac mini（M4+16/256GB+票），易用性吊打同级其他台式电脑？
- 2025-06-20 22:30:162025年6月了，深圳房价咋样？
- 2025-06-20 21:45:15如何看待雷军称小米YU7定价不会是23.59万，还说汽车业务今年内盈利？
- 2025-06-20 22:05:16女性为什么不普遍跟男性那样只留个几毫米或2-3厘米短发，女性不觉得长发麻烦吗?
- 2025-06-20 21:55:15cloudflare的1.1.1.1和warp有什么区别？
- 2025-06-20 21:35:16网传广东怀集洪水后赵一鸣超市被哄抢，县***回应相关单位正在核实，若属实哄抢者该承担哪些法律责任？
- 2025-06-20 22:00:15网传厦门某国企研发部门要求每日考察后端 400 行，前端 1000 行代码量，如属实，这个考核合理吗？
- 2025-06-20 20:55:15参加知乎「第十一届新知青年大会」是种什么样的体验？
- 2025-06-20 21:05:15如何评价腾讯元宝桌面端使用 Rust 的 Tauri 框架？
- 2025-06-20 21:20:15前端如何设计网页？
推荐产品
-
为什么 J***a 没有好用的 ORM 框架？
从2022年3月开始，我辞去了工作，潜心研究革命性的ORM框 -
为什么 Windows 没有比较成熟的第三方桌面环境（explorer.exe）？
因为没资格，微软在ui设计语言方面跟谷歌一个级别。 Win7 -
网络小白如何建立一个网站，供别人下载文件（主要是PDF和MP3）?
Alwaysdata 有免费服务。 100mb空间 装个cl -
媒体称以色列防空成本一晚近 3 亿美元，最多再撑 12 天，美方会支援吗？若无美补给结果会如何？
其实吧，破局的方法也很简单： 这是伊朗导弹上掉下来的火箭
新闻动态
最新资讯