为什么我还是无法理解transformer？
来源：
编辑：
时间：2025-06-25 04:55:14
不要想的太过复杂，就只有随机数生成的三个矩阵，原始输入已经通过矩阵相乘关联在三个随机数矩阵中，再通过一些代数游戏得到每个token对于整体输入序列的注意力权重矩阵，再和另外一个随机数矩阵进行线性的代数变化即可。
反向传播更新的是这三个矩阵的权重，三个矩阵的维度设计也是为了符合线性代数的运算。
总之这个就是一个巧妙的线性代数游戏，没有什么复杂的逻辑问题。
。
-
{dede:pagebreak/}
网友评论：
{dede:include file='ajaxfeedback.htm' /}
栏目分类
最新文章
- 能分享一下你写过的rust项目吗？
- 印度为什么一定要和中国作对？
- 蜂鸟音乐指控邓紫棋侵权，要求 48 小时内下架重录歌曲，邓紫棋回应「不会下架」，这一指控合理吗？
- 美国重新工业化有多难？
- 大街上看到大白腿，忍不住瞄了两眼，算不算不尊重女性？
- 刘强东称「京东外卖很快就会出来一个跟美团完全不同的商业模式」，如何看待此回应？
- Rust、Go、Zig、Dart、C3、C++、C，仓颉、moonbit、凹语言哪个语言更有未来？
- 哪一段代码最能体现c语言的魅力？
- 如何看待苹果在 WWDC25 发布的 Foundation 模型框架，它将为开发者和用户带来哪些改变？
- 如果一个人有足够的钱让他一直***，那毒品对他的身体还有害吗？
热门文章
- 荣耀 Magic V5 折叠屏手机将于 7 月 2 日发布，会带来哪些新的技术和体验？
- 为什么楚国更多与湖北联系在一起？
- 全平台应用框架会是趋势吗？flutter、tauri、maui你更看好哪一个？
- ***拍大尺度片子时摄影师不会看光吗？
- docker怎么修改拉取源从指定的国内仓库拉取镜像？
- 为什么韩国的热辣舞团无法征服中国的男性市场？？
- 以媒称以方使用特殊武器将 9 名伊朗顶尖核科学家暗杀，可能是什么武器？核科学家被暗杀对伊朗影响有多大？
- 北京22号线即将开通，要不要买燕郊房子?
- ***如古代长城用的是C140混凝土，那千百年下来会完整的留存至今还是损坏的更加严重？
- 华为自研的仓颉编程语言将于 7 月 30 日开源，这款语言将如何影响未来的开发趋势？