建立企业网站的步骤外贸网站搭建推广

张小明 2026/1/2 8:17:30
建立企业网站的步骤,外贸网站搭建推广,互联网保险论文,网站开发外包公司有哪些部门上一篇文章里介绍了Encoder#xff0c;本篇文章来介绍Decoder以语音辨识问题为例。一种典型的Decoder结构是Autoregressive#xff08;自回归#xff09;的Decoder。即每一步的输出依赖于之前的所有输出。有了Encoder的输出以后#xff0c;将其一次性输入Decoder#xff0…上一篇文章里介绍了Encoder本篇文章来介绍Decoder以语音辨识问题为例。一种典型的Decoder结构是Autoregressive自回归的Decoder。即每一步的输出依赖于之前的所有输出。有了Encoder的输出以后将其一次性输入Decoder并且伴随一个起始标识Decoder的直接输出的是一个概率分布例如如果是语音转中文辨识问题会给出一组中文字表这个中文字表需要事先人为设定以及其对应的概率分布然后将最大概率对应的字作为输出有了第一个输出Decoder会把这个输出连带之前的输入一起作为新的输入再得到新的概率分布再找到对应的中文字然后重复上述过程。Decoder的内部结构如下可以将其和Encoder做一个对比比较重要的几个点这里的Multi-Head Attention机制增加了Masked操作。完整的Self-Attention机制如上我们知道Self-Attention机制就是结合上下文机制即每一个输入向量分量要考虑其它所有分量的相关度。而增加了Masked以后其表示图如下其实是每一个输入向量分量在计算相关度时只能考虑在它之前出现过的分量而不能考虑在它之后出现过的分量。Decoder在上述语音辨识问题中还要遇到一个问题就是判断输出何时停止。那么这时需要在前面提到的中文字表中添加一个“end”即停止标识。Encoder和Decoder交互的地方实际如下图Cross attention部分其详细作用过程如下给Encoder输入语音序列在经过Encoder的多block处理后得到一排向量。首先将begin向量作为Mask Self-attention层的输入得到第一个输出向量计算该向量的q向量利用self-attention中的k、v向量生成机制计算出Encoder每个输出向量的k、v向量将其组合产生输出向量通过全链接神经网络最终得到一个输出词将这个输出词作为新的输入交给Mask Self-attention层计算和之前的所有输入向量的相关度继续得到新的输出然后继续和Encoder的输出进行self-attention操作然后循环此操作。将Mask Self-Attention的输出向量和Encoder的输出向量进行Self-Attention操作称之为Cross attention计算。下面介绍Transformer如何训练。以中文语音辨识为例显然数据集格式应该为输入语音输出文字序列我们知道Decoder直接输出每个向量是一组概率分布如第一个输出{机0.8器0.1学0.1习0}而实际上第一个输出向量标签为“机”转化成独热码形式应该是{机1器0学0习0}显然这类似一个多分类问题可以用交叉熵作为损失函数在第一个输出向量中。这里需要特别提醒的是在训练阶段Decoder的输入是人为给定正确答案而不是用其自己根据起始Begin向量生成的向量通过cross attention生成的输出向量作为输入再做mask self-attention。
版权声明:本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!

西安哪家网站建设好双峰网站建设

在数字化产品设计领域,设计师与开发者之间的协作鸿沟一直是影响效率的关键瓶颈。传统的手动标注方式不仅耗时费力,更在频繁的设计迭代中成为团队协作的绊脚石。而Sketch Measure插件的出现,正在彻底改变这一现状,为设计交付建立全…

张小明 2025/12/31 15:12:45 网站建设

怎样把网站打包做百度小程序桂林两江四湖环城水系图

网页元素定位神器:5步教你轻松搞定页面元素查找难题 【免费下载链接】xpath-helper-plus 项目地址: https://gitcode.com/gh_mirrors/xp/xpath-helper-plus 还在为网页元素定位而苦恼吗?无论是前端开发、自动化测试还是数据采集,精准…

张小明 2025/12/31 17:17:47 网站建设

在QQ上做cpa网站说是恶意的如何从零开始学做电商?

作者简介:热爱科研的Matlab仿真开发者,擅长数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。🍎 往期回顾关注个人主页:Matlab科研工作室🍊个人信条:格物致知,完整Matlab代码及仿真咨询内…

张小明 2026/1/1 5:46:18 网站建设

网站用户群国外网站建设什么价格

5步快速修复AI工具组件加载异常的完整指南 【免费下载链接】ComfyUI_IPAdapter_plus 项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI_IPAdapter_plus 当你在使用AI图像生成工具时,遇到组件加载异常问题会严重影响创作效率。本文将为你提供一套简单实…

张小明 2025/12/27 21:45:56 网站建设

制作一个网站平台需要多少钱网上商城包括

目录 具体实现截图项目介绍论文大纲核心代码部分展示项目运行指导结论源码获取详细视频演示 :文章底部获取博主联系方式!同行可合作 具体实现截图 本系统(程序源码数据库调试部署讲解)同时还支持java、ThinkPHP、Node.js、Spring…

张小明 2025/12/31 14:12:40 网站建设

网站开发就业怎么样wordpress 隐私策略

还在为机票价格波动而焦虑吗?每次打开订票APP,看到忽高忽低的价格就像在体验价格变化带来的不确定性。FlightSpy智能机票监控系统正是为解决这一痛点而生,它能24小时自动追踪目标航线价格,一旦低于预设阈值就立即发送降价提醒。这…

张小明 2026/1/1 4:13:53 网站建设