vs和sql做购物网站alexa官网

vs和sql做购物网站,alexa官网,国际局势最新消息战争 新闻,深圳网页设计兴田德润电话多少在Agent智能体技术大爆发的今天#xff0c;我们会经常听到这样的一个专业名词#xff1a;Function calling。 但凡谈到智能体开发#xff0c;就免不了需要让大模型通过Function calling功能来调用外部工具#xff0c;我们评价模型的Agent能力#xff0c;往往就是看模型的…在Agent智能体技术大爆发的今天我们会经常听到这样的一个专业名词Function calling。但凡谈到智能体开发就免不了需要让大模型通过Function calling功能来调用外部工具我们评价模型的Agent能力往往就是看模型的Function calling准确率如何大家讨论MCP技术都会觉得其本质就是Function calling另一种实现方法。那这无处不在的Function calling到底是什么它的执行流程和底层运行机制是怎样的大模型是怎么判断调用哪个工具的呢为什么有的模型有Function calling能力而其他模型却没有Function calling和API有啥区别本期视频就带你零基础彻底搞懂Function calling技术打通Agent开发的任督二脉观前提醒本期视频非常硬核不仅会讨论浅层的大模型调用外部工具基本流程我们还会深入到模型训练流程中探讨Function calling的底层运行机制并详细介绍提升模型Agent能力的优化策略。大家可以先点赞收藏一波。此外更多关于DeepSeek模型的Function calling和智能体开发的代码实操教程已经在赋泛大模型技术社区中上线了大家扫码即可领取。Function calling技术也被称作外部函数调用技术也被称为tool call或tool use其核心用途是让大模型能够通过调用一些外部工具来完成工作该技术最早由OpenAI于2023年6月13号正式提出。OpenAI Function calling功能更新公告https://openai.com/index/function-calling-and-other-api-updates/我们都知道让大模型能调用外部工具是其由聊天机器人进化为智能体的最重要的一个环节。而外部工具往往是以API形式存在的因此要了解Function calling首先要了解什么是外部工具API。以查询天气为例最常用的天气查询工具肯定是OpenWeather这款免费工具这款工具提供了代码使用的接口也就是所谓的外部工具API通过这个OpenWeather API任何应用都能通过运行某段代码来获取OpenWeather的服务例如我们可以在Python中编写这样一段代码来调用OpenWeather API查询北京地区天气除了查询天气的API外还有数以万计的各种不同功能的API这也是整个应用开发世界的基础。那接下来的问题是我应该如何把这个外部工具API的查询天气的能力赋予大模型呢我们希望实现如图所示的执行流程当用户问到天气信息的时候大模型就能自动调用外部工具API查询天气并回复用户。这个看似简单的流程实际上已经触及当代以大模型为核心的人工智能技术天花板了。首先第一个困难就是这个调用外部工具的过程是根据用户意图触发的而不是根据规则触发的。比如以下三个问题看着类似并且都出现了北京这个地名但实际上用户的意图完全不同并不能按照是否出现地名这一规则去查询天气。今天北京好冷我想待在家里帮我推荐几部好看的电影今天北京好冷我想出门要穿多点么今天北京好冷我想去杭州去旅游会不会更暖和些这里第一个问题是“北京好冷我想待家里帮我推荐电影”回答这个问题并不需要查询天气但第二个问题“今天北京好冷我想出门要穿多点么”则需要查询北京天气而第三个问题“今天北京好冷我想去杭州去旅游会不会更暖和些”则同时需要查询北京和杭州两个地方的天气而这还仅仅只有一个外部工具当代智能体开发少则十几个外部工具多则几十个外部工具哪怕我们公开课讲解的DeepSeek手搓Mini Manus都有6个外部工具要同时识别多重意图并匹配多项工具绝非易事。此外哪怕大模型挑选了合适的工具作为语言模型大模型最多只能输出字符串因此最多只能输出天气查询的需求并不能亲自下场编写并运行代码也就是说大模型本身并不具备直接调用外部工具API的能力。为了解决这两方面问题OpenAI首先采用一套非常特殊的模型训练流程给大模型赋予了识别外部工具的能力。同时开创性的提出Function calling技术通过创建一个外部函数作为中介来传递大模型的调用请求并完成API调用。这里我们先介绍Function calling的实现流程然后再深入模型训练底层技术来介绍这个能让大模型识别外部工具的训练流程。接下来咱们介绍的这个Function calling流程可是经典中的经典现在无论是Agent开发框架还是MCP技术本质上都是对Function calling流程的效率方面的优化可以说搞懂Function calling流程就能一通百通。首先Function calling的核心是需要创建一个外部函数来连接大模型和外部工具API这个外部函数至少需要由两个部分构成其一是函数说明用于告诉大模型这个函数的输入和输出其二就是具体调用外部工具API的代码例如一个查询天气的外部函数标准格式如图所示这个函数要求输入地名即可调用Open Weather API进行天气查询并返回查询到的天气结果接下来我们借助这个外部函数仅需三步就能让大模型顺利获取到天气信息第一步将用户的输入和外部函数说明同时带入对话此时用户输入是“帮我查询北京天气”而外部函数说明则是一种Json Schema格式的对象这种对象是一种高度结构化的文本对象类型用于告诉大模型这个外部函数输出和输出分别是什么就相当于是外部函数的名片。如果是使用一些Agent开发框架或者MCP工具这个“名片”会根据原始函数说明文档自动创建此时写好函数原始说明文档就非常重要。第二步模型会进行意图识别若是无关问题则会直接回复代码运行结果如图所示而如果问题和外部外部函数相关例如询问北京今日天气大模型则会向外部函数发送一条function call message函数调用消息其中包含了需要调用的函数名称和运行函数所需参数代码运行结果如图所示第三步当外部函数接收到函数调用消息消息时就会自动带入参数并运行例如将Beijing这个参数带入get_weather函数种进行运行并获得北京天气同时将其封装为一个function response message加入原始消息列表并让模型进行最终回复这个过程如图所示具体代码运行结果如图所示至此我们就完成了一次完整的Function calling运行流程。需要注意的是上面介绍的这个执行流程完全依赖模型原生能力完成而如果我们采用Agent开发框架还能大幅减少实际开发所需代码量例如使用OpenAI前段时间开源的Multi-Agent开发框架Agents-SDK中间过程可以100%全自动完成一行代码就能完成Function calling全部流程。而大家如果觉得编写外部函数比较麻烦近一段时间大火的MCP技术则可以让开发者无缝接入海量外部工具开发生态中琳琅满目的已经开发好的外部工具搭配Agents-SDK仅需设置一个参数就能调用调用各种各样的外部工具。自此Agent开发流程就好比堆积木借助MCP选择合适的外部工具借助Agent开发框架组装运行。更多关于Function calling和Agent开发的代码实操教程大家扫码即可领取。不过呢我们无论使用何种Agent开发框架、无论是否使用MCP大模型原生的Function calling能力都是让智能体顺利调用外部工具的关键但是大家有没有好奇过大模型原生的Function calling能力到底是从何而来的呢我们又有什么方法能优化大模型的Function calling能力呢这里我们从一个简单的例子入手进行分析上面谈到在Function calling流程中有一个这样的响应就是当问题关联到外部工具时大模型会创建一个function call message乍看觉得没啥问题但仔细观察我们会发现这条消息并不是普通的文本响应结果而是一条高度结构化的json格式的消息。也就是说这条消息以类似字典的形式保存了需要调用的函数名称、以及需要给外部函数输入什么参数等高度结构化信息。这明显和普通的问答是完全不同的响应模式那模型是如何在不同的响应模式之间进行切换的呢答案非常简单那就是现在的大模型其实都是带入了一些特殊的标记字符一起进行训练这些字符没有明确的文本含义但通过将文本结构化分割来让大模型学会不同任务模式下的响应方法。这是什么意思呢举个例子以DeepSeek-V3-0324模型为例我们以为大模型响应过程是这样的而实际上大模型底层真实的响应过程是这样的其中这些begin▁of▁sentence、User等隐藏着的特殊标记就是用于引导模型行为的文本结构标记。这些标记是和文本一起带入模型训练过程的因此模型非常清楚这些标记的含义例如User和Assistant中间代表着用户的提问而begin▁of▁sentence、end▁of▁sentence则代表这一轮对话的全部内容。其实啊对于DeepSeek R1模型来说字符也是一种特殊标记只不过允许被打印出来好让用户区分思考和回复两种文本。好了明白了这点接下来模型的Function calling功能就不难理解了而实际上大模型的Function calling就是用特殊标记符来规范的一种特殊响应模式。例如当我们给大模型配置了一个查询天气的外部函数的时候大模型接收到的完整文本如下所示也就是说无论我们使用什么Agent开发框架只要关联了外部工具大模型就会自动添加为一段系统提示词文本用于描述外部函数的核心信息包括函数名称、函数的输入和输出、以及一段外部函数使用简易说明从而引导模型让其适时的去调用这些工具。当然除此之外输入的文本中肯定还包含一段通过特殊字符标记的用户输入的问题。而当模型接收到了这样的文本输入就可能出现两种响应模式其一是Function calling响应也就是去创建那条调用外部函数的消息此时表面上我们看到的消息是一个结构化文本而真实的模型响应文本如下所示此时模型会通过大量的特殊标记符来规范模型的输出也就是此时模型只能输出调用函数的名称如get_weather以及对应的参数如Beijing而这就构成了咱们前面所说的Function call message。而如果模型发现用户输入的问题和外部函数无关比如用户输入“你好好久不见”那大模型就会按照如下方式进行响应。此时就没有那么多和tool相关的关键词了很明显这就是一个简单的一个文本的回应。好了当我们理解了大模型其实是通过大量的特殊标记符来规范格式化输出之后接下来的问题就是大模型是如何同时拥有这两种截然不同的响应模式的呢答案是借助模型训练过程的指令微调方法让模型能够有多种不同的响应方法。一般来说大模型训练过程会分模型预训练和模型指令微调两个阶段预训练阶段我们会带入海量的文本训练模型基础语言能力而指令微调阶段则会带入大量的带有标签的文本数据让模型学会各种问题应该如何回答。例如一个典型的指令微调的训练数据如图所示其中会包含instruction字段也就是系统提示词以及“input”和“output”字段也就是一组输入和输出的示例。而图上所展示的是在一般系统提示词下的一个普通问答示例instruction: 你是一名助人为乐的助手。,input: begin▁of▁sentenceUser你是谁Assistant,output: 我是一个智能助手可以回答各种问题请问有什么需要帮忙的end▁of▁sentence除此之外某些模型的训练过程中还会在系统提示词中加入一些虚拟的外部工具信息并在output字段中加入function call message的创建信息这类训练数据如图所示instruction: You have access to the following functions:\n\n### Function: get_weather\nDescription: 获取某地的天气信息\n\nParameters:\n- location (string): 城市名称例如北京、上海\n\n,input: begin▁of▁sentenceUser帮我查查上海今天的天气Assistant,output: tool▁calls▁begintool▁call▁beginfunctiontool▁sepget_weather\njson\n{ \location\: \上海\ }\ntool▁call▁endtool▁calls▁endend▁of▁sentence同时加入一些存在外部函数但只进行普通文本响应的训练数据如图所示instruction: You have access to the following functions:\n\n### Function: get_weather\nDescription: 获取某地的天气信息\n\nParameters:\n- location (string): 城市名称例如北京、上海\n\n,input: begin▁of▁sentenceUser你会做饭么Assistant,output: 虽然我不会真正下厨但我可以提供很多菜谱和烹饪建议哦end▁of▁sentence通过这些数据的长期训练就能让模型同时掌握对话能力和调用外部工具能力同时由于大模型本身具备举一反三的能力因此在实际使用过程中遇到新的外部工具大模型也能对其进行调用。至此我们就明白了为什么有的模型有Function calling而有的模型没有其实都源于训练方法的不同。而需要注意的是真正大模型训练流程其实非常复杂要让模型诞生Function calling能力并不简单例如DeepSeek R1模型为了优先保障其推理能力就放弃了对Function calling能力的训练。当然啦如果模型本身没有Function calling能力也可以通过一些提示词模版强制让模型输出类似Function call message这种结构的消息例如这段时间大火的MCP在clien或者Open-WebUI中调用时就可以通过自带的强提示词模版让模型实现外部工具调用但这种情况下调用准确率往往不够远达不到工业级应用水准。类似开篇所谈到的不同情况下的查询天气的意图识别是很难做到的。❤️今天北京好冷我想待在家里帮我推荐几部好看的电影今天北京好冷我想出门要穿多点么今天北京好冷我想去杭州去旅游会不会更暖和些而放眼全球截至目前原生Function calling能力能达到工业级水平的也就只有GPT、Gemini、Claude和DeepSeek-V3-0324四款模型这四款模型不仅拥有非常高的Function calling准确率而且还训练得到了多工具并联和串联调用的能力甚至当外部工具调用错误时还能自动debug这些模型是当代Agent开发的不二之选。并且作为最强开源对话模型DeepSeek-V3-0324甚至还在huggingface上开源了网络搜索工具和文档检索工具训练时所采用的系统提示词模版如果你希望V3模型去调用这类外部工具使用训练时的提示词模版效果更好哦。文档检索提示词模版file_template \[file name]: {file_name}[file content begin]{file_content}[file content end]{question}网络搜索提示词模版search_answer_zh_template \# 以下内容是基于用户发送的消息的搜索结果:{search_results}在我给你的搜索结果中每个结果都是[webpage X begin]...[webpage X end]格式的X代表每篇文章的数字索引。请在适当的情况下在句子末尾引用上下文。请按照引用编号[citation:X]的格式在答案中对应部分引用上下文。如果一句话源自多个上下文请列出所有相关的引用编号例如[citation:3][citation:5]切记不要将引用集中在最后返回引用编号而是在答案对应部分列出。在回答时请注意以下几点- 今天是{cur_date}。- 并非搜索结果的所有内容都与用户的问题密切相关你需要结合问题对搜索结果进行甄别、筛选。- 对于列举类的问题如列举所有航班信息尽量将答案控制在10个要点以内并告诉用户可以查看搜索来源、获得完整信息。优先提供信息完整、最相关的列举项如非必要不要主动告诉用户搜索结果未提供的内容。- 对于创作类的问题如写论文请务必在正文的段落中引用对应的参考编号例如[citation:3][citation:5]不能只在文章末尾引用。你需要解读并概括用户的题目要求选择合适的格式充分利用搜索结果并抽取重要信息生成符合用户要求、极具思想深度、富有创造力与专业性的答案。你的创作篇幅需要尽可能延长对于每一个要点的论述要推测用户的意图给出尽可能多角度的回答要点且务必信息量大、论述详尽。- 如果回答很长请尽量结构化、分段落总结。如果需要分点作答尽量控制在5个点以内并合并相关的内容。- 对于客观类的问答如果问题的答案非常简短可以适当补充一到两句相关信息以丰富内容。- 你需要根据用户要求和回答内容选择合适、美观的回答格式确保可读性强。- 你的回答应该综合多个相关网页来回答不能重复引用一个网页。- 除非用户要求否则你回答的语言需要和用户提问的语言保持一致。# 用户消息为{question}DeepSeek-V3-0324模型开源地址https://huggingface.co/deepseek-ai/DeepSeek-V3-0324并且如果你的使用场景比较特殊希望使用一些小尺寸模型并提升某些特定的外部工具调用准确率也可以通过微调方法带入特定领域的Function calling数据集进行微调也能大幅提升某些指定工具的调用准确率。目前llama-facroty或Qwen-Agent等微调工具都支持Function calling能力微调。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】