你可曾想过，日常生活中与你沟通的英语补习老师、游戏客服、汽车销售代表甚至在线医生问诊的背后可能都是AI？你又可曾想过，仅通过和助理聊天，他就能根据你的要求产生一位高度职业化，可以和人类一样完成专业领域日常线上接触用户工作的类人智能体？而且这位“职场人”还能在工作过程中不断积累经验，从新人变成经验丰富的老手！在上海波尔鸭的最新研究开发进展中，这一切成为了可能。

在人工智能的宏伟蓝图和大语言模型应用的快速发展中，产生了许多如智能体(agent)、具身智能等前沿应用场景。其中智能体更是作为热门领域让各方研究和商业化进展如火如荼。近日，上海波尔鸭人工智能科技有限公司，发布自研营销Agent萨曼莎，开启了智能体应用的新篇章。在创始人刘雅丽和加拿大Alberta大学的Professor JunJin的带领下，波尔鸭科技的精英团队成员均来自哥大、UCLA、上海交通大学等国内外AI领域顶尖院校，产品负责人张瑛鹏，以及算法核心成员周峻宇、彭艺铭、龚治华、赵君骁、刘一帆，正以创新的Agent自动化部署策略和自研multi-agent框架，重塑智能体在各行各业的营销应用场景。

“零门槛”化：

波尔鸭科技正在引领一场类似互联网+革命时代低代码化的变革，大幅缩短了广大c端用户与大语言模型Agent应用之间的距离，让现阶段大模型的企业级部署落地难度大大降低。自研的大模型部署助手Agent 萨曼莎，能够通过自然语言交互，耐心引导用户仅通过数据导入，即可部署专有领域的私域大模型Agent。无论是提示词工程(PE)、系统流程还是任务设定，用户只需要告诉助手想怎样用，部署助手都能基于理解自主完成部署任务，用户只需提供数据，即可享受大模型带来的高效生产力。

自研multi-agent框架让职业化与高情商结合：

波尔鸭科技的智能体不满足于做当前业内简单的风格化闲聊或单一任务执行产品。市场真正的使用场景往往是一些复杂多流程的任务如各领域智能销售，游戏运营客服，教育领域老师，健康领域专家。他们往往具有人类个体一样的个人特色风格，需要面对复杂的用户画像和千奇百怪的问题，但同时他们还兼具各自的职业任务。所以关键是如何像这些领域高专业度且高情商的人类一样，与用户实时沟通的同时理解分析用户情绪和意愿度，从而判断当前对话阶段，无论用户闲聊还是在工作领域内对话，总能体察用户对话背后的想法，巧妙回复用户的同时潜移默化引导对话内容，从而确保即使闲聊，用户对话也能逐步驶回正轨，完成最终转化和任务达成。而实现以上目的的方法是multi-agent。multi-agent最早在强化学习领域被提出，通过prompt给Agent群赋予一个个角色，并规范一些行为，让Agent能够使用工具库。Agents之间通过协作，竞争等策略来完成每一项复杂的任务。

而萨曼莎在理论基础上进行创新，不仅建设了Agent的自动化调度，动态数量的Agents协作，让可以在原有的Agent基础上完成更高阶的任务。当开启对话场景后，在multi-agent框架下，指挥官Agent就会根据当前任务阶段实时判断需要哪些Agent专家来进行执行并生成最终回复，同时对回复进行检测和改写，使其合理合规同时高度拟人化。支持多模态识别回复和调用各种工具、读取文件。同时，突破了传统大模型Agent一问一答的场景限制，我们的智能体会在用户意愿不高或不回复后，主动追问回访用户，不放弃任何一个可能实现转化的机会。回访Agent负责判断用户意愿场景与时间，对用户进行不定频智能回访，实现用户保温。

强化学习——从“新手”变成“老手”：

传统SFT训练的模型，能力固定且上限很大程度取决于基座模型，这对专业领域的智能体来说是一种限制。强化学习则让模型在无论模拟交互还是真实交互产生的数据中不断学习，从而越来越专精于这一领域，经验越发丰富，就像职场新人不断积累经验变成领域专家一样。将生成式模型和强化学习结合起来，强化学习通过奖励函数直接或间接地为模型提供有监督的判定标准。因此，在大模型中引入强化学习可以提升其判断能力。近端策略优化（PPO，Proximal Policy Optimization）就是一种典型的强化学习算法，可以使智能体通过最大化奖励信号来学习如何与环境进行交互。它使用剪裁目标函数和自适应学习率来避免大的策略更新。PPO 还具有学习可能不完全独立和等分布数据的优势。人类反馈强化学习（Reinforcement Learning with Human Feedback ）是训练 GPT-3.5 系列模型而创建的。RLHF 主要包括三个步骤：使用监督学习训练语言模型；根据人类偏好收集比较数据并训练奖励模型；使用强化学习针对奖励模型优化语言模型。它使模型能够通过从人类获取反馈，从而不断改进自身学习技能，从而有效地适应实际环境。波尔鸭Agent的模型，就是基于在模型基础上通过强化学习算法，构建数据飞轮，实现智能体自我迭代更新。

结语：

波尔鸭正以其创新的智能体应用产品萨曼莎，开启人工智能领域的新纪元。我们相信，通过不断的技术革新和深入的场景应用，波尔鸭将为用户带来更多便捷和舒适的体验，推动人工智能技术的商业化和智能化发展。