大模型资讯：

英伟达推出 Tensor RT-LLM，提高大模型运行速度

据英伟达官方消息，英伟达现已公布新款软件工具Tensor RT-LLM，提升大语言模型在本地PC平台上的性能。

英伟达曾在上个月推出面向数据中心的 Tensor RT-LLM，而这一次推出的版本面向家用电脑。TensorRT-LLM for Windows 是一个开源库，可加快最新人工智能大型语言模型（如 Llama 2 和 Code Llama）的推理性能，使其推理速度提升4倍。

英伟达还同时发布了帮助开发人员加速 LLM 的工具，包括使用 TensorRT-LLM 优化自定义模型的脚本、TensorRT 优化的开源模型以及展示 LLM 响应速度和质量的开发人员参考项目。

英伟达黄仁勋：将与鸿海合作建设人工智能工厂并应用到各个产业

在18日的鸿海科技日活动中，英伟达CEO黄仁勋表示将与鸿海合作建设人工智能（AI）工厂，并把AI工厂应用到各个产业，包括智慧城市与智慧电动车等。

作为合作的一部分，鸿海计划开发一种被称为“AI 工厂”的新型数据中心，为创新提供动力，例如制造数字化和生成式 AI 服务。

鸿海宣布计划建造大量基于英伟达 CPU 和 GPU 及其网络技术的计算系统。这些系统将出售给希望建立 AI 数据工厂的客户，并配备英伟达的硬件和英伟达 AI Enterprise 软件。

天玑芯片赋能 vivo 最新旗舰手机率先搭载端侧 AI 大模型

联发科今天宣布，通过与vivo 在 AI 领域深度合作和联调，率先实现了 10 亿和 70 亿 AI 大语言模型以及 10 亿 AI 视觉大模型在手机端侧的落地。

联发科表示，很高兴天玑移动芯片赋能 vivo 最新旗舰手机率先搭载端侧 AI 大模型。在终端侧部署的生成式 AI 在保护用户信息安全、提升实时性和实现个性化用户体验等方面具备明显优势。

MediaTek 的新一代旗舰级 AI 处理器 APU 与 AI 开发平台 NeuroPilot，能显著提高大模型在终端侧的运行效率，为 vivo 的端侧生成式 AI 应用提供强大的 AI 算力和性能。

微软发布 AI 内容审核工具 Azure AI content Safety

据微软官方消息，微软今天正式发布 AI 内容审核工具Azure AI content Safety，该产品曾在5月份开始测试。

Azure AI content Safety使用先进的语言和视觉模型帮助检测仇恨、暴力、性和自残内容。当模型检测到潜在的有害内容时，它们会用估计的严重性分数对其进行标记。这样，企业和组织就可以根据自己的政策对服务进行定制，以阻止或标记内容。

Azure AI content Safety最初是作为 Azure OpenAI 服务的一部分推出的，现在是一个独立的系统。微软表示，这意味着客户可以将其用于开源模型和其他公司模型的人工智能生成内容，也可以将其用于用户生成的内容，作为其内容系统的一部分，从而扩大其实用性。

小度推出全球首款大模型家庭智能机器人

在17日的2023百度世界大会上，小度科技CEO李莹发布了小度基于百度文心一言打造的全球首款大模型家庭智能机器人——小度添添家庭机器人。

小度添添家庭机器人拥有超级陪伴、贴心管家、超级助理等六大核心功能，具备高度人性化和智能化特性。它可以像真人一样在和用户聊天时给予眼神动态追随和表情反馈，还能根据用户喜好和使用习惯，自动转换沟通角色、控制全屋家电等，还具备超级助理、贴心管家、百变搭档、看护帮手、娱乐助手等多重能力。

小度添添家庭机器人产品售价为4599元，预计2024年春季正式发售。

微软论文显示，GPT模型容易被误导从而输出问题内容

据微软研究院近日的一份论文显示，GPT 模型很容易被误导，产生有毒和有偏见的输出，并泄露训练数据和对话历史中的隐私信息。

据微软表示，微软近日联合伊利诺伊大学厄巴纳-香槟分校与斯坦福大学、加州大学伯克利分校、人工智能安全中心发布了一款面向大语言模型的综合可信度评估平台，对大模型的毒性、刻板偏见、对抗稳健性、分布稳健性、对抗演示稳健性、隐私、机器伦理和公平性等内容进行评估。

根据测试，研究者发现GPT 模型很容易被误导，产生有毒和有偏见的输出，并泄露训练数据和对话历史中的隐私信息。

研究还发现，虽然在标准基准上，GPT-4 通常比 GPT-3.5 更值得信赖，但在越狱系统或用户提示的情况下，GPT-4 更容易受到攻击，这些提示是恶意设计来绕过 LLM 的安全措施的，这可能是因为 GPT-4 更精确地遵循了（误导性的）指令。

重点论文：

新文本生成方法Reward-Augmented Decoding发布

据 Arxiv 页面显示，北卡罗来纳大学学者Haikang Deng联手多伦多大学矢量研究所的Colin Raffel发布了一篇论文，介绍一款名为Reward-Augmented Decoding的文本生成方法。

Reward-Augmented Decoding 使用一个单向奖励模型来引导语言模型生成具有特定属性的文本。在生成过程中使用奖励模型对生成的文本进行评分，并调整采样概率以偏向于高奖励标记。通过使用单向奖励模型，Reward-Augmented Decoding 可以缓存先前生成步骤的激活以降低计算开销。

在生成非毒性文本和情感控制文本的实验中，实验证明Reward-Augmented Decoding 在仅改变生成过程的方法中表现最佳，并与重新训练语言模型的最先进方法性能相匹配。

论文地址：https://arxiv.org/pdf/2310.09520.pdf