品玩

科技创新者的每日必读

打开APP
关闭
业界动态

新加坡云服务商Ready Server推出ReadyServer LLM API,VPS用户免费获得私有AI推理能力

兼容OpenAI接口,通过内网调用开源大模型,无需API密钥,不按Token计费

鸠鸠

发布于 7小时前

  兼容OpenAI接口,通过内网调用开源大模型,无需API密钥,不按Token计费

  新加坡VPS云服务商Ready Server今日宣布推出ReadyServer LLM API。这是一项兼容OpenAI标准的私有AI推理接口,所有ReadyServer VPS套餐用户均可免费使用,无需额外付费。

  开发者、数字营销机构和科技企业可直接在现有的ReadyServer VPS上构建AI智能体、聊天机器人、RAG(检索增强生成)应用和编程智能体。整个过程无需管理API密钥,也不按Token计费。

  这一服务针对的是AI开发中日益突出的成本问题。单个Token的价格看似不高,但当应用从简单对话升级为自主运行的智能体时,调用量会迅速攀升。研究机构Gartner预测,到2028年,每个智能体工作流的AI推理成本将增长五倍以上。

  为了避开按量计费的API,不少团队转而租用独立GPU服务器。但对于只需周期性运行推理任务的小型团队来说,这意味着每月为大部分时间闲置的硬件支付高昂费用。

  ReadyServer LLM API采用了不同的模式。Ready Server不为每位用户单独分配GPU,而是搭建共享的AI推理基础设施,所有ReadyServer VPS用户都可通过内网访问。请求从用户的VPS直接发送到Ready Server的推理服务器,全程不经过公网。

  "用AI做开发,不应该每运行一次智能体,账单就跟着上涨。我们的许多客户都是精干的小团队,他们在打造真正的产品,需要放手去尝试、去迭代,而不是时刻盯着Token用量。我们把私有LLM API直接内置到每一台ReadyServer VPS中,就是为了让本地区的开发者以可预期、可负担的成本用好AI,而且就在他们已经部署在我们平台上的应用旁边。"

  ——Alan Woo,Ready Server董事

  面向开发者,兼容现有工具

  由于接口遵循OpenAI标准,开发者只需修改Base URL,即可将现有代码、SDK和框架接入ReadyServer。该服务支持curl、官方Python及Node.js OpenAI SDK、AI智能体框架、聊天界面、编程智能体以及其他兼容OpenAI的工具,无需额外安装任何软件。

  目前平台基于vLLM提供两款开源模型:

  • Qwen3.6-27B-FP8:主打快速直接响应,上下文窗口为131,072个Token

  • Qwen3.8-27B-FP8:具备深度思考能力的推理模型,上下文窗口为262,144个Token

  两款模型均支持工具调用、结构化JSON输出和图像输入,适用于文档检索、内容摘要、分类、数据提取及工作流自动化等场景。Ready Server计划后续上线更多模型。

  公平共享机制,成本清晰可控

  ReadyServer LLM API不按Token计量,而是采用公平共享机制,避免单一任务占用过多资源。高峰时段请求将进入排队,Token用量较少的用户优先获得响应。

  上线信息

  ReadyServer LLM API现已向所有ReadyServer VPS用户免费开放。技术文档和快速入门指南请访问readyserver.ai。

  关于Ready Server

  Ready Server成立于2015年,是亚太地区领先的新加坡VPS云服务商。公司提供高性能、企业级的基础设施,数据中心网络覆盖新加坡、香港和东京,以低延迟网络连接和不限流量带宽支撑高要求的数字化业务。凭借灵活的按小时计费模式,Ready Server帮助开发者和企业在亚洲主要枢纽快速扩展业务,享受稳定可靠、连接顺畅、简单易用的服务。了解更多信息,请访问readyserver.sg。

下载品玩App,比99.9%的人更先知道关于「业界动态」的新故事

下载品玩App

比99.9%的人更先知道关于「业界动态」的新故事

iOS版本 Android版本
立即下载
鸠鸠

这家伙很懒,什么也没留下,却只想留下你!

取消 发布
AI阅读助手
以下有两点提示,请您注意:
1. 请避免输入违反公序良俗、不安全或敏感的内容,模型可能无法回答不合适的问题。
2. 我们致力于提供高质量的大模型问答服务,但无法保证回答的准确性、时效性、全面性或适用性。在使用本服务时,您需要自行判断并承担风险;
感谢您的理解与配合
该功能目前正处于内测阶段,尚未对所有用户开放。如果您想快人一步体验产品的新功能,欢迎点击下面的按钮申请参与内测 申请内测