剑客网

  |  手机版

收藏网站

剑客网,汇聚专业声音 解析IT潮流

24小时

首页 > 24小时 >

IBM帮助开发人员在Kubernetes上部署AI和ML模型

浏览:出处:剑客网2021-10-14 11:13

  剑客网10月14日消息 据外媒报道 响应来自人工智能模型的用户请求——“模型服务”——是利用该技术的关键部分。但是,随着为它们提供服务的模型数量增加,所有这些都会引发问题,并可能导致许多模型很少使用或被放弃。

  这就是 IBM 推出 ModelMesh 的原因,这是 Watson 产品的模型服务管理层,旨在应对大规模、高密度和频繁变化的模型用例。它可以智能地在内存中加载和卸载 AI 模型,以在对用户的响应能力和计算占用空间之间进行优化权衡。

  ModelMesh 已经支持 Watson 的许多云服务,包括 Watson Natural Language Understanding。它是开源的,包括 ModelMesh Serving,一个通过 Kubernetes 自定义资源管理 ModelMesh 集群的控制器。

  ModelMesh 根据模型副本的最近使用时间和当前请求量来决定何时何地加载和卸载模型副本——如果特定模型负载较重,它将跨更多服务器 pod 进行扩展。它旨在最大限度地减少对运行时流量的影响,但也允许紧急请求优先。

  使用分散的逻辑意味着模型管理决策中不涉及中央控制器。它还与 Kserve 合作,Kserve 是行业领先的可信 AI 标准化模型推理平台,起源于 Kubeflow。

  您可以在 GitHub 上找到ModelMesh,并在IBM Developer blog上阅读更多内容。

相关文章

最新新闻

网警备案