为了协助企业以具成本效益与可持续发展性的方式，善用性能持续增长、遵循“超摩尔定律”的GPU算力资源，数字无限INFINITIX旗下AI-Stack解决方案，能够运用更先进的AI算力调度及优化技术，打造弹性化的AI基础设施，进而加速从模型训练、推论服务，到生成式人工智能（GenAI）应用，以及代理式人工智能（Agent AI）四部曲的AI转型之旅。
数字无限INFINITIX首席执行官陈文裕表示，NVIDIA AI芯片的运算性能早已超越摩尔定律，其芯片性能在6年间便增长了26倍。随着2024年NVIDIA H200芯片的推出，不仅展现出今后GPU搭载更多更快内存的发展趋势，更全面揭开了全球进入高性能AI建设时代的序幕。
然而GPU性能翻新的副作用就是采购成本不断攀升，从2014年NVIDIA K80与2022年H100之间的价差高达13倍，充分反映出成本压力的剧增。陈文裕建议指出，如何有效运用GPU算力无疑成为当前企业推进AI应用的一大关键课题。
除了AI算力管理，全面性AI基础设施管理才是关键
当前AI的演进之路正朝着模型训练、推论服务、GenAI与Agent AI等四部曲迈进，这中间需要充沛GPU算力作为AI应用开发与部署的有力后盾。但由于每阶段各有不同算力调用场景，致使当前AI基础设施管理面临了缺乏控制和优先级、利用率低且成本高、曝光率与决策不佳，以及GPU资源不敷所需等挑战。
陈文裕表示，应对上述挑战，除了做好AI算力资源的管理外，更全面性的AI基础设施管理才是重中之重。对此，企业必须做好支持混合式工作负载、算力高低配置及支持跨平台AI芯片等工作。数字无限旗下AI-Stack不仅能做好这些工作，更是协助企业打造革新性AI基础设施的最佳解决方案。
除了支持AI学习训练任务之外，AI-Stack并同时支持高性能计算（HPC）工作负载。该平台巧妙结合容器化技术、HPC及分布式运算的概念，将其应用于深度学习领域，进而发挥运算性能与成本兼顾的最大综效。
在算力配置上，AI-Stack支持各种算力组合，以满足不同场景的算力需求，并能将老旧版本的GPU纳进GPU资源池中进行使用。在跨平台算力资源的集成上，除了支持NVIDIA及AMD全系列GPU，数字无限并且以台湾优先的概念和创鑫智能Neuchips等台湾AI加速器／NPU厂商，乃至群联aiDAPTIV+ 方案共同打造相互合作的生态系。
支持单片切割与多片聚合，展现强大GPU随需调度能力
AI-Stack平台具备GPU单片切割、多片聚合和跨节点运算三大核心技术，展现强大的GPU随需调度能力。陈文裕强调指出，除了NVIDIA收购的Run:ai之外，当前全世界具备单片GPU切割技术能力的厂商十分稀少。通过该技术，便能发挥更高算力资源使用率与更低运行成本兼顾的绝佳效率，这对GPU资源有限但有多项小模型任务处理需求的企业而言，无异一大福利。
至于GPU多片聚合技术，能大幅提升运算性能，尤其对超大型模型应用帮助甚大。再者，通过跨节点运算技术，AI-Stack便能依需求将训练任务分派至多个节点进行运算，再辅以分布式训练技术，将多个容器组成能平行处理巨量数据的训练群组，大幅缩减模型训练的负荷与时间，堪称是分布式深度学习训练或HPC工作负载的利器。
采分层式架构的AI-Stack提供从实体集群层到控制层，再到开发与生态层的全方位服务，一站式满足各种GPU管理需求。在实体层，该平台通过独家硬件控制技术，能同时对GPU芯片／服务器、存储设备及网络设备进行精准管控。
在控制层，该平台提供集中式管理所有计算资源的单一管理入口与监控界面，管理者可以设置管控政策与原则，进行包括配额、安全、租户与计费等全方位管控，再加上基于角色之访问控制机制，能确保数据与资源的最佳配置与安全性。
在开发层，该平台提供了以Kubernetes与Docker为基础，并有助开发者进行模型设计、训练、实验与部署的工作环境。用户（包括开发工程师、AI科学家、终端用户及第三方合作伙伴）可基于特定权限与管制政策进行AI容器或自助服务的开通。
陈文裕补充表示，不论打造高可用性的生产环境，抑或服务不中断，皆可在开发层里加以满足。此外，Web-based的AI-Stack控制台可以实现自动化管理与服务开通作业，即使对于底层软硬件技术原理不擅长的人，也能通过简单的政策制定与直觉化的点击动作，让过去以周计的AI服务开通作业缩短至以分钟计的程度。
多年来数字无限致力通过AI-Stack的机器学习运营（MLOps）能力，加速AI模型的开发、训练及推论，实现从模型开发、微调与训练到提示工程、服务生产环境等全AI应用生命周期管理的自动化与简化，该公司因而能将各种AI-Stack开发的AI应用深耕在不同产业里。
如今AI-Stack已广泛应用至各种产业，该平台客户大致分成企业用户与算力中心客户两大类。其中企业客户涵盖半导体、制造业、金融业、学术、能源、交通、医疗等领域。数字无限并参与数字发展部发起的“数字产业跨域软件基盘暨数字服务跃升计划”，成功完成GPU算力共享平台的构建，对于加速台湾创业公司的AI应用落地有极大帮助。
在学术界，有许多爱用AI-Stack的重要客户，包括成大、北科大、政大及义守等大学。陈文裕满怀感谢地追忆指出，其中成功大学是AI-Stack平台的第一个客人，并采用AI-Stack来打造成大AI资源平台的管理核心。由于数字无限是台湾AI云（TWCC）之原型系统“云计算GPU软件服务”（TWGC）的创始开发团队成员，所以其操作界面对于申请过高速网络中心（NCHC）的大专院校来说十分熟悉，对于加速AI资源导入与新系统上线的帮助不小。
除了视旅科技结合数字无限AI-Stack，联合推出AI-OCR解决方案外，精诚集团子公司“内秋应智能科技”为了打造各产业专属创新应用的AI服务平台，特别以自家Advanced RAG技术为基础，同时结合数字无限AI-Stack、国科会TAIDE模型及NVIDIA GPU芯片组成AI一体机。
此外，由日本代理合作伙伴Macnica推广下，成功导入日本TEL半导体制造设备领导厂商及知名PCB钻头制造商佑能集团（Union Tool）也成为AI-Stack的爱用者。该公司运用该平台的默认政策，成功实现GPU资源分配与管理的自动化，并免去了手动分配GPU资源供容器或开发环境使用的负荷与麻烦。
伙伴生态系大串联，逐步打开国际市场渠道
数字无限在台有三家主要的渠道代理商，除了最早的零壹科技之外、还包括茂伦与敦新科技，如今茂伦是全球第五大IC半导体渠道设备商Macnica的子公司。今年的GTC大会上，首次参展的数字无限便是在茂伦及仁宝计算机的摊位上展示自家AI-Stack平台。
在此之前，数字无限与仁宝携手推出搭载AI-Stack的GPU服务器方案，提供“启动即用”的AI模型推论服务。陈文裕进一步指出，该公司与仁宝及其他合作伙伴推进AI-Stack平台的一个重要目标就是，同时实现硬件的“开箱即用”，以及软件／模型的“启动即用”。
数字无限正积极结合不同专长的渠道代理商扩大市场版图与品牌知名度，目前海外市场以日本、韩国、马来西亚、泰国为主，目前正积极规划将触角延伸至菲律宾、印尼、中东、东欧及美国。预计，今年第四季有望完成欧美市场渠道布局。
该公司接下来的主要市场经营策略，将以逐步打造的渠道系统为基础，串联ISV独立软件开发商、服务器、存储、边缘及AI应用等合作伙伴生态系统，进一步拓展国际市场的渠道，并以CSP云计算服务供应商及算力中心作为接下来的锁定目标。
（首图来源：科技新报）
国元配资提示：文章来自网络，不代表本站观点。
