发布时间:2023-09-02 15:14:35 来源:bandao半岛体育
6月28日,字节跳动云服务渠道火山引擎推出了大模型服务渠道“火山方舟”,面向公司能够供给包含精调、评测、推理等在内的模型服务。
这个时刻点并不算早。此前,BTA、商汤、360等国内互联网公司现已纷繁推出了MaaS(模型服务)渠道,抢占先发优势。大都MaaS渠道的服务方法迥然不同:以厂商自研的通用大模型或数个行业大模型为基座,再推出相应的模型服务。
缓不济急的字节走的是差异化道路。没有自研模型基座,那就拉强者组局——火山方舟宛如国内榜首队伍模型厂商的“陈列柜”,集成了智谱AI、MiniMax、百川智能、出门问问、复旦大学MOSS、IDEA研究院、澜舟科技七家科技公司及科研机构的大模型。
跟着AI赛道从大炼模型的投入期,逐步到了落地场景的使用期,愈来愈多做AI使用的厂商开端注重模型服务的“性价比”。火山引擎总裁谭待在采访中指出:“一个企业未来必定会在多个场景使用多个模型,因每个模型在不同场景性价比是不相同的。”
与此一起,火山引擎智能算法负责人吴迪判别,练习大模型很贵重,可是从持久来看,模型的推理开支会超越练习开支。
谭待在访谈中打了个比如:大模型比如薪酬高的博士,不少使用场景则比如小学数学题,付费让博士去解小学数学题显然是不合理的——这也迫使不少厂商挑选精调后的中小模型,在取得比美大模型作用的一起,下降推理本钱。
组团协作的亮点在于,可让用户像搭积木相同挑选习惯自身事务需求、且具超高的性价比的模型组合。与此一起,火山方舟还供给了模型精谐和评测服务,客户可一起对接多家大模型,并经过自动化和人工评价精调后的模型作用。
大模型私有化布置是现在最为安全的计划,也是国内客户更容易接受的方法,但也代表着企业将承当更高的布置本钱。为此,火山方舟推出了大模型安全互信核算计划,用核算阻隔、存储阻隔、网络阻隔、流量审计等方法确保模型的机密性、完整性和可用性——简而言之,便是给不同企业的数据别离建了保险柜。
但相对地,企业也需求献身部分的练习推理速度。吴迪指出,大模型安全互信核算计划适用于对练习和推理延时要求较低的客户;火山正在与英伟达协作,根据英伟达新一代硬件探究安全计划。
不过,卖模型弹药的字节,终究仍会亲身上大模型的战场。着重火山引擎自身不练习模型的一起,谭待表明:“字节内部其他团队,假如做好了模型,大约也会上到方舟渠道上对外供给,它在方舟上便是很多模型的一个。”