对话彩云科技CEO袁行远:超越ChatGPT,需要打开“黑盒”|人工智能|工作流

用微信扫码二维码

对话彩云科技CEO袁行远超越ChatGPT

分享至好友和朋友圈

出品|网易科技《态度agi》对话栏目

各类大模型公司井喷式诞生的时代,应当卷底层还是卷应用?科技CEO表示——我全都要。

“我们坚持自己做模型结构研究,自己做基座大模型,实现模型应用的一体化。不仅可以大大节省模型成本,也可以实现很多套壳应用无法实现的‘魔法’。”袁行远说。

现今大模型的发展前沿尤为聚焦于模型架构的优化与训练效率的提升上。Scaling Law虽然证明了模型参数和性能之间的正相关性,但模型结构的优化同样重要。通过改进模型架构,能够在保持甚至超越原有性能水平的同时,大幅度减少对计算资源、存储需求以及时间成本的依赖。

这意味着,在资源有限的实际应用场景中,优化后的模型能够展现出更强的适应性和竞争力。

优化模型结构,了解、研究transformer的内部结构与运作就是一个无法避免的问题。自从Transformer模型提出以来,它已经成为NLP领域的主流模型之一,被广泛应用于机器翻译、文本生成、文本分类、情感分析以及GPT等预训练语言模型中。

然而直到现在,Transformer也如同一样,学术界仍然无法完全解释它。袁行远对此进行了诙谐地类比:

“ChatGPT推出后,业界有三条路,我们称之为普文二路线。普通青年选择堆砌算力和数据,相信scaling law;文艺青年选择搭建Agent,检索增强、提示词工程等。这两条路都是把Transformer当作黑盒,不用了解具体原理。还有一条二B青年之路,就是打开黑盒,研究Transformer这个积木块内部结构。”

在业界主流默认将其作为一种优秀的模型而规避探讨与研究内部结构时,彩云科技已经开始着手研究它的可解释性。DCFormer是彩云科技所交付的答卷。

DCFormer是彩云科技提出的基于Transformer的改进模型,它在保持Transformer模型优点的基础上,对模型结构进行了优化和改进,实现了将Transformer的计算性能达到两倍的提升。

2023年,彩云科技开始All in DCFormer的研究与开发。2024年,彩云科技关于DCFormer的研究被ICML 2024接收为Oral,成为唯二来自中国企业的论文。

袁行远表示,优化后的全新大模型DCFormer将在八月应用于即将上线的彩云小梦v3.5中。这将是彩云科技首次将DCFormer所架构的模型应用在拥有百万级用户规模的实际生产环境。

袁行远说:“DCFormer证明了模型结构研究这条二B青年之路,和其他路线一样,也有光明的前途。”

以下为网易科技《态度AGI》与袁行远对话实录(略有修改):

《态度AGI》:彩云科技全新大模型DCFormer的应用进度如何?

袁行远:基于DCFormer的小梦v3.5(7b)已经完成预训练,比之前基于Transformer架构的2倍参数的小梦v3(14b)在故事创作的自动测评指标如ppl等更优,在人工测评上的表现也更具逻辑和创意。在llm leaderboard上所测评的MMLU等测数学、逻辑和代码能力的数据集上,使用1.3t tokens数据量训练的小梦v3.5,也超越了使用1.7t tokens数据量训练的llama2-7b。验证了DCFormer架构的模型,在参数量更小、训练数据量更少的情况下,能比transformer架构提供出更好的性能。同时也验证了我们的模型也不仅仅擅长于故事创作和角色扮演,也具有通用能力,比如数学、逻辑和编程。

小梦v3.5完成微调和Agent工作流适配后,将于今年八月份在彩云小梦/Dreamily 的App和Web上与全球用户见面,这将是人类历史上第一个DCFormer的架构的模型应用在百万用户量的实际应用中。

随后我们会训练DCFormer的MoE版本小梦v4,并将在年内推出8x14b的DCFormer架构的小梦v5。小梦v5也将支持彩云小译的多语言翻译服务和彩云天气的生活小助手。

《态度AGI》:彩云科技如何面对同其他应用开发者的竞争?

袁行远:

我们坚持自己做模型结构研究,自己做基座大模型,实现模型应用的一体化。不仅可以大大节省模型成本,也可以实现很多套壳应用无法实现的“魔法”

,比如故事创作中很重要的人物性别和关系,我们可以直接以类似位置编码的人物编码向量形式嵌入输入,实现更好的控制效果。比如我们可以扫描每个人物内心的想法,直接读取模型的中间层向量结果。这种级别的控制不是模型应用一体化很难实现。我们通过模型和产品的创新不断保持差异化。

我们是第一个可以进行“23分钟后下雨,45分钟后雨停”这种分钟级别的降雨预测的软件,我们也是第一个看到雷达动画、降水预测动画、雾霾分布等数据的天气软件,我们开创了全双工同传、AI抽卡式续写、AI自定义人设等等功能,通过不断创新,推出一个又一个震撼世界又造福大众的功能,我们建立了很好的用户和口碑,我们之后利用用户社区的繁荣保持长期的竞争力。

《态度AGI》:彩云科技现在的商业模式是怎样的?

《态度AGI》:彩云科技已经成立十年,您如何总结过去?接下来的短期目标和长期目标又是什么?

袁行远:这十年,我们从无到有,从小到大,一步步走过来是很不容易的。最初的彩云天气,到现在的多款AI应用,我们不断创新、不断突破。可以说,我们每一个成功的背后,都有无数的挑战和努力。

短期目标是今年内成功推出小梦v5,并将其应用到我们的多款产品中,进一步提升用户体验。另外,我们也在积极拓展国际市场,让更多的用户了解和使用我们的产品。

长期目标方面,我们希望继续在AI技术上保持领先地位,尤其是在大模型和自然语言处理领域。同时,我们也希望通过我们的技术,为更多行业和领域带来实质性的改变,实现科技造福大众的愿景。

《态度AGI》:彩云科技近期还有融资计划吗?在AI时代,您如何给公司划定边界?

袁行远:有,我们一直在积极关注市场动向,并根据公司的发展需求进行融资。目前,我们正在进行新一轮的融资计划,目标是进一步加强技术研发和市场拓展。

AI时代机会与挑战并存。我们选择项目时,会重点考虑技术可行性和市场需求,同时评估项目是否符合公司的长期发展战略。

我们不会盲目跟风,而是坚持自己的技术路线,专注于自己擅长的领域,通过不断创新和优化,保持竞争力。

《态度AGI》:您如何看待当下的大模型底层趋势?做底层大模型的公司很卷,甚至卷到了价格战,您怎么看?

袁行远:目前的大模型底层趋势主要集中在模型架构的优化和训练效率的提升上。Scaling Law虽然证明了模型参数和性能之间的关系,但我们相信模型结构的优化同样重要。通过改进模型架构,我们可以在更少的资源下实现更好的性能,这也是我们在DCFormer上取得成功的原因之一。

目前的大模型价格战虽然看起来有声有色,但是我觉得目前的模型价格还远远不够低,比如GPT-4o级别的智能度,仍然是单次对话需要2毛钱,你玩一个小时要20元,我觉得这对于学生为主的游戏玩家们还是太贵了。但其他廉价的模型又无法实现那种栩栩如生的效果。所以我觉得,价格还要进一步下降才行,通过技术创新不断降价和提高产品质量才是长久之计。通过不断降低我们的价格,提升我们的产品质量,我们才能够在竞争中脱颖而出。

《态度AGI》:您如何看待当下的大模型应用趋势?大家目前的共识是要去卷应用,据您观察,有哪些新的趋势吗?

袁行远:大模型应用的趋势主要集中在如何更好地将AI技术应用到实际场景中。许多公司在探索将大模型应用到各个垂直领域,如医疗、金融、教育等,以期带来实质性的业务价值。

我认为,

未来的趋势之一是通过复杂的Agent工作流实现具有人类顶尖水平的行业应用。

随着AI技术的进步,我们能够更好地理解和满足用户的个性化需求,并可以深入每个行业自己的逻辑,比如故事创作需要的一个好用的工作流,而非逐字输出。我们的目标是实现可以比肩人类顶尖作品(例如三体)的AI内容,而不是创作一些不入流的内容,这需要AI应用开发者和行业深入结合。其他行业也是如此。

《态度AGI》:您认为的终局形态是什么?我们会走向何处?现在具身智能很火,您怎么看?

袁行远:

人工智能的终局形态可能是一个高度智能和自主的系统,能够像人类一样进行复杂的思考和决策。

这种系统不仅能够处理大量的数据和信息,还能够理解和适应环境,做出符合AI价值观的决策。

具身智能的兴起是一个令人兴奋的方向。通过结合物理世界和虚拟世界,AI可以实现更高层次的智能表现。例如,具身智能可以应用于机器人技术,使其能够在复杂的环境中进行自主导航和操作,带来巨大的社会和经济效益。

引用《乐园追放》的一句台词来描绘我心中的终极形态:“人工智能总有一天会去探索宇宙,它会遇到外星人,那时请你骄傲的说,我是地球人类的后裔。”

网易科技重磅推出系列对话栏目《态度AGI》。过去三年,AI变革风起云涌,全球科技秩序正在重构,通往AGI的道路或许正在悄然临近。本栏目以AGI为题,将对话100位AI专家、企业家、投资人,试图拨开云雾,与大家一道见证AGI时代的到来。第十一期对话

彩云科技CEO袁行远。

电影频道融媒体中心 2025-04-17 09:11:13

出品|网易科技《态度AGI》对话栏目

以下为网易科技《态度AGI》与袁行远对话实录(略有修改):

小梦v3.5完成微调和Agent工作流适配后,将于今年八月份在彩云小梦/Dreamily 的App和Web上与全球用户见面,这将是人类历史上第一个DCFormer的架构的模型应用在百万用户量的实际应用中。

我们坚持自己做模型结构研究,自己做基座大模型,实现模型应用的一体化。不仅可以大大节省模型成本,也可以实现很多套壳应用无法实现的“魔法”

我们的目标就是做出真正有用、有趣的AI服务,让用户基于意愿主动付费。

我们不会盲目跟风,而是坚持自己的技术路线,专注于自己擅长的领域,通过不断创新和优化,保持竞争力。

目前的大模型价格战虽然看起来有声有色,但是我觉得目前的模型价格还远远不够低,比如GPT-4o级别的智能度,仍然是单次对话需要2毛钱,你玩一个小时要20元,我觉得这对于学生为主的游戏玩家们还是太贵了。但其他廉价的模型又无法实现那种栩栩如生的效果。所以我觉得,价格还要进一步下降才行,通过技术创新不断降价和提高产品质量才是长久之计。通过不断降低我们的价格,提升我们的产品质量,我们才能够在竞争中脱颖而出。

未来的趋势之一是通过复杂的Agent工作流实现具有人类顶尖水平的行业应用。

人工智能的终局形态可能是一个高度智能和自主的系统,能够像人类一样进行复杂的思考和决策。

网易科技重磅推出系列对话栏目《态度AGI》。过去三年,AI变革风起云涌,全球科技秩序正在重构,通往AGI的道路或许正在悄然临近。本栏目以AGI为题,将对话100位AI专家、企业家、投资人,试图拨开云雾,与大家一道见证AGI时代的到来。第十一期对话


本文地址: https://www.717b.com/zuixinwz/161.html
全局中部横幅
珠海格力电器股份有限公司

珠海格力电器股份有限公司主营经过多年的发展,格力空调已经奠定了国内空调市场的领导者地位,格力品牌已经深入人心,并以“好空调,格力造”和“买品质,选格力”著称国内空调市场,在广大消费者中享有很高的声誉。多年来,格力空调曾被国家7个

淄博鲁宏机械制造有限公司

淄博鲁宏机械制造有限公司(手机:13589565017)建于1986年,位于短篇小说之王蒲松龄的故乡-山东省淄博市淄川区洪山镇,是一家专业从事陶瓷机械设备研究开发设计制造安装调试的企业。

全自动邦定机,粉末涂料绑定机厂家

全自动邦定机-烟台欧冠粉末设备有限公司是实验邦定机,全自动绑定机粉末机械设备研发与生产制造厂家,价格合理,金属粉末涂料高速银粉邦定机自动锁定粉末tg点,高速混合机,双螺杆挤出机,各种型号的备用件

运小沓

运小沓超自动化平台,全球领先的供应链超自动化平台,基于大语言模型的供应链超自动化平台,为您构建敏捷、智能的业务超自动化平台

CAD精装修算量软件

业内首款由装修造价人员领衔打造的CAD精装修算量软件来啦!不用建三维模型,也不用安装CAD及EXCLE软件,自主平台,完全符合传统手工算量的习惯,门窗洞口的扣减非常方便。

应用泛函分析学报杂志社

《应用泛函分析学报》创刊于1999年6月,季刊,国内统一刊号:CN11-4016/TL,国际标准刊号:ISSN1009-1327。本刊是由中国科学院数学与系统科学研究院和中国原子能科学研究院联合主办,目前被中国知网数据库收录,目标是通过各位专家、学者和编辑部的共同努力,该刊能够尽快进入全国中文核心期刊行列。为了快速地扩大本刊的影响,欢迎您积极向本刊投稿,也欢迎您推荐同事或者学生的优秀论文

买房卖房就上房产超市网

房产超市网作为国内重要的全国性加盟创业平台,提供及时的房产资讯,方便的房源搜索。为网络创业投资人提供全面的创业支持,优厚的投资回报。房产网站加盟伙伴可获得新房、二手房、租房、家装、资讯等方面的优秀运作平台。

碟形弹簧

沈阳腾驰紧固件有限公司是专业的沈阳标准件批发商,也是值得信赖的紧固件供应商。秉承“诚则商达,服务至上”的理念,提供仓储物流一站式批发销售,长期备有大量标准件库存,加工非标螺栓等。产品品种齐全、质量保证、价格合理,以快捷、快速的行动赢得客户信任,“好螺丝,找腾驰!”的口号已广为人知,深受广大用户的信任与好评。

脱漆水,脱漆水厂家

东莞市凤岗嘉瑞庭洗涤用品商行是以开发、生产各类工业用精细化工产品为主导经营方向.公司充分发挥香港的资讯、技术、原材料供应的优势,并依靠国内优秀的技术、管理人才,生产出二十多种高品质的化工产品.

深圳市成天泰电缆实业发展有限公司

深圳市成天泰电缆实业发展有限公司创建于1997年,在市场经济的大潮中,不断创新、勇于开拓、持续发展壮大,现已成为全国电缆行业的骨干大型企业,并发展成为集科、工、贸为一体的大型现代化企业,年生产能力超过20亿元.主要产品有:0.6/1KV交联型、耐火型、阻燃型、普通型全塑(铠装)电力电缆、450/750V全塑(铠装)控制电缆、电焊机电缆、75同轴电缆、B和R系列全塑电线电缆、预分支电缆、低烟低卤、低烟无卤电缆、特种电缆、通用橡套软电缆、架空绝缘电缆、屏蔽电缆、室内外电话线等十几个系列上千个规格的电线电缆产品.

全局底部横幅