广受用户欢迎的智能互动特效,为用户带来的沉浸式互动体验,是抖音保持高速增长的推力。
9月9日,“万娱自有引力 AI互动新生长”火山引擎增长沙龙人工智能专场在上海举行。
火山引擎智能互动特效解决方案相关负责人分享了智能互动特效帮助企业实现增长的实践经验和技术探索。
据介绍,在火山引擎,实现增长主要由效果团队和算法团队两个团队合力完成。前者负责如何增长以及在增长环节中做哪些工作,后者负责在算法和引擎等技术层面进行支撑。
在火山引擎看来,算法和引擎之间是相辅相成的作用,“最底层的算法作为单点能力的积累,引擎部分沉淀了渲染和实现效果的东西”。
具体来说,火山引擎将其算法部分拆解为算法适配、工程优化、场景落地三个层面。
算法适配是指对于场景需要有更深的理解。从理论上讲,不论是近距离或中远距离等不同距离的场景,还是仰视、俯视、平视等不同的视角,或者是人像、物理场景等不同的画面。都需要适配不同的算法才能真正“读懂”视频内容。体现在实际效果中,这会直接决定人在暗光场景下是否足够清晰,肢体只露半身是不是能达到足够好的准确率等等。
在工程优化方面,主要是指云渲染、芯片特殊加速等技术在APU、NPU以及智能网联车SOC等不同硬件条件下,能否做到更好的体验。
在场景落地方面,就是要在不同场景下解决不同的问题,比如电商场景中试穿试戴的精准稳定,自动驾驶场景中对前方物体的检测识别等等。
以上三个层面涉及到很多种算法,仅在CV领域就涉及到20多个一级项目和一百多个子小项。所以要想对场景理解得足够深刻,背后肯定要涉及到大量的技术人员。
在引擎部分,与游戏级别的渲染引擎产品普遍做得很重、性能消耗巨大不同,移动端的引擎要实现对多平台的支持,而且必须照顾到低端机型的计算瓶颈。
目前还有不少手机采用的都是数年前的芯片产品,主频等技术参数非常低。“在这类手机上,我们的3D渲染和GAN新玩法能不能给用户带去同样优秀的体验?这都是我们在工程方面需要解决的问题。”火山引擎智能互动特效解决方案相关负责人说。
另外在生态层面,火山引擎也已经在着手打造。比如相关特效已经上架大概一万多款,而且还在以非常高的频率保持更新;不断完善数据标签,把数据可视化同步到平台上,方便用户在云端或者离线使用;火山引擎的这一引擎既是一个下发平台,也是一个数据监控平台,中间会陆续加入A/B测试等工具,方便用户进行管理。
据悉,在本次活动之后,火山引擎增长沙龙的其他主题活动也在陆续展开,将把字节跳动背后的更多的技术、产品和生态开放出来,跟业内合作伙伴一起增长、共赢。