大模型产业应用痛点

随着大语言模型的快速发展，生成式AI为各行业带来了无限的想象空间。从海报设计到视频制作、从日常办公到千行百业，各个领域都展现出数字科技革命的巨大潜力。然而，在应用大模型技术推动智能产业化的过程中，产业客户也面临着一些关键性的痛点。

一、定制模型成本高昂

企业往往无法以较低的成本获取适合自身场景的定制模型。当前市场上的通用类模型，主要基于公开数据集或网络数据进行训练，导致生成结果在专业度和准确度方面存在一定偏差。这对于产业场景的用户体验和业务结果产生重要影响。

二、算力需求和资源限制

大模型的训练需要强大的算力支持，而训练集群中的GPU服务器之间需要极高的网络速度以保证训练效率。一台服务器的故障可能导致整个集群停止工作，这对于云服务的运维和问题排查能力提出了极高要求。

三、大规模数据处理挑战

在大规模数据的收集、整理和处理过程中，需要在效率、质量、合规和安全性之间取得平衡。数据是模型的重要支撑，数据质量的好坏直接影响模型的表现。然而，处理大规模数据需要投入大量时间和精力，从数据的收集、清洗、标注、测试到处理，都需要高效且高质量的执行。同时，还必须遵守合规要求并确保数据的安全性。

行业大模型解决方案

为了加速产业智能化过程，让产业客户更快、更好、更方便地使用大模型能力，以帮助他们提质增效，腾讯云今年六月也公布了行业大模型解决方案，通过打造模型“精选商店”，为产业客户提供MaaS一站式服务。

在这个“精选商店”里，企业可以充分发挥创造力、提出定制化需求。客户可以选择采购算力、存储和带宽等原材料，并自行打磨零部件、组装大模型。也可以选择基础模型的不同零部件，并根据需求进行灵活组合，创造出独一无二的专属模型和智能应用。

为了帮助企业更高效地打造定制专属模型，“精选商店”还提供了多种加速服务，通过工程化体系将企业定制模型构建的时间和成本降至最低。平台方面，腾讯云TI平台提供了数据获取、处理、算法构建、模型训练、评估、部署以及AI应用开发的全流程链路，帮助模型开发者和算法工程师高效地创建和部署AI应用。

计算方面，腾讯云为客户提供了经济有效的高性能、高稳定性的算力资源。针对大模型应用特点开发了面向模型训练的新一代高性能计算集群（HCC）。通过异构计算，最适合的硬件执行最适合的任务，实现了高性能计算资源的经济获取。新一代HCC集群采用最新的GPU芯片，并配备自研的高速网络星脉，极大提升了整体算力和互联带宽。

此外，引入了自研的文件存储和对象存储架构，满足不同场景对存储的需求。同时，还通过自研的TACO Train训练加速引擎进行系统级优化，进一步节约了训练调优和算力成本。

基于腾讯云TI平台，通过这个模型“精选商店”，目前腾讯云已经携手中央广播电视总台、福建大数据集团、上海大学等行业头部企业、机构，在大模型行业应用方面共创了50多个行业解决方案，在智能客服、OCR、跨模态检索等领域有广泛实践。

在政务领域，福建大数据集团携手腾讯云打造了互动式大模型应用“小闽助手”，为市民提供智能咨询服务。作为“福建智力中心”的重要创新成果，“小闽助手”是福建政务领域发布的首个互动式大模型应用，未来将为广大的福建市民提供零距离、高质量、7×24小时管家式政务的办事体验。通过人机交互窗口，“小闽助手”能够为用户提供一站式的智能咨询服务，譬如办事指南、政策咨询、数据查询等，提升老百姓的办事效率，减轻政务人员的工作负担。

相比于传统客服应用，“小闽助手”具有更快的响应速度、更准确的服务推送和更好的用户体验。高质量服务背后，离不开强大的技术支撑，算力、存储方面，腾讯云智能的AI算力调度平台，基于腾讯云高性能计算集群，带来超高互联带宽、TB级吞吐能力和千万级IOPS，可以为“小闽助手”提供算力资源的高效调度和管理，全面提升政务互动的效率和质量。算法、工程方面，腾讯云TI平台为其提供了配套完善的训练和推理框架工具链，并支持训练加速、推理加速、数据加速、网络加速、多机多卡训练，减少模型生成时间，大大提升部署效率。

在文旅行业，某头部文旅客户的传统智能客服，需要人工进行对话配置且知识维护量大、耗时长，但运营人力有限、人力配置成本高，且涉及订单等复杂业务场景，在无配置的情况下无法通过机器人闭环解决问题。

基于腾讯云文旅行业大模型能力，客户结合自身场景数据，通过腾讯云TI平台进行精调，构建了专属的文旅客服大模型，无须配置对话流程，即可端到端解决业务问题。帮助客户进行客服场景意图识别、答案生成功能，提升客服问题解决率，降低用户转线下客服的比例。

具体包括意图识别：提升客服对话过程中机器人客服对用户表述意图的理解能力；

长文本识别：提升机器人客服上下文记忆能力；

答案生成：提升客服与用户交互式问答体验以及客服冷启动问答生成。

在具体实践过程中，任务完成率提升，在无多轮画布增加的前提下，突破效果上限。同时，对话构建成本降低，自动判断意图和识别槽位，生成相应的API并自动调用，基于API的返回，自动生成拟人化的回复话术。

在跨模态检索方面，腾讯云行业大模型在传媒行业中发挥了重要的助力作用，依托全新升级的媒体AI中台3.0，在智能标签能力方面，通过自研“标签权重引擎”，使内容标签的颗粒度更细、理解度更深、泛化性更高。这使得传媒机构能够更准确地标记和描述媒资内容，从而提高媒资管理的效率和质量；在智能检索方面，平台融合了跨模态检索等前沿技术应用，支持自然语言描述的精准媒资检索。这意味着用户可以使用自由、泛化的查询语句来检索媒体资料，获得更准确、多元的检索结果。这样的智能检索功能可以极大地提高媒体机构的工作效率，快速准确地获取所需的媒资资源。

比如，中央广播电视总台基于腾讯云智能媒体AI中台，打造了人工智能开放平台，提供智能标签、修复，智能翻译等30多种算法。通过传媒行业大模型能力，让内容标签颗粒度更细、泛化性更高，从而盘活媒资、重塑内容价值。

在智能OCR应用方面，我们和国内头部的商业银行，基于“金融大模型”，打造单据处理系统，识别投资、保险、金融等多个业务系统中的回单、发票、申请书、业务邮件等多种样式数据。

在传统的算法模型下，通常每一类需要输入2000张的数据，机器才能识别一种单据，也没有整理成表格，或者标签的能力。现在，基于大模型能力，腾讯云的TI-OCR只需要50张被标注的数据，就可以快速识别一种类型的单据。同时可以根据分析能力，自动提炼核心标签，生成电子数据文件，再进行后续的商业分析。

加速产业场景探索的同时，腾讯云行业大模型能力也已经在腾讯企点、腾讯会议、腾讯云AI代码助手等多款头部SaaS产品中率先应用，为客户带来更智能的产品体验。与此同时，我们也在不断升级腾讯云MaaS能力，今年9月腾讯云宣布从技术底座、平台能力、智能应用三大维度升级MaaS能力。基于自研腾讯混元大模型，同时支持业内20余款主流开源模型，助力客户构建专属大模型及智能应用，加速模型产业落地，推进“效能革命”。

升级后，腾讯云行业大模型精选商店将进一步扩容，能为客户提供不同规模的模型服务；大模型训练、精调工具链，可以帮助客户更快、更低成本地打造“更实用”的专属模型；同时，依托腾讯多元的PaaS、SaaS产品矩阵“试炼场”，用户也能够快速装备即插即用模型能力。

以上是我们面对大模型技术浪潮的一些行业思考和部分产业实践。在数字科技革命的奇点上，我们的目标是为各行各业的数字化转型提供更具创新性和商业价值的解决方案。在这个过程中，腾讯云愿意贡献自身的能力，深入理解行业需求，与行业伙伴携手推动智能产业的发展，让智能普惠于每个人的生活，创造更加美好的未来。