AI大模型时代，数据赋予IT人“新使命”

当下IT人在企业中扮演着运营支撑的角色。说到运维管理，相信每人都是一把辛酸泪，每天承担着繁琐、高负荷且又高风险的运维工作，但在业务规划和职业发展时又成为了“透明人”。业内有句调侃的话：“只花钱的人，不配拥有发言权”。

随着AI大模型应用的普及，数据成为了企业的关键资产和核心竞争力。近年来，企业的数据规模从PB级向百PB级成倍数快速增长，数据类型也从以数据库为主的结构化数据，演变成以文件、日志、视频等为主的半结构化、非结构化数据。业务部门希望数据的存储能够像图书馆一样分门别类随用随取，同时又希望数据的存储更安全、更可靠。

IT人，已不再只是负责建设和管理IT资源、保障设备稳定的被动角色。 

IT人的新使命，演变为提供优质数据服务，让数据好用，帮助业务部门用好数据！

“基础设施”和“数据”很近，但两者的“管理”却很远

针对基础设施的管理，业界普遍的做法是通过AIOps技术，将繁琐的人工日常运维改变为利用工具自动化执行，通过专家系统、知识图谱等智能化能力，主动发现系统隐患、自动修复故障等。生成式AI技术普及后，近期出现了智能客服、交互式运维等新型应用。

针对数据的管理，业界有以Informatica、IBM等为代表的专业DataOps软件供应商，支持数据集成、数据标记、数据分析、数据优化、数据市场等能力，为数据分析师、BI分析师、数据科学家等业务团队提供服务。

笔者调研发现，目前大部分企业中的基础设施运维管理和数据管理是割裂的，由不同的团队负责，工具平台间也没有有效协同。业务上数据保存在存储等IT基础设施中，应该融为一体，但实际两者的管理却相隔甚远，甚至两个团队之间语言都不对齐，这样通常会带来几个弊端：

1）数据不同源：因为归属不同团队和采用不同工具，业务团队通常采用将原始数据通过ETL等方式复制一份至数据管理平台做分析处理。这样不仅造成存储空间浪费，还存在数据不一致、数据更新不及时等问题，影响数据分析的准确性。

2）跨地域协同难：如今企业数据中心在多个城市布局，数据在跨地域传输时，当前主要通过DataOps软件在主机层进行复制，这种数据传输方式不仅效率低，传输过程中也存在安全、合规、隐私等严重隐患。

3）系统优化不充分：当前通常基于基础设施资源的利用情况进行优化，因为无法感知数据布局而实现全局最优，数据的保存成本居高不下，有限增长的预算与成倍的数据规模增长之间的矛盾成为制约企业数据资产积累的关键矛盾。

IT人，打通“基础设施”和“数据”任督二脉，开启数智化飞轮

笔者认为，IT团队应该把“基础设施”和“数据”作为一个有机整体进行管理和优化，实现数据同源、全局最优、安全流通，扮演着数据资产管理者的重要角色。

首先，实现全局文件的统一视图。利用全局文件系统、统一元数据管理等技术，把不同地域、不同数据中心、不同类型设备中的数据形成统一的全局视图。在此基础上，能够按照热温冷、重复、过期等维度进行全局优化策略的制定，下发至存储设备执行，这种方式可以实现全局最优。基于存储层复制的压缩、加密等技术，通常可以实现数十倍的数据移动速度，效率和安全性都可以得到保证。

其次，将海量非结构化数据自动生成数据目录。通过元数据、增强型元数据等自动生成数据目录服务，把数据分门别类高效管理起来。业务团队基于目录可以自动提取满足条件的数据进行分析处理，而不用人工像大海捞针一样去找数据。笔者调研发现通过AI识别算法实现数据标注的技术已经较为成熟，因此可以利用开放框架将不同场景化的AI算法进行集成，自动分析文件内容形成多元化标签，作为增强型元数据提升数据管理的能力。

同时，数据在跨设备流动时，需要特别考虑数据主权、合规隐私等问题。存储设备中的数据应该自动分类、隐私分级、分权分域等，管理软件对数据的访问、使用、流动等策略进行统一管理，避免敏感信息和隐私数据泄露，未来数据要素交易场景这些将成为基本要求。比如，数据在流出存储设备时，首先需要对合规性、个人隐私等进行判定是否满足策略要求，否则企业将面临严重的法律法规风险。

参考架构如下：

根据笔者调研以及请教同行专家后，发现业界诸如华为存储、NetApp这样的领先存储厂商已经发布存储和数据一体化管理的产品解决方案，相信未来会有更多厂商支持。

设备和数据两手都要抓、两手都要硬。IT人在AI时代可以扮演更重要的作用。