风君子博客4月14日,数据分析已经变成越来越多业务讨论。去年,Gartner提出“数据分析能力其实是一个业务能力”,今年其提出了一个新的口号:构建业务价值的新等式。Gartner高级研究总监孙鑫向媒体解读了这句新口号,并分享了“十二大数据和分析趋势”。
孙鑫表示,在等式的右边,就是现在日益繁重的对数据分析的需求。我们希望数据分析会成为创新的起源,助力企业进步,同时也发现越来越多给予数据本身的变现和降本增效给企业带来了盈利上的增长。此外,数据分析对于人才的竞争也日趋激烈。每个企业都想利用最新的“数据科学+”能力做出更好的符合业务情境的一些决策。
基于此,Gartner将今年的数据分析十二大趋势分成了三个大的主题,分别是激活企业的活力和多样性、增强员工能力与决策、信任的制度化,每个主题下有四个不一样的行业发展趋势。
1.激活企业的活力和多样性
这个主题的大背景是企业有很多的数据,但这些数据并没有被有效激活和利用。很多时候,企业是在被动执行数据分析的一些项目和行为。为此,Gartner提出了四个趋势。
自适应人工智能系统
Gartner过去几年研究当中,提出了一个类似“AI工程化”的举措,即把AI利用一些工程化的方式渐渐进入到生产环境当中,从而运营出价值来。
通过大量调研,Gartner预测,到2026年,如果企业利用AI工程化手段实现自适应的人工智能系统,可以更有效地帮助企业运营出更多AI模型,比没有这一举措的企业多出25%的数量。
孙鑫建议企业利用一些类似于Ops的手段去完成更好的AI模型建立,比如大家比较熟悉的DevOps,现在已经有越来越多的企业会用到DataOps数据的运营、ModelOps模型的运营。
以数据为中心的人工智能
以数据为核心的人工智能将会不断发展,它扩展的学科也会越来越多,包括数据管理的技术和技能,数据质量、数据集成、数据治理等,这些都会扩展成为人工智能的基础能力。所以,企业需要一个更健壮的数据管理模式去完成对于AI运营的能力。
元数据驱动的数据编织
元数据就是描绘数据的数据。过去这些元数据是比较被动的被使用,现在则可以高度被利用起来。结合元数据驱动的机器学习,可以有效地利用一些知识图谱的能力,把一些自动做需要做的数据管理工作通过这样的数据发现给实现,这样可以大大降低手动数据管理所需要的一些工作量。
Gartner调研显示,企业如果可以更好的利用数据编织到元数据管理数据源,可以有效的降低过去繁琐的数据管理工作,同时可以将数据利用率在2025年提高到400%。
Always Share Data(始终数据分享)
过去,企业因为害怕数据外泄,不愿意分享数据。这几年越来越多的企业会考虑用可以被治理的方式下分享数据,关注如何通过自动化的手段发现更多相关数据,使用开放型OpenData的方式对自己的数据可能性进行更多探索。
2.增强人员能力和决策
一个企业最终做决策的还是人,如何提到员工的数据素养,增强业务决策的能力,就是企业需要去完成的第二个大的主题。
背景丰富的数据分析
企业数据变得越来越复杂,企业要用到的数据环境也变得越来越多样,为了提供与决策者相关的洞察,数据和分析领导者必须提供语境丰富、使用业务模块组件创建的分析。
Gartner预测,到2025年这种情境驱动/背景驱动的数据分析和人工智能模型,将取代60%建立在传统数据上的现有模型。这背后的趋势就是更多的知识图谱的利用。
业务模块组装式数据和分析
让业务做数据分析已经不是一个新颖的话题了。过去的技术可能是固化的、单体软件的一种形式,但是未来的技术会使用更多组装式的技术完成应用的搭建。
Gartner预测,到2025年,50%的过去那种嵌入式的分析型内容,将会由业务用户利用一些低代码、无代码工具,用组装式、模块化拼凑的方式去完成。
决策驱动的数据分析
数据分析驱动的决策,已经渐渐转变成决策驱动的数据分析。企业需要越来越多的人可以在一个更高的高度上为企业的决策做基于数据分析的建议和规划。Gartner提出了决策智能模型帮助企业从顶层设计的角度去管理决策链。
数据分析人才缺乏
数据分析人才的匮乏困扰着很多企业管理者。Gartner预测,到2025年,大多数企业的首席数据官将无法在员工队伍中培养出足够的数据素养以实现他们所说的这种数据驱动的战略。
Gartner给出了“三步走”的解决方案,分别是对于人才的获取、人才的培养,以及人才的留存。“获取人才”其实更多的是要通过一些业务成果的激励。培养人才则是要建立一个更好的数据分析社区,让更多的人在社区当中去做一些讨论,从建立起更好的数据文化。留存人才方面,有些企业是在员工的日常工作当中加入一些数据分析的内容,用一些激励的方式让他去使用数据分析或者对他的数据分析产生的成果给予嘉奖。
3.信任的制度化
业务侧愿意使用数据分析一个非常大的前提,就是他们能够信任这些数据。所以,要实现无处不在的数据分析能力,把信任制度化是很重要的。
互联治理
互联治理其实是一个框架,用于建立一个跨组织、跨业务职能,甚至是跨地域的虚拟数据和分析治理层,以实现跨企业的治理结果。
中国很多企业会考虑建立“首席数据官”办公室,办公室下设数据治理委员会,治理委员会会和一些法律部门做合作,把“互联治理”在一个更高层次的虚拟层实现。
AI风险管理
Gartner研究发现,50%的AI模型是从未进入到生产环境的,安全和隐私是导致这一负面结果的主要原因。有些企业倾向于收集AI训练数据,但没有在选择数据的时候建立一个合理的目标,这时候数据往往会有一些偏见,这些偏见会对企业数据模型质量造成很大影响。还有很多企业更多的是因为监管和合规性的驱动,在做一些模型治理,所以在做AI模型的时候是完全被动的。Gartner希望企业关注在信任风险和安全管理对于AI的一些治理。
厂商和区域性的数据分析生态
过去一年,有越来越多的企业在建立本土化或者国产化的数据分析能力,这是一个很重要的趋势。Gartner将这一趋势称为“厂商和区域性的数据分析生态”。
孙鑫表示,企业去建立自己数据分析生态时,要更多考虑厂商与厂商之间的兼容性。可能一个工具在国外用的很好,在国内的兼容性则会很差,所以对于中国企业来说,国内的数据分析生态会变成企业在做产品选型、平台选型时非常重要的一个考量点。
数据向边缘扩展
边缘数据分析是一个连续体。从“云、数据中心”到“设备边缘”不仅仅是一个单一的位置,分析、特别是人工智能的使用案例,可能会在这个连续体的不同位置得到最佳的安置,而不只是在某一个“点”上。数据和分析的活动越来越多在数据中心或公有云基础设施之外的分布式设备服务器、网关当中去进行操作。
孙鑫认为,数据分析管理者可能要放弃All in的形式在一些公有云或者数据中心当中去部署数据分析能力,更多去加一些努力在分布式数据分析的环境当中去做一些部署。
Gartner在《2021年十大数据和分析技术趋势》中提到,“到2023年超过50%的数据分析领导者的主要职责,将涉及到在边缘环境中创建、管理和分析数据。”
今年,在边缘计算方面,Gartner预测,“到2025年超过50%的企业级重要的数据、就是企业核心数据,将会在数据中心和云以外的地方创建并分析。”换句话说就是,企业会有越来越多的数据是不在最中央的一些数据管控当中进行的,更多是发生在一些边缘设备当中。
Gartner在今年还有一个大胆的预测:越来越多的数据分析活动将会始于协同办公软件,比如钉钉、飞书等。孙鑫解释说,企业的数据分析可以在这样一些环节中开始,业务提需求的同时会在协同办公软件里完成数据分析,并且基于数据分析可以在协同办公软件里完成业务的一些行动,从而完成数据分析的闭环。
对于大数据与AI的融合问题,孙鑫表示,大数据和AI本身就是息息相关的,自适应的人工智能系统就是通过更好的环境变量的吸取从而去制定更好的AI模型的开发,让它变得更适应。这里其实都是大数据和AI结合的一个点。
孙鑫指出,未来会越来越多地看到AI去赋能在大数据产品、产业当中,让更多人能用更低的门槛去做更深度的分析,这个是大数据跟AI最直接赋能业务侧用户的一个表现。
以下为部分Q&A:
问:这12个数据和分析趋势环环相扣,特别是针对第二大部分场景驱动数据模型。从决策驱动数据分析等改变,企业究竟该如何应对?站在IT与业务相结合的角度,该如何找准切入点?
孙鑫:Gartner提出了一个观点,我们称之为“业务组装式分析”。但是“业务组装式”的这种分析,并不代表着IT完全不参与。IT的主要工作将会变成运维,或者说不断的优化这些“积木”的一些人。Gartner其实是提出了一个叫作“融合团队”的概念,它融合了业务与IT的人,其中业务会变成最主要的数据分析和应用开发的人才,但是IT可以辅以一些指导或者说辅以一些培训的职能。最重要的职能,他会变成一个运维的人员,帮助我们以业务的思路去做更好的数据分析。
这里我们可以看到在“融合团队”当中,我们的IT职能会发生从原来干活的人变成更多的赋能人员,去教育我们的新的业务用户能够不断的参与。另外,他可能会更多的参与一些应用开发当中找到的这些Ops的实践。可能过去我们的这些DevOps将会被更多的放在我们的数据分析的活动当中,去产生类似于DataOps或者是ModelOps的方式去做更好的数据分析的CICD或者是版本控制的一些功能。我们看到未来的这些企业或者说现在其实也已经有非常多的工具是非常的加重于合作性的数据分析场景,这种合作式的分析其实是融合了越来越多不一样的职能在里面去做一些合作。Gartner今年的预测当中其实也做了一个比较大胆的预测,我们其实是预测有越来越多的数据分析的活动将会始于协同办公软件,比如:始于钉钉、始于飞书。让我们的数据分析可以从这样的一些环节当中开始,然后业务可以提需求。业务提需求的同时,也会在协同办公软件里面去完成数据分析,并且基于这个数据分析、我们也同时可以在协同办公软件里面去完成业务的一些Action、最终的一个行为,这就完成了数据分析的一个闭环。既有业务提需求,以IT进行运维、也会有业务最终完成对于洞察的一些行为,让我们这个分析的洞察和业务行为走得可以更近。所以这种基于协同办公软件的数据分析、这种合作式的分析,也是我们看到的一个重点。
另外,从市场趋势来看。我们过去去评估一个厂商,我们把他称之为数据科学和机器学习厂商,是一个大而一统的概念。但是最近其实我们做了一个工作,我们是把这个大的市场切分成了两块。一块称之为“数据科学家”会用到的一些数据科学和机器学习平台,它更看重的是运维。另外一个大的平台,我们更多的是看重于“会有越来越多的人带着自己的职能本身去做数据分析”,他可能是一个决策者、可能是一个业务运维的人员,也可能是一个IT、也可能是数据科学家,但是他可以在这样的合作平台之上去做更好的合作式的分析。他的工作未必是写代码,更多的是业务侧去做一个“批复”,从而完成数据分析的闭环、从而产生业务价值。这个是我们看到,你可以去让甲方做一些实现的可能性。
问:现阶段大数据和AI的融合是不是一个热门的发展,具体融合的表现在哪些方面?
孙鑫:大数据和AI其实本身就是息息相关的,我今天其实也已经提到了几个趋势。一个就是,Data Centric AI、就是利用更好的数据管理,驱动AI模型的开发。当中也会提到,我们称之为“Adaptive AI Systems”、自适应的人工智能系统,也就是通过更好的环境变量的吸取从而去制定更好的AI模型的开发,让它变得更适应。这里其实都是大数据和AI结合的一个点,但是我觉得最贴近的一个地方、是把我们AI的能力嵌入在数据分析的功能当中或者说大数据的功能当中,去完成更多增强型的分析能力。这里其实也会涉及到我们刚才去讲的一个“点”,就是如何去更好的增强“人”和决策。
Gartner这几年一直讨论的一个趋势,是称之为“增强性分析”。“增强性分析”并不是说让用户会写AI或者说是数据科学背后的一些代码,而是说如何把它封装好、让用户依旧用非常傻瓜、简单易用的形式、用拖拉拽的形式、用自然语言的形式,去做更高级的分析。所以我们未来会越来越多的看到AI或者说增强的这种形式,去赋能在大数据的产品、产业当中,让我们更多的人能用更低的门槛去做更深度的分析,这个是我看到大数据跟AI最直接赋能我们业务侧用户的一个表现。
问:图形技术也被认为是未来一个大趋势,这一技术将会在哪些领域或者项目中发挥更大的价值?能否举例说明?
孙鑫:我相信您说的这个“图形技术”应该就是“基于图谱分析”或者知识图谱的能力。我们过去经常讲“关系型数据库”,但是有一个非常不争的事实、就是关系型数据库表达关系并不太好,它只是二维的“行”和“列”的形式管理自己的数据。“图”之所以好,或者说我们推崇,是因为它是以“点”和“边”的形式去更好的描绘数据之间的关联。所以你可以这样理解,未来我们只要是需要涉及到复杂关系描绘的场景,都会是“图”发挥的一个用武之地。现在我们看到了更多的是金融行业用到了知识图谱或者图的能力去做一些金融反欺诈的用例,另外就是我们的制造行业去对我们调货、配货所需要供应链上的环节去做更好的关系上的洞察,从而能够让我们在疫情期间或者生产制造的高峰期间去给予更好的配料的或者说是生产制造的支撑,确保我们的生产制造可以进行。另外,知识图谱或者图的能力,也被大量的应用在自然语言驱动的分析当中,让我们的用户能以更低的门槛去做想要的分析,这个可能是图谱未来的一些主要的场景。