《清华金融评论》专题发表刘世平博士著述:大数据在金融行业中的应用与趋势展望

 
 


    (文/中国科学院大学金融科技研究中心主任,manbet-manbetx官网-manbetx(北京)有限公司董事长刘世平)

    编者按:

    随着金融科技飞速发展,大数据技术在金融业的运用已日趋普及与成熟,通过大数据产生的金融产品、大数据征信、智能投顾和量化投资等已渐成规模。未来,大数据技术会推动金融市场朝着怎样的方向创新?大数据技术为金融业带来哪些机遇与挑战?围绕这些重要内容,刘世平博士透过“大数据在金融行业中的应用与趋势展望”一文,将他在金融大数据应用领域数十年的丰富积淀,为读者做了精彩阐述。本文已在《清华金融评论》8月刊封面专题重磅发表,详见本文结尾的媒体链接。

    内容摘要:算法的改进和计算能力的进步是大数据技术发展的关键,社会的进步和发展的需求是大数据技术发展和应用的主要动力。本文回顾了大数据技术发展史上的关键点,梳理了大数据在金融行业的主要应用,并对大数据技术在金融领域的未来趋势做出展望。

    大数据的概述

    随着全球数据生产呈现爆炸式的增长趋势,传统的数据处理技术已经无法应对新的挑战,信息处理技术的发展使数据价值能够被更好地挖掘和利用。大数据作为一种新兴技术潮流,已经在全球各领域迅速发展起来,其核心思想主要有两点,即更加广泛、更加深入的数字化及全社会范围内数据的互联互通。“更加广泛、更加深入的数字化”,并不等同于传统意义上的纸质文档电子化,而是指企业在大数据时代以数据指导业务习惯、业务策略和业务模式,是一种决策思维和过程,最终结果是驱动企业提升创新能力和提升企业生产效率,增强了企业竞争能力。“全社会范围内数据的互联互通”,是指企业现在面对的不仅仅是其内部数据互联互通的问题(如企业数据总线、数据集成等),而是数据在全社会范围内的互联互通问题。

    大数据虽然是2011年被系统化提出来的系统性数据分析新概念,但其技术发展源泉可追溯到上世纪80年代中期数据仓库技术的诞生,那时就已运用到MPP(Massively Parallel Processing)架构,该架构大幅提高了计算机的处理能力;接下来是90年代初提出的数据挖掘的概念,为数据分析提供了实践和理论上系统化的指导;紧接着在上世纪90年代晚期,基于数据仓库和数据挖掘技术的商业智能(BI,Business Intelligence)的兴起,强力开启了联机分析(OLAP,Online Analytical Processing)与决策支持系统建设时代,让决策者了解企业什么时候(When)、在什么地方(Where)发生了或正在发生什么事(What),但受制于BI系统主要分析内部结构化数据,限制了对非结构化数据及其它分析方法的运用,因此限制了BI系统对企业未来的预测能力(Why & How)。幸运的是,数据算法的改进、计算能力的进步及云计算、移动互联网、移动设备、高效廉价的数据存储能力等与大数据相关联的关键核心技术的高速发展,使大数据发展到今天,已经具有强大的结构化数据和非结构化数据加工处理能力,可以用远低于传统技术的成本对企业当前及未来做全面系统的分析和预测。社会的进步和发展的需求也成为大数据技术发展和应用的主要动力。

    大数据是以数据容量大而全,数据类型多,存储、提取、分析和展现速度要求快,应用价值高等特征的数据集合和分析的总称。它正快速发展成为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析,从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。大数据的核心是将分散在不同地方的数据进行有效的收集和整合,把隐藏在数据中的有用信息提炼出来,结合各个行业的知识,用获取的信息服务于决策过程,提升决策效率和决策的正确性,提高企业创新能力和竞争优势,这才是大数据时代以数据为驱动的商业价值所在,这也是从上个世纪八十年以来一直不变的核心理念。

    大数据发展的关键点

    随着市场竞争的加剧,信息系统的用户已经不满足于仅仅用计算机去处理每天所发生的事务数据,而是需要:能够支持决策的信息,去帮助管理决策。然而,传统数据库的处理方式使其无法承担这一重任。数据仓库的出现和发展是数据库和OLTP技术发展、数据库应用深化的产物,目的是把数据库中的大量数据转化为有用信息,为企业的决策提供更好信息辅助服务。

    数据仓库理念提出了数据整合和数据应用的理念,并引入了并行计算的概念。数据仓库的实施将数据从众多的数据源系统中转换成共同的格式,建立统一的数据模型,利用从各种数据源获取的数据,用户可以快速获取所需要的信息,从而使用户在关键方案上迅速做出决策,使企业可以产生更多的利润和节约更多的资源。数据仓库获取信息的方法主要是查询,统计分析和报表,以及多维分析。其中,多维分析是和以前应用方面最大的不同,也是数据仓库的核心价值的体现。它能够进行动态分析,利用下钻和上卷的功能可以快速而动态地对数据进行分析,从而让传统的固定报表由“死”变“活”,使得动态报表成为了可能。

    面对信息社会中数据的爆炸式增长,人们仅仅通过数据仓库的查询,统计报表和多维分析方式从数据中提取有用信息的状况,渐渐不能满足实际需要,究其原因是因为数据仓库无法发现这些数据中存在的深层次的关系和规则,更不能根据现有的数据预测未来的发展趋势,从而导致“数据爆炸但知识贫乏”的现象。 数据挖掘就是为满足这种要求而产生并迅速发展起来的可用于开发信息资源的一种新的数据分析处理技术。数据挖掘(data mining)提出了挖掘隐含在数据中信息的理念,它是在查询,统计报表和多维分析之上的另外一层更加深层次信息获取的有效方式,尤其是对带有预估性的分析,如未来哪些客户会流失,哪些贷款、行用卡客户会违约等此类带有预估性的信息。这类问题在已经整理的信息中是不存在的,因为是对未来可能发生事件的一种预估。可以说,数据挖掘是一种在决策支持过程中分析各组织原有的数据,做出归纳的推理,从中挖掘出潜在的模式,为管理人员决策提供支持。

    数据挖掘的主要算法及其应用可以参考下面的表格:


    数据挖掘功能、算法及典型应用(刘世平,《数据挖掘技术及其应用》,2009,高等教育出版社)

    商业智能理念(BI)主要是数据仓库与数据挖掘技术的整合和应用的延伸。商业智能通常被理解为对商业信息的搜集、管理和分析过程,目的是使企业的各级决策者获得更加广泛的知识和更加深刻的洞察力,做出对企业更有利的决策。商业智能的应用并不是要推翻传统的管理职能,而是以智能化的方式对现有管理模式进行改造和提升,其目的是将人工智能和技术要素进行高效的智能整合。商业智能能够以一种符合企业需要的方式,进行跨越地区、企业、部门、业务单元和团队,将从前端到后端、从内部到外部的职能连接起来,进而让企业的任何层次上都能够满足信息检索和商业决策的功能需要,帮助企业获取更多、更优质的客户,提升和改进客户关系,发现新市场以及开发新产品和服务。它赋予的不仅是使决策者更敏感,决策更迅速、更果断,而且还支持和扩展员工的记忆力、洞察力、活动范围及决策和行动的权力。

    大数据的理念是一个逐渐发展的过程,从企业的信息化的角度来看,最初人们首先使用的是ERP系统来记录企业购买明细、记录及付款信息等。随着技术的发展及企业对信息重要性的逐渐重视,能够存储营销信息、客户名单、客户细分情况等的CRM系统应运而生。之后,随着网络技术,移动设备,存储技术,计算能力和算法的不断进步,自媒体的发展,以及企事业对于决策信息的巨大需求,大数据的概念应运而生。这一概念在2011年终于被系统的提了出来,称作是创新、竞争力和提升生产效率的未来前沿技术。

    大数据在金融行业的主要应用

    大数据的应用领域非常广泛,它几乎已经涵盖各个行业,包括但不限于金融,政府,零售,交通,制造,电信,医疗卫生以及政府的很多部门的各个领域。 然而,金融行业一直是大数据应用的前沿和领航者。 这与金融行业的激烈竞争和“有钱”是分不开的。

    1. 客户的管理

    通过大数据分析平台,在银行已经有的传统结构化数据的基础之上,再接入大量的外部数据,如政府部门已经收集的数据和互联网产生的数据,就可以构建客户360度全方位视图,即客户画像。

    政府数据包括政府各个部门在日常工作中收集的各项数据,除了人民银行征信管理系统收集的信贷关系数据之外,政府有大量对于金融机构有用的数据目前还没有得到充分的利用,如税务数据,海关数据,工商数据,司法数据,房管所、车管所的数据,教育数据,社保数据等等不同部门的数据。当然,任何数据的使用都要考虑数据的安全问题,确保数据不被泄露并保证数据的安全。 同时一定要充分考虑企业和个人的隐私保护问题。数据的使用必须在合理、适度的原则下使用,必须在合法、合规的前提下使用。除了政府的数据,另外互联网数据也非常重要,如客户通过社交网络、电子商务、终端媒介等产生的结构和非结构化数据,它们对于了解客户和判断客户的金融行为有着重要的意义。

    金融机构内部拥有大量具有价值的数据,如业务订单数据、用户属性数据、用户收入数据、客户查询数据、理财产品交易数据、用户行为等数据,这些数据可以通过用户账号的打通,建立用户标签体系。 在此基础之上,结合风险偏好数据、客户职业、爱好、习惯、家庭结构、消费方式等偏好数据,利用机器学习算法来对客户进行分类,并利用已有数据标签和外部数据标签对用户进行画像。进而针对不同类型的客户提供不同的产品和服务策略,这样可以提高客户渗透力、客户转化率和产品转化率。也就是说,通过大数据应用,金融机构可以逐渐实现完全个性化客户服务的目标。

    2. 产品的管理

    通过大数据分析平台,金融机构能够获取客户的反馈信息,及时了解、获取和把握客户的需求,通过对数据进行深入分析,可以对产品进行更加合理的设置。例如银行可以通过爬虫技术,抓取社区、论坛和微博上关于银行以及银行产品和服务的相关信息,并通过自然语言处理技术进行正负面判断,尤其是及时掌握银行以及银行产品和服务的负面信息,及时发现和处理问题;对于正面信息,可以加以总结并继续强化。同时,银行也可以抓取同行业的银行正负面信息,及时了解同行做的好的方面,以作为自身业务优化的借鉴。通过大数据,金融机构可以快速高效地分析产品的功能特征,产品的价值,客户的喜好原因,产品的生命周期,产品的利润,产品的客户群等等。如果处理得好,可以做到把适当的产品送到需要该产品的客户手上,完美实现客户关系管理中一个重要的环节。

    3. 营销的管理

    借助大数据分析平台,通过对形式多样的用户数据(基本信息数据,财富信息数据,教育数据,消费数据,浏览数据,购买路径,客户的微博,客户的微信,客户的购买行为)进行挖掘、追踪、分析,以提升精准营销水平。

    在客户画像的基础上金融机构可以有效的开展精准营销,包括利用外部大数据进行网络获客;基于社交数据、网络行为数据等对客户进行进一步的细分、分类;根据网络行为数据等对客户进行事件营销,实时营销等;根据外部大数据分析展开交叉销售,提升业务量并加深客户关系;根据客户偏好、年龄、资产规模等进行个性化营销以及基于客户生命周期进行客户生命周期管理,即新客户获取、客户的维护,客户防流失和客户赢回等大数据应用。

    此外,大数据分析平台还可对现有和潜在消费者的行为和需求进行深入的研究,进行精确的分析,预测出消费者的真实或潜在需求,精准推送产品与服务信息,提高交易成功和客户留存的概率。

    4. 风险的管理

    大数据分析能够帮助金融机构了解客户的自然属性和行为属性,结合客户行为分析、客户性用度分析、客户风险分析以及客户的资产负债状况,建立完善的风险防范体系。

    风险分析比较重要的包括信用风险,市场风险,操作风险和流动性风险。这些都是巴塞尔协议特别强调的几类风险。当然,IT风险和信誉风险也日益重要和需要特别关注。法律与合规风险和国家风险也必须提上议事日程,尤其是对于有国际业务的金融机构。 对于每种风险的风险管理,大数据技术都是非常重要的手段和工具,风险数据集市和数据模型已经成为银行的标配,也是监管部门的要求。巴塞尔协议中对于每种风险的计算方法都有明确的规定,但是数据是基础和核心,大数据技术的应用是关键。信用风险管理对于数学模型的使用也是最早和最广泛的,包括但不限于初滤模型,审批模型,行为模型,催收模型,违约概率模型,破产概率模型,偿债能力模型,财务诚信度模型等等,所有这些,都离不开大数据的数据和分析方法。算法的选择和变量的转换是提升模型准确度的关键,也是判断模型建设者创造力的关键。

    中小企业是社会新增就业和创新的主体,而他们得到的廉价高效金融服务却是非常的少,关键是信息匮乏或者不完整,信息不对称,总体抗风险能力弱,判断偿债能力比较困难和经营成本高。所有这些因素都妨碍了中小企业获取良好金融支持的机会。大数据,尤其是政府大数据可以有效地克服这一困难。对于中小企业贷款风险的评估,金融机构可通过企业的产量、流通、销售、财务、税务、工商、社保等相关信息结合大数据挖掘方法进行贷款风险和偿债能力的分析,量化企业的信用额度,进而可以有效而低成本的开展中小企业的信贷评估。如果这个问题解决得好,可以大大推动中小企业的健康发展,对于就业和创新具有巨大的推动作用。

    大数据在零售银行的应用也非常重要,例如在银行业,对于实时欺诈交易识别和反洗钱分析,银行可以利用持卡人基本信息,信用卡的基本信息,金融交易历史,客户历史行为模式,正在发生行为模式(如转账)等,结合智能规则引擎进行实时的交易反欺诈分析。

    5. 系统的管理

    大数据分析平台能够通过分布式计算,提高银行交易性能,提升海量数据处理能力,加强数据的分析能力,进而能够简化金融机构的运行与管理。

    大数据不仅可用于前端商业决策,同样也可以用于后台IT信息系统的管理,提升系统管理水平和数据利用率。利用大数据分析技术,采集IT系统各方面数据信息进行数据挖掘分析,从而自动评估企业所有IT系统的运行情况,从而满足企业运维层面的需求,业务增长对信息系统的需求与IT系统性能匹配的需求以及系统采购论证的需求,最终提升信息系统的服务管理水平。

    从系统管理需求来说,运维需求包括设备信息统一管理,性能数据实时查看和信息自动更新等;业务与IT设备协调需求包括了设备故障与业务运行的关联影响分析,业务增长与设备性能变化的关系及业务运行监管等;采购需求则主要指系统扩容数据依据和系统扩容规模的量化控制两方面。总之,系统管理可以通过大数据分析系统性能,为系统优化、升级和扩容提供决策依据。

    6. 内部流程的优化

    大数据能够增强企业内部的透明度,使企业上下级之间信息流通更加通畅和便捷。同时,通过大数据技术的应用来优化企业内部各种流程,进而可以提高企业运作效率。

    在企业内部,有大量的机会可以通过优化业务流程和集中决策来节省资源。大数据的应用能够推进企业跨业务、跨部门、跨层级的信息交换和共享,从而洞察和揭示业务流程中所存在的缺陷,并制定出符合其业务战略和目标的方式来优化资源和资本配置、优化管理成本并减少浪费。

    大数据在金融行业应用展望

    据IDC预测,未来几年全球数据量将以40+%的速度增长,到2020年全球数据量将达到35ZB (35,000,000PB),为2009年(0.8ZB)的44倍,这个估计也许已经偏低。移动设备和自媒体的推广和应用快速飞快,信息技术在飞速发展,物联网数据将进一步增强和加速数据量和提升和数据获取的速度。同时,智能技术的发展和应用必将会使数据分析更加深入,使得更加复杂的计算和分析成为可能,从而更好地揭示数据中隐藏的巨大价值。这个价值的增加,反过来会进一步增强对于数据的需求,进而推动更多数据的收集和整理。

    与此同时,非结构化数据的应用将会更加广泛。随着计算机、互联网和数字媒体等的进一步普及,以文本、图形、图像、音频、视频等非结构化数据为主的信息在急剧增加。据IDC的另一项调查报告中指出:企业中80%的数据可能都是非结构化数据,这些数据每年都按指数增长60%。在非结构化数据中也蕴藏着非常有用的信息,面对如此巨大的信息海洋,特别是非结构化数据信息,如何存储、查询、分析、挖掘和利用这些海量信息资源就显得尤为关键。传统关系数据库主要面向事务处理和数据分析应用领域,擅长解决结构化数据管理问题,在管理非结构化数据方面存在某些先天不足,尤其在处理海量非结构化信息时更是面临巨大挑战。为了应对非结构化数据管理的挑战,对于非结构化数据的收集、整理、分析和应用会更加普遍,非结构化数据的应用也会更加普遍。

    随着信息技术的发展,将会有越来越多的数据可视化工具出现,数据会变得更加容易理解,更加容易看懂,结果也会更加直观和易于理解。移动设备会进一步普及,移动解决方案和决策支持系统会跟着普及。

    大数据技术的应用能够大范围地消除信息不对称、信息不完整和信息不及时的现象。智能大数据技术及其应用必将会出现,它的出现必将会大幅提升社会生产力,催生新科学研究思想,促进产业间的跨界融合或颠覆某些现有产业生产模式,最终将深刻改变社会发展面貌和促进社会进步。 基于大数据和智能技术,已经发生和可以预见的包括但不限于智能投顾,算法交易,智能营销,智能风险管理,智能信贷,智能客户关系管理等。

    随着智能大数据的发展,通过客户乐于接受的渠道和形式,以适中的价格在最佳时间提供适当的产品给需要的客户将会成为可能,这将是客户关系的最高境界。市场营销将会更加准确,风险管理将会更加有效,内部流程将会进一步优化,效率将会得到进一步提升,普惠金融将会更加普遍,中小企业将会得到更加廉价和高效的金融服务,更多的企业和个人将会获得更好的金融服务。最终,金融更好地服务实业,更好地服务创新,更好地金融推动社会进步和高效发展的局面必将会很快出现。
 
 

时间:2017年8月15日

 
    返回