会计大数据分析与处理技术：助推数据赋能财务新未来#
摘 要：数字经济时代，数据已成为企业最重要的资产之一。随着企业与外界交互愈加紧密以及企业内部信息化、数字化建设的推进，财务部门将进一步拓展数据获取的广度和深度，形成会计大数据，并基于数据洞察以全新模式服务于企业价值创造和管理创新。作为大数据技术在财务领域的应用分支，会计大数据分析与处理技术是将会计大数据予以价值化的有力工具，主要包括大数据存储和计算、数据治理、数据采集、数据清洗、数据分析、数据可视化等技术，在诸如资金管控、预算管理、管理报表出具、客户信用风险管理等财务数字化典型业务场景中发挥重要作用。关键词：会计大数据；会计大数据分析与处理技术；财务数字化；应用场景一、会计大数据的定义#
技术的快速发展使得信息交换、存储及处理能力大幅提升，人与人、人与物之间的连接愈加紧密，形成了庞大的万物互联生态圈。与此同时，数据产生的速度和规模得到了颠覆性发展，社会步入了“随处可见皆是数据”的数字时代。会计信息的呈现、获取和使用方式也发生着巨大变化，作为企业经营数据的汇聚者，财务将不再仅着眼于会计科目+ 核算维度的“小数据”，而是有能力获取贯通企业价值链全过程的广泛数据，汇聚形成会计大数据，转化为企业的大数据中心，在新的时代引领企业新的价值创造。什么是大数据？被誉为“大数据商业应用第一人”的维克托·迈尔·舍恩伯格在其著作《大数据时代》一 书中提出，大数据是指不用随机分析法这样的捷径，而采用所有数据的方法。Gartner 给出的定义为：大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。麦肯锡全球研究所认为大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。尽管业界对于大数据的定义不尽相同，但对于大数据的认知基本离不开“5V”特点，即Volume（容量大）、Variety（种类多）、Velocity( 速度快)、Value（价值密度低）和Veracity（真实性）。什么是会计大数据？会计大数据是指财务部门能够利用新一代数字技术，拓展其在经营管理中的作用及职能，为企业带来新的业务洞察，帮助创新商业模式，最终帮助企业实现新的利润及价值创造的过程中所需用到的一切相关数据。从内涵来看，会计大数据相对于传统会计数据而言，呈现出以下特点：（1）涵盖范围扩大#
过去财务数据更多的是指发票金额、付款明细、科目余额表、财务报表等结果数据，数据种类和规模相对局限。而会计大数据是指与企业经营相关的包含内部和外部、财务和非财务、结构化和非结构化等各类型数据的集合，涉及企业生态的各个方面。（2）服务目的改变#
传统会计数据更多服务于外部报告及披露需要，对于内部管理决策发挥的作用有限。会计大数据在数据深度和广度层面的扩展为财务部门发挥对于企业的价值创造作用提供了更为广阔的空间，能够有效服务于企业的业务创新和决策支持。（3）技术应用先进#
随着数据资源的不断丰富，催生了对更强大的存储和计算能力、更复杂多样的算法模型构建、更实时个性的数据服务等大数据分析与处理技术的需要，会计大数据需要在新一代数字技术的应用基础上才能发挥潜在的巨大价值。二、会计大数据分析与处理技术的概念及分类#
（一）会计大数据分析与处理技术的概念#
会计大数据分析与处理技术在大数据技术架构体系下发展而来，是将会计大数据予以价值化的有效手段。国际数据公司（IDC）对大数据的技术定义是：通过高速捕捉、发现或分析，从大容量数 据中获取价值的一种新的技术架构。从大数据的生命周期来看，大数据技术可分为大数据采集、大数据存储与处理、大数据挖掘、大数据可视化、大数据服务、大数据安全与隐私保护等方面的技术。随着数据特征的不断变化以及对数据价值释放诉求的不断增加，大数据技术从围绕海量数据存储、处理计算的基础技术，逐步延伸为同配套数据治理、数据分析应用、数据安全流通等助力数据价值释放的周边技术组合起来形成的整套技术生态。大数据关键技术体系及释义如表1 所示。会计大数据分析与处理技术是大数据技术在财务领域的应用，以实现数据赋能财务的目标推动企业业务和管理发展，其以大数据存储和计算基础技术为底层支持，以数据治理、数据采集、数据清洗、数据分析、数据可视化等技术为核心，是帮助企业高效、高质地从会计大数据中挖掘出有效信息和潜藏价值的广泛技术体系。（二）会计大数据分析与处理技术的分类#
会计大数据分析与处理技术是帮助企业实现会计大数据向信息、知识、智慧转变的重要和必要工具。按照从原始数据产生到价值释放的过程中涉及到的技术应用，本文将会计大数据分析与处理技术分为大数据存储与计算技术、数据治理技术、数据采集技术、数据清洗技术、数据分析技术和数据可视化技术。1. 大数据存储与计算#
大数据存储和计算技术是进行会计大数据分析与处理的基础技术。随着数据的“井喷式”增长，传统的集中式计算架构以及传统关系型数据库单机的存储与计算瓶颈逐渐显现，海量数据的存储、计算需要更专业的技术支持，由此产生了当前主流的分布式架构。分布式架构，简单来说，是一套将多台计算机通过网络连接起来协同工作的技术体系，包括分布式存储、分布式计算等。以分布式存储来说，核心技术原理是将分散的存储资源构建成一个虚拟的大容量存储资源，将分散的多台机器整合为具备大数据存储能力的集群，从而满足实践中对大规模数据存储的需要。分布式计算和分布式存储的技术理念相似，主要是将大规模的数据处理任务分解成若干个小任务进行并行计算，计算完成之后再进行结果的整合。会计大数据涵盖企业经营的方方面面，底层大数据存储和计算技术的高存储、高算力以及可扩展性为企业构建会计大数据平台以及满足各业务场景的数据交互计算和复杂算法应用提供了基础。2. 数据治理#
数据治理是识别企业的数据资产，建立统一、可执行的数据标准和数据质量体系，保障数据安全合规，实现数据资源在全企业范围内的共享，促进数据资产持续创造价值的一整套管理体系，包括元数据管理、主数据管理、数据质量管理、数据标准管理等方面。完善的数据治理体系是数据得以发挥价值的重要基础，如果财务不重视或不进行有效的数据治理工作，则在提供数据服务的过程中会出现诸多问题，影响数据使用的效率和效果。比如如果费用类型、会计科目、银行账户、项目等会计主数据编号和标识不统一，那么在跨部门使用过程中就会出现主数据不规范、口径不一等问题；如果不对数据质量进行界定和评估，就可能会出现数据准确性不高、时效性低、数据重复等问题。会计大数据的数据治理从属于企业级的数据治理，通常企业会建立整体层面的数据治理平台，将数据标准、数据架构、数据质量方面的规划和治理成果及数据安全相关政策规定的要求落地。而数据治理平台规划和建设同样需要财务部门的协作，通过规划数据治理平台系统建设，实现业财数据在各系统之间的调用，设置数据校验规则对数据的安全性、及时性、完整性、逻辑性、唯一性等进行校验，将数据问题直接反馈至责任部门，切实实现数据质量的持续提升。3. 数据采集#
没有数据，数据分析就无从谈起。数据采集是指通过不同的技术应用获取来自不同数据源及各种类型的海量数据的过程。常见的数据采集工 具有条形码、传感器、RFID（射频识别）、OCR（光学字符识别）、网络爬虫、API（应用程序接口）、数据库、系统日志、埋点等。图2 中兴新云票联系统OCR 技术引擎及其技术实现
4. 数据清洗#
会计大数据由于其数据源来源广泛，且数据类型和数据结构较为复杂，容易产生数据缺失、数据重复、数据错 误等很多“脏”数据，因此在数据采集之后首先需要进行数据清洗来保证数据的准确完整、可靠有效。数据清洗是指按照一定规则对“脏”数据进行处理的过程，通过去噪、数据过滤、数据聚合、数据修正等方式剔除数据中的噪音和干扰项来提高数据质量。ETL 是常用于大数据清洗的解决方案，其主要功能是将来自多异构数据源的数据经过抽取、清洗、转换，最后加载至数据仓库或其他目的端的过程。财务部门在出具各种分析报表时（比如统计分析某一区域各月度，以及各产品的销售和竞争对手销售情况），从内部各系统或外部网络渠道采集的数据可能存在数据更新不及时、系统运行异常等问题导致销售量与金额不匹配等逻辑错误、某月份竞争对手销售量等数据由于难以获取而出现数据缺失、某产品销售额及销售量数据值异常，与常识不符等问题，这种情况需借助合适的数据清洗工具通过设置相应的清洗规则来保证数据的可用性。5. 数据分析#
数据分析可分为数据探索和数据算法两部分。数据探索是介于数据清洗和数据算法之间的重要环节，是通过作图制表、计算统计量等方法来探索数据内在结构和规律，了解数据集自身特点以及数据间的相互关系的一种开放性分析方法，可帮助了解数据的整体情况，对数据的主要特征、规律进行概括，为后续数据算法模型的构建和选择提供基础。数据算法是一系列有助于解决问题和实现目标的规则，通过对一定规范的输入，按照明确、有限、可行的操作步骤，实 现期望结果的输出，是企业得以在海量数据中深入探索数据规律和发掘有效信息的关键。算法是为了解决问题而存在，正是因为企业经营过程中存在各种各样的决策问题项，所以算法也是多样化的。近年来随着机器学习、深度学习、自然语言处理等人工智能技术的发展，数据算法也在不断迭代和优化。按照不同的业务需求，常见数据算法可分为五类：分类算法（逻辑回归、线性判别分析、决策树、朴素贝叶斯、支持向量机等）、聚类算法（K-means 聚类、K均值聚类等）、回归算法（线性回归、多项式回归、逐步回归等）、关联规则算法（Apriori、FP-Growth 等）及时间序列算法（平滑模型、ARIMA 等）。在财务工作过程中，需要根据不同的决策场景选择合适的算法模型，比如当通过历年销售收入数据预测下一月度及季度的销售收入时，可以利用在时间序列模型中输入影响收入的相关变量以及参数，得出相应的预测数据值，管理层可根据计算出的预测值与目标值的差额及时调整营销策略。6. 数据可视化#
数据可视化是指利用计算机图形学和图像处理技术，将数据及分析结果转换成图形或图像在屏幕上显示出来，再进行交互处理的理论、方法和技术。可视化能够让复杂的信息愈加简洁和易于理解，且能够提供全貌数据和实时信息。数据可视化可以仪表盘、BI 报表、数字化大屏、经营看板等形式进行展现，比如中兴新云财经云图可按照业务场景输出费用分析、采购供应商 分析、资金运营分析等多类型可视化报表。以费用分析可视化报表为例（如图2 所示），财经云图可清晰展示企业整体费用支出情况（累计费用、月度费用分布、各类型费用分布等）、交易方情况（交易方数量、交易方地区、交易方排行等）、进项发票情况（发票类型统计、待认证发票、待抵扣发票等）、差旅费情况（月度差旅费用、热门航司、常住酒店等）等信息。三、会计大数据分析与处理技术的典型应用场景#
当下，面向日益复杂的外部环境变化和企业转型升级的内生发展需求，数据作为与土地、资本、技术、劳动力并列的第五大生产要素，在企业生产经营过程中发挥着越来越重要的作用。作为企业的数字部门，未来借助会计大数据分析与处理技术及其他数字技术，财务将从数据沉淀者转化为数据服务者，更多地在监控分析、预测预警等方面为企业创新发展提供助力，帮助企业实现财务数字化转型。按照财务发挥的职能，可将财务数字化分为财务会计数字化、管理会计数字化、决策支持数字化（如图3所示）。财务会计数字化是财务会计职能和业务流程的数字化，核算、资金、税务等财务基础工作将会更加自动化、智能化处理，可体现在智能填单、智能审核等应用场景当中；管理会计数字化是预算管理、绩效管理、成本管理、风险管理等管理会计工作场景的数字化；决策支持数字化是财务切入到企业业务循环和管理循环，对于业务以及管理决策支持的数字化，比如对于研发到产品、采购到生产、市场到销售等经营场景的决策支撑。数字化转型的核心是数据驱动，财务数字化不同发展阶段中各业务场景的实现都离不开对数据的充分应用，会计大数据分析和处理技术通过对会计大数据进行采集、清洗加 工、分析和可视化展现，为财务数字化决策场景的实现提供重要支撑。以下对会计大数据分析与处理技术在资金管理、预算管理、管理报表自动化出具、客户信用管理的典型财务数字化应用场景予以介绍。（一）大数据资金管理#
资金是企业的生命线，对企业经营的重要性不言而喻，资金安全、可视、可控一直是企业资金管理所追求的目标，会计大数据分析与处理技术可帮助企业实现资金流的实时预测及支付欺诈管控。1. 资金流实时预测#
通过对企业涉及资金收支的业务进行分析，比如销售收入、采购付款、日常费用支出等，根据各影响因素明确数据来源及采集方式，构建现金流预测模型，通过算法计算预测结果，并进行可视化实时展示。2. 支付欺诈管控#
集团公司往往下属公司较多，资金交易频率高、金额大、风险高，然而财务监管手段有限，管控力度弱。前端业务的复杂性造成后台财务人员进行资金支付时校验困难，事前较难发现风险，主要依靠事后审计。借助会计大数据分析与处理技术，综合使用文件导入、数据库链接、API 接口等采集方式，实现支付指令数据、机构基础数据、客商黑名单或白名单等数据的采集，通过对企业内外部数据的有效整合以及配置算法模型和数据规则，实现对交易频率异常、交易金额异常、重复支付等异常支付行为的智能识别，完成企业支付欺诈及支付风险的事前防范和事后审查，保障企业资金安全。（二）大数据预算管理#
预算管理是管理会计的重要职能之一，一般包括确定预算目标、预算编制、预算控制、预算分析、预算调整、预算考核等环节。然而预算管理在企业中实际执行效果却不尽人意，究其原因，一方面预算编制主观判断较多，预算数据准确性不高；另一方面由于业务侧经常发生变化，预算执行过程中难以进行及时、有效的监控和分析。随着财务获得的数据愈加广泛，以及借助会计大数据分析与处理技术，企业预算管理过程将更加有效，主要体现在以下三个方面：（1）预算编制精准化#
综合利用多种数据采集技术获取与企业经营相关的内外部数据，通过模型构建及算法应用实现更为精准的收入、费用、资金等预测，提高预算编制的科学性与准确性。如某电商服装企业通过引入大数据分析平台，销售预测准确率提高了两倍以上，而销售预测准确率的提高又为生产、采购、费用等预算的编制提供了良好的数据基础，进而提高了企业整体预算编制的效率和效果。（2）预算管控自动化#
通过自动从业务系统抓取业务部门实际预算执行数据，按日跟踪全口径预算执行情况，当实际值偏离预算值差异过大时可进行预警提示，使得预算过程管控更加高效。（3）预算分析可视化#
通过对预算数据和实际执行数据的自动抓取、数据计算逻辑设置以及数据指标体系构建，自动出具预算分析报表，并通过数据可视化技术的应用，将预算分析结果进行图形化展示和趋势分析，为绩效考核提供可靠依据。（三）管理报表自动化#
为满足内外部信息使用者需要，除依据企业会计准则出具的标准财务报表之外，财务部门还需向相关主管部门报送报表，以及为满足企业内部管理需要出具内部报表。大型企业的各类型管理报表可能会有几十上百张，财务人员经常需要从多个系统进行取数然后以线下Excel 的形式耗费大量时间重新进行数据计算和加工，数据准确性难以保证，且没有精力对数据背后的原因做进一步的深层分析。会计大数据分析与处理技术使得自助式报表服务成为可能，中兴新云财经云图“12345”框架（如图4 所示）为实现企业全方位、多角度管理报表的自动化出具提供有效方法，财经云图以解读企业价值创造过程为起点，结合企业战略规划和管理层需求，通过价值（Value）、业务（Business）、数据（Data）、技术（Technology）的四维模型（VBDT）梳理企业核心价值体系，识别关键动因业务模型以及关键控制点，建立企业全方位的管理会计指标体系和管理会计标准报告体系，结合数据治理、数据采集、数据清洗、数据分析、数据可视化技术应用，按照数据准备、确定接口标准、数据清洗加工、明确数据指标、报表配置的五步实施路径，可灵活输出、多层钻取预算、成本、绩效、销售、薪酬等多维分析报表，大大减轻了管理报表编制和分析的手工操作量，使得财务人员能够更多聚焦于数据呈现结果所隐含的问题，辅助经营管理决策。（四）大数据信用管理#
对大中型企业而言，由于子公司众多且业态复杂，客户数量众多，如果管理不善，很可能出现大额坏账影响企业的现金流和正常的生产经营，特别是如果在对某一客户有重大依赖的情况下，一旦发生风险事件，很可能导致公司破产。传统的客户信用风险管控主要依靠线下手工搜集风险信息及主观判断，缺乏自动化、智能化手段，工作效率低下，且很难持续地对信用风险进行监控，导致事前管控不到位、 事中管控不及时。在会计大数据分析与处理技术的支撑下，企业可以创建全生命周期、全流程、更加具有预见性的智能风险管控体系，可从不同的数据源中进行成百上千个数据项的自动采集，比如所属行业信息、客户股权变动信息、客户财务信息、历史贷款还款信息、历史金融交易信息、历史征信信息、纳税信息等，在获取大量数据的基础上建立并持续优化风险评价模型及算法应用，形成企业风险画像，对企业违约概率进行预测，根据预测结果指导企业的经营决策。具体可体现在如下场景：1. 客户信用评价#
结合搭建的信用风险评价模型，多渠道获取客户在还款意愿、还款能力、经营环境等各个维度的数据并通过算法应用计算出客户信用风险等级，根据量化评价结果决定是否能够合作以及能够给予的授信期限和额度。2. 应收账款管理#
通过采集内外部和客户回款风险相关的数据并结合风险模型计算分析，对客户信用风险及时预警，以及通过对合同约定回款（包括金额、时间等）与实际回款差异的实时监控分析，及时采取相关措施以提高企业应收账款回收率，降低坏账风险。四、会计大数据分析与处理技术的应用成效#
数字经济时代，企业数字化转型已是大势所趋，财务数字化是企业数字化的重要组成部分，数字技术的发展不仅会改变财务的未来，更会改变企业管理和业务的未来。（一）助力管理决策向数据驱动转变#
数据作为新型生产要素，是帮助企业在复杂多变、竞争激烈的市场环境中获得持续性竞争优势的重要资源，数据价值链是数据发挥价值的途径，包括业务需求分析、数据采集、数据清洗、数据探索、数据算法、数据可视化六大步骤。而会计大数据分析与处理技术是财务数据价值链的重要实现工具，使得财务部门能够将数据作为一种服务产品输送到各个业务部门和企业经营过程当中，帮助企业构建“数据+算法”的新型数据驱动决策机制替代传统的经验直觉式决策，管理决策将会更加科学高效、精准及时。（二）推动财务职能向运营管理拓展#
企业对于数据价值的渴望以及会计大数据分析与处理技术的进步，使得财务职能在财务会计和管理会计的基础上进一步向前拓展，即发挥企业运营管理职能，以数据为指引为企业提供运营监控和数字化建议。财务将基于数据洞察，分析企业发展轨迹和路径，研究过去得失、预测未来发展规律，成为企业的“数字神经系统”，针对企业的每一个运营场景提供全业务支持，帮助企业发现更多的新兴商业模式，实现新的价值创造。（三）促进财务人员向经营顾问转型#
随着大数据、RPA 等新兴技术和工具在财务领域的深入应用，财务职能得以进一步颠覆，大量的基础性处理工作可以由系统自动完成，财务人员需重新审视自身在新时代的角色和价值，积极拥抱数字技术驱动下的财务发展机遇，不断拓展自身能力结构，成为懂会计规则+ 懂管理方法+ 懂技术工具+ 懂数据科学+ 懂商业战略的综合型财务人才，将更多时间和精力用在企业数据分析和决策支持上，推动企业价值创新。作者简介：
陈虎，中兴新云服务有限公司总裁
陈健，四川华西集团有限公司财税管理中心总经理本文引用格式：
陈虎, 陈健. 财务云：会计大数据分析与处理技术：助推数据赋能财务新未来[J].财务与会计，2022(10)：33-38.获取本文PDF版：
扫码加入