【财务数据价值链】第二步：数据采集

在上一篇文章《财务数据价值链第一步：业务需求分析》中，我们为大家介绍了业务需求分析的本质以及开展业务需求的步骤，本篇文章我们将聚焦于财务数据价值链第二步——数据采集。作为财务数据价值链的第二环，数据采集就如同厨师烹饪菜肴的买菜环节，是获取数据原材料的过程，科学全面的数据采集工作是驱动数据价值链发挥作用的基础。

财务数据价值链的六个基本步骤

数据源的含义及分类

数据采集工作的目的是提供数据原材料，以驱动数据价值链高效发挥作用。企业如何开展数据采集工作？首先我们需要了解“数据源”，数据源即为数据的来源。梳理数据源能够帮助企业选择更具针对性的采集工具与方法，其是做好数据采集工作的前提。对企业而言，数据源可以按照分布的范围分类，也可以按照数据的采集路径分类。

以分布范围分类的数据源

数据源的分布范围按照企业信息体系的边界分为企业内部数据源和企业外部数据源。对不同分布范围的数据源进行数据采集，需要调用的资源是不一样的。

企业内部数据源与企业外部数据源

企业内部数据源主要包括企业的业务系统、财务系统、人力资源系统、日志采集系统、线下保存数据的办公软件以及企业生产环节的温度传感器等。企业内部数据源承载并提供了绝大部分企业营运管理所需的数据。通常这部分数据可通过数据库、系统日志、API等工具进行调取、传输与采集。

企业外部数据源包括政府、高校、机构、行业协会的开放型数据库以及网页与应用程序等。企业通过采集外部数据打通与外部世界的联系，增强敏锐觉察机遇与风险的能力。相较内部数据源而言，外部数据源大多分布广泛且分散，企业通常需要根据适配性对数据进行筛选，并采用网络爬虫和API的方式采集，以提高采集的效率和质量。

以采集路径分类的数据源

数据的采集路径可分为两类：一类是将存在于物理世界的数据复刻至数字世界中；另一类是将本身存在于数字世界的数据搬运至企业的数据仓库、数据平台或数据中台。因此，可以将数据源分为物理世界中的数据源和数字世界中的数据源。

物理世界中的数据源和数字世界中的数据源

物理世界中的数据源以物理实体为载体，借助物理设备进行数据采集，实现从物理世界向数字世界的转化。常见数据源包括条形码、二维码、传感器、工控设备等。针对物理世界中数据的不同形态，有对应的采集方式及技术，典型的采集技术包括OCR、ICR、ASR、RFID等技术。

数字世界是对物理世界的感知与映射。数字世界中的数据源存在于各种软件、系统或程序中。但数字世界中的数据并非自然相通，需要借用技术与工具将其采集并汇聚至企业的数据仓库、数据平台、数据中台中，为下一步数据的抽取、清洗、加工做好准备。常见的数据采集工具包括系统日志、数据库、网络爬虫、API等。

财务数据源的再定义与扩展

聚焦财务领域，财务数据源也需要随着财务职能的转变进一步扩展。传统财务部门围绕九大业务流程（费用报销、采购付款、订单收款、存货成本、固定资产、总账报表、会计档案、资金管理、税务管理）运转，此时，“票账表钱税”背后的数据是财务人员关注的重点，其实质可归类为结果数据。

财务采集数据范围的扩展

随着企业的转型发展和数字技术的赋能，财务职能正向着支持企业经营管理转型变革，财务所关注的数据不再仅局限于结果数据，财务需要全方位采集与汇聚结果数据、交易数据、过程数据、行为数据、环境数据，支持和驱动财务发挥经营管理、价值创造的职能。

财务数据全面采集的类型

财务数据源的扩展

随着财务所关注的数据不断丰富，财务数据源得到了重新定义与扩展，可以划分为三个层次，扩展后的财务数据源为企业建立起更加全面的数据基础。

▲ 财务数据源“三大层次”

第一层：财务数据载体及其结构化

财务数据载体是承载业务处理过程中所形成的各结果数据的单据或票证等。财务数据载体作为交易发生的“证据”，是财务部门开展财务核算工作的重要依据，按照来源可以划分为外部载体和内部载体。

第二层：对内部信息系统的全面采集

在第一层基础上，财务部门要深入研发、采购、生产、销售等业务环节，将数据的采集触点不断扩展，广泛采集各系统中的结构化数据，集成企业内部的数据资源。

第三层：对其他外部数据源的全面采集

财务要想从数据中获得洞见支持决策，就需要需要面向外部数据源，采集企业信息体系范围外的其他数据，比如客商情况、市场竞争态势、行业发展形势、宏观经济环境等，建立内外部数据网络。

财务数据源“三大层次”逐步推动财务部门从小数据集向大数据转变，最终发展成为覆盖企业内外部全数据采集情境下的数字神经网络。

财务采集数据的方法与工具

面对扩展后的财务数据源，数据采集的要求、具体的方法以及所依赖的工具也发生了新的变化。财务需要根据具体情境选择适配度最高的采集工具和方法，以提升数据采集效率和质量，保障数据安全、有序。

不同情境下的数据采集

情境一：感知设备数据采集

描述客观事物的数据可以使用感知工具与技术进行采集，并且这种感知技术被广泛应用。常见的感知工具与技术包括OCR技术、信息传感器、射频识别技术、全球定位系统等。

在财务工作中，存在大量文本格式标准化程度高的财务数据载体，例如银行结算单、行程单、发票、车票等，财务可借助OCR技术将纸质文档上的文字转化为图像，再利用算法把图像信息翻译成可编辑的计算机文字。

中兴新云智能采集方案中OCR技术实现流程

情境二：系统中结构化数据采集

以数据库形式存储的结构化数据几乎是所有企业都具备的数据资源，这些数据涵盖了企业生产和经营各环节的核心数据，它们的数据源是企业各大信息系统，这些数据高度结构化，可进行批量采集。

例如通过票联系统能够获取各类票据信息；通过供应商智能结算系统能够智能连接所有供应商，获取开票、发票查验、三单匹配、智能审核、采购结算、认证抵扣等数据等。这些信息系统可智能化采集前端业务信息并将其存储为标准的结构化数据，打通业财数据线上通道。

事实上，上述系统后台均配置了数据库，因此能够在系统中存储、搜索、调用以及采集运行过程中产生、传输、交换的数据。但如果需要采集跨系统数据，则需要继续对数据库中的结构化数据进行采集、整合，比如可以通过数据仓库实现。

系统中结构化数据采集

情境三：日志文件数据采集

部分数据需要从系统日志、服务器日志中进行采集，这部分数据主要满足系统运维或运营管理过程中数据需要实时关注的需求。每个系统、服务器后台都存有日志数据。

用户行为分析是采集后台日志数据的典型应用。埋点是目前较为常见和成熟的捕捉和记录用户行为的方式。用户一旦发生特定行为就会被提前“埋下”的“数据记录器”记录并采集。

在财务领域，日志数据采集被广泛应用于财务作业平台、财务共享服务中心的运营管理中。例如，通过获取共享财务的单位审单时间分析其审单效率。

“埋点”数据采集

情境四：非结构化数据采集

目前，财务采集数据中非结构化数据仍然占较大比例，且该部分数据能够提供更为多样化的信息，帮助人们全面理解事物深层内涵。非结构化数据包括非结构化文档、图像、音频、视频等数据。非结构化数据采集需要针对性的技术工具。

在财务领域，合同、内部公文制度等复杂的非结构化文档海量存在，NLP技术能够实现非结构化文档数据的自动采集与语义的自动理解。比如在合同智能审核情境中，应用NLP技术可自动识别合同文本，标注并抽取关键信息进行判断，对合同进行初步核查，辅助人工进一步审核。

中兴新云合同智能审核中NLP技术应用

情境五：其他外部数据采集

财务采集数据还包括其他外部数据，而外部数据大多散落在互联网网页、各大机构的开放型数据库以及外部开放型平台中。

互联网网页信息采集

网络爬虫技术广泛应用于互联网数据采集，其实现流程主要是获取网页、解析关键数据以及存储数据。一般而言实现网络爬虫的途径包含两种：编写代码脚本和使用爬虫软件。编写代码脚本相较于爬虫软件更能满足个性化需求。Python是目前较为常用的爬取网络数据的计算机语言。财务可以通过Python爬取竞争对手、行业标杆企业、客商等的经营数据。

网络爬虫主要流程

各大机构开放型数据库数据采集

在金融经济、生产制造等诸多领域都有政府部门或权威机构专门开放给公众使用的数据库，例如国家数据、中国统计信息网等。开放型数据库数据信息专业、权威，可直接进行查阅下载或通过API批量获取。财务可以通过采集机构数据库数据获取官方权威指标数据，了解企业经营环境。

外部开放型平台数据采集

随着互联网应用的不断普及，越来越多的网络站点推出基于开放API标准的产品和服务，将自身的资源开放给开发者来调用。财务可以通过采集外部开放性平台数据，了解行业最新动态数据，掌握行业发展前沿，助力企业长远发展。

本文部分内容来源于《财务数据价值链：数据、算法、分析、可视化》。

【财务数据价值链】第二步：数据采集

数据源的含义及分类#

以分布范围分类的数据源#

以采集路径分类的数据源#

财务数据源的再定义与扩展#

财务采集数据范围的扩展#

财务数据源的扩展#

财务采集数据的方法与工具#

情境一：感知设备数据采集#

情境二：系统中结构化数据采集#

情境三：日志文件数据采集#

情境四：非结构化数据采集#

情境五：其他外部数据采集#