大数据平台建设

北京软件和信息服务交易所（以下简称“软交所”）作为2010年北京市郭金龙市长政府工作报告中的第六十六号“折子工程”，是在工业和信息化部、北京市经信委和海淀区政府的共同策划并投资下于2011年5月6日正式成立的。2017年5月，软交所招标采购交易中心挂牌成为北京市公共资源交易软件和信息服务分平台，为全市政府投资信息化咨询设计、软件开发、系统集成、软硬件采购、运行维护、项目监理等服务和设备采购等项目提供项目入场登记、招标中标公告发布、投标企业信用查询、评标专家抽取、电子开标、电子评标、现场监察、远程监察、合同公示等交易全流程服务。

随着软交所招标采购业务的发展，目前，软交所已拥有全国政府投资的招标采购交易大数据，具备为用户提供各类定制化数据分析报告的能力。今年以来，随着用户定制化数据分析报告需求不断增加和原始数据量的不断增大，当前的人工数据分析方法已经不能满足快速的业务发展需要，建立大数据分析平台迫在眉睫。通过“全国招标采购大数据分析平台”的建设，在解决对数据处理速度、成果时效性和数据安全隐患要求的同时，进一步实现数据处理工作平台化、工作语言统一化和工作流程连贯性。

目前软交所采用了拓尔思的网页爬虫系统，从有关招投标的网站上抓取数据，抓取数据后放入到后台的Mysql数据库中进行分析和处理。目前已经形成了一套相对标准的工作流程。

当前软交所使用的是拓尔思系统作为数据采集的前端。后台使用了mysql数据库。数据总量约800万条，每条数据项约150个。数据中包括文本、附件（包括但不限于PDF、DOC、DOCX、XLS、XLSX、JPG图片等）、URL等。现有的系统已经初步完成了数据采集、清洗、处理以及生成报告的流程。

当前软交所主要问题是采集的数据只能保证完整性但是不能保证数据的准确性。没有数据的准确性作保证，数据分析的准确性也受到巨大影响。为了保证数据的正确性，软交所投入了大量的人力物力进行数据清洗，虽然人力也能完成数据清洗工作，但是数据处理效率以及数据处理成本相对较高，另外随着数据量不断增大，人力处理已经捉襟见肘，急需要一套根据现有人工处理流程开发出一套自动化处理流程的系统。本期项目的关键是改变现在大量的人工清洗数据模式为计算机根据规则自动清洗数据，提升整个系统数据处理的工作效率。整个项目计划采用B/S架构。输出数据可以通过WEB端进行展示和下载。

在技术实现上，本系统基于JAVA技术框架技术进行建设，采用应用构件和可复用技术，面向系统整体需求，分析系统内部的各要素如用户、数据、业务、表现、权限等，针对各要素开发系列可自我管理、自我扩展的管理构件平台，并最终形成可集成、可搭建、可维护、可扩展、高安全、高性能、高质量的一体化信息管理平台。

系统建成后形成统一和连贯数据处理的各个流程（包括数据源管理监控，数据抽取、清洗等处理，数据建模分析，以及分析报告生成等过程），减少人工方式的处理，提高数据的处理能力和处理效率，实现数据从数据源到数据产品的一体化大数据分析平台。

1、极大地减少人力物力投入，节省运营成本；

2、提高数据处理能力和处理效率；

3、消除数据安全隐患，保障平台服务平稳运行。