海量数据采集与处理系统

海量数据采集与处理系统以数据为基础，以全链路加工为核心，提供数据采集、数据集成、数据开发、发布上线、统一任务调度、计算引擎、运维等多种功能。开发人员通过流程配置模块定义数据采集和处理的流程与规则,以生成任务拓扑；数据采集模块根据任务拓扑中的规则采集业务数据，并将关联数据加载到数据缓存模块。最后，数据处理模块根据任务拓扑中的处理规则，结合数据缓存模块中的关联数据对业务数据进行处理。
在近三年的研发过程中，按照研发计划有序推进，完成了研发任务。开发完成了海量数据采集与处理系统研发，获得相关软件著作权2 项，并申报相关国家发明专利 6项；累计新增产值超过 1100 万元，累计净利润超过140 万元，累计新增税收超过60万元。项目研发同时了锻炼了团队，培养了技术和学术人员，取得了预期效果。