网站数据采集的五种方法（一文详解数据采集）

　　1.什么是采集

　　在一般的分层业务系统中，数据采集都是一个非常重要的部分:主要负责数据的输入。

　　2.为什么需要采集

　　在传统的管理系统中，一般的业务系统都是采集，存储，显示 ，报表，这是传统分层模型下的架构方式下的业务功能;我们重点看一下数据采集部分;

　　3.场景分析

　　1.第一种数据采集就是基于请求式样的采集，意味着请求即是采集。常见的情景就是HTTP 请求，把大量请求作为数据源存储都DB中。

　　2.第二种就是基于网页版的数据采集，前端使用打点技术，没隔一段时间完成数据采集，存储到DB中。

　　3.最后一种就是数据钻取方式，从中间表查询存储到DB中

　　4基于ETL导入的方式数据采集。

　　5.基于消息队列的数据采集，

　　4.解决方案：

　　第1种方案就是常见的程序采集，实现是实体类的映射，存储到DB中，主要是实现对Bean的映射和格式转换。入xml，Object，配置文件等自定义数据结构等解析

　　数组解析，配置文件读取，xml的解析，Object解析，JSON解析，等数据基本数据类型和复杂数据类型解析。

　　xml这方面实现技术：Jaxb2

　　配置文件实现jdk protites,Map 映射

　　xml解析：dom4j,JDOM,

　　Object:对象之间的映射，一对多，多对一等方式，常见入Herbernate,Mybatis等。

　　JSON：Gson 实现,fastjson等

　　第二种方案：是基于网页采集的，常见的入divolte技术等。

　　第三种方案：比较常见的是启动一个定时任务去采集，我们可以到中间库去采集，查询出中间库的数据，定时采集到自己的业务表中。

　　第四中方案：利用DB之前的迁移工具，如oracle 的导入泵，RMAN工具等。

　　第五种方案: 基于消息队列的方式，如kafka进行监听和消费存储到DB中。