您现在所在位置: 首页 百运百科 物流资讯

网站数据采集的五种方法(一文详解数据采集)

2023年04月13日 10:04:31 更新 2010 浏览 作者:国际快递-百运网

  1.什么是采集

  在一般的分层业务系统中,数据采集都是一个非常重要的部分:主要负责数据的输入。

  2.为什么需要采集

  在传统的管理系统中,一般的业务系统都是采集,存储,显示 ,报表,这是传统分层模型下的架构方式下的业务功能;我们重点看一下数据采集部分;

网站数据

  3.场景分析

  1.第一种数据采集就是基于请求式样的采集,意味着请求即是采集。常见的情景就是HTTP 请求,把大量请求作为数据源存储都DB中。

  2.第二种就是基于网页版的数据采集,前端使用打点技术,没隔一段时间完成数据采集,存储到DB中。

  3.最后一种就是数据钻取方式,从中间表查询存储到DB中

  4基于ETL导入的方式数据采集。

  5.基于消息队列的数据采集,

  4.解决方案:

  第1种方案就是常见的程序采集,实现是实体类的映射,存储到DB中,主要是实现对Bean的映射和格式转换。入xml,Object,配置文件等自定义数据结构等解析

  数组解析,配置文件读取,xml的解析,Object解析,JSON解析,等数据基本数据类型和复杂数据类型解析。

  xml这方面实现技术:Jaxb2

  配置文件实现jdk protites,Map 映射

  xml解析:dom4j,JDOM,

  Object:对象之间的映射,一对多,多对一等方式,常见入Herbernate,Mybatis等。

  JSON:Gson 实现,fastjson等

  第二种方案:是基于网页采集的,常见的入divolte技术等。

  第三种方案:比较常见的是启动一个定时任务去采集,我们可以到中间库去采集,查询出中间库的数据,定时采集到自己的业务表中。

  第四中方案:利用DB之前的迁移工具,如oracle 的导入泵,RMAN工具等。

  第五种方案: 基于消息队列的方式,如kafka进行监听和消费存储到DB中。

快递
空运
FBA
深圳市
Shenzhen
美国
United States
参考时效:4
运输方式: DHL-CN
¥13.15
深圳市
Shenzhen
英国
United Kingdom
参考时效:7
运输方式: FEDEX-HK
¥38.18
深圳市
Shenzhen
德国
Germany
参考时效:7
运输方式: FEDEX-HK
¥38.18
深圳市
Shenzhen
加拿大
Canada
参考时效:9
运输方式: FEDEX-HK
¥44.09
深圳市
Shenzhen
法国
France
参考时效:7
运输方式: FEDEX-HK
¥38.18
更多价格查询
每日推荐

目的港因塞港时效延误7-12…