运用富客户端和WebGIS技术,研究农产品价格信息的网络地图可视化方法。首先将垂直搜素引擎抓取到的农产品价格信息进行去重和规范处理,分别使用通用地图服务和正向最大匹配算法对农产品价格数据进行地理位置匹配;然后分别以百度地图API和ArcGIS API for Flex为例,基于JavaScript/Ajax和Flex 2种技术研究农产品市场行情信息的地图可视化方法,实现对全国省市的农产品价格与类别等文本信息在空间地图上不同颜色和符号的标注与渲染,动态生成等级地图、柱状专题地图等,为用户提供直观形象的农产品价格变化的空间分布规律和时间变化规律;最后总结了2种方法的优缺点,与传统WebGIS相比,基于富客户端的WebGIS具有浏览速度快、可视化效果好、交互强的优点,为农产品市场行情信息的智能化可视化分析和挖掘提供了可行的解决思路。
随着数据爆炸式增长,如何及时有效地对大数据进行分析成为一项研究热点.连接算法在数据分析、数据库查询等众多领域具有广泛应用.非等值连接中的范围连接经常用于查找连接属性值相差在一定范围内的记录,需要进行数据源间的笛卡尔积操作,目前大数据分析平台都没有提供对范围连接的支持.此外,数据倾斜在实际应用中普遍存在,导致并行系统负载不均,严重影响连接查询性能.为了解决这些问题,提出一种适用于大数据分析的抗倾斜范围连接算法(skew insensitive range join,SIRJ),通过桶划分方法进行范围连接,同时避免了数据倾斜带来的负载不均和内存溢出等问题.最后,在平衡数据集和倾斜数据集下进行了实验,通过与先进方法对比,验证了SIRJ算法在网络传输代价、运行时间和负载均衡等方面更具优势.
暂无评论