首页 理论教育 图数据处理系统优化策略

图数据处理系统优化策略

时间:2023-06-28 理论教育 版权反馈
【摘要】:这需要图数据处理系统选取合适的图分割以及图计算模型来满足要求。图3-18价格标签图图3-19服装颜色属性图图3-20自然特征图图3-21人脑语义地图3.3.4.2图数据分析处理系统图数据处理有一些典型的系统,如Google的Pregel系统,Neo4j系统和微软的Trinity系统。Trinity可以配置在一台或上百台计算机上,Trinity提供了一个图分割机制。Trinity是一个基于内存的图数据库,有丰富的数据库特点。

图数据处理系统优化策略

3.3.4.1 图数据

图数据是通过图形表达出来的信息含义。图自身的结构特点可以很好地表示事物之间的关系。图数据中主要包括图中的节点以及连接节点的边。在图中,顶点和边实例化构成各种类型的图,如标签图、属性图、语义图以及特征图等(图3-18~图3-21)。大图数据是无法使用单台机器进行处理的,但如果对大图数据进行并行处理,对于每一个顶点之间都是连通的图来讲,难以分割成若干完全独立的子图进行独立的并行处理,即使可以分割,也会面临并行机器的协同处理以及将最后的处理结果进行合并等一系列问题。这需要图数据处理系统选取合适的图分割以及图计算模型来满足要求。

图3-18 价格标签图

图3-19 服装颜色属性图

图3-20 自然特征图

(www.xing528.com)

图3-21 人脑语义地图

3.3.4.2 图数据分析处理系统

图数据处理有一些典型的系统,如Google的Pregel系统,Neo4j系统和微软的Trinity系统。Trinity是Microsoft推出的一款建立在分布式云存储上的计算平台,可以提供高度并行查询处理、事务记录、一致性控制等功能。Trinity主要使用内存存储,磁盘仅作为备份存储。

Trinity有以下特点:

(1)数据模型是超图。超图中,一条边可以连接任意数目的图顶点,此模型中图的边称为超边,超图比简单图的适用性更强,保留的信息更多。

(2)并发性。Trinity可以配置在一台或上百台计算机上,Trinity提供了一个图分割机制。

(3)具有数据库的一些特点。Trinity是一个基于内存的图数据库,有丰富的数据库特点。

(4)支持批处理。Trinity支持大型在线查询和离线批处理,并且支持同步和不同步批处理计算。

总之,面对大数据,各种处理系统层出不穷,各有特色。总体来说,数据处理平台多样化,国内外的互联网企业都在基于开源性面向典型应用的专用化系统进行开发。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈