2.1有利于海量图数据存储和维护
由于大规模图数据处理技术可以处理GB级别甚至是PB级别的图数据量。这远远大于传统的文件系统和数据库内存,使其无法在传统文件系统或数据库中运用。但云计算采用的是分布式存储模式,可以存储大规模的图数据。在云计算环境下利用大规模图数据处理技术,可以根据实际需要,集中进行海量图数据的存储、一致性的图数据维护、统一的图数据备份等处理,提高海量图数据的安全性。
2.2提高大规模图数据应用性
大规模图数据处理技术除了具有以上优点之外,还可以在云计算环境下,依据云计算分布平行处理特点,对图数据进行分割处理,将图数据分割成若干子图,以便各个子图可以有效应用,提高图数据应用效果。所以,在云计算环境下利用大规模图数据处理技术来分割图数据,可以大大提高图数据应用性。
2.3根据不同情况,合理处理大规模图数据
从技术角度和经济角度讲,云计算环境具有良好的可伸缩性和灵活性,非常适合处理数据量弹性变化大的大规模图数据。而大规模图数据处理技术也具有可伸缩性和灵活性的特点,利用此项技术来处理大规模图数据,可以根据云中动态添加节点来扩展存储容量和计算资源,从而有效地处理大规模图数据[3]。
3、云计算环境下大规模图数据处理技术的应用
图属于一种非线性数据结构,具有十分鲜明的多对多结构关系,合理利用大规模图数据处理技术来对大规模图数据进行处理,才能使图数据所表达的语义更加清晰、准确、丰富。
3.1基于云计算的图数据存储方式,合理存储图数据
目前,大规模图数据的管理应用中,所应用的数据模型主要为单图数据模型和超图数据模型。两者唯一的区别是存储格式不同。在云计算分布式存储系统中,基于以上两种数据模型进行图数据存储,形成分布式文件系统和分布式数据库。基于云计算图数据存储方式,利用大规模图数据存储技术来对大规模图形,则是根据数据模型的特点,对图数据进行合并、迁移处理,从而提高图数据的读取效率[4]。
3.2基于云计算的图数据分割,对图数据进行分割处理
由于图数据具有连通性特点,这使得图数据计算的耦合性较强。为了能利用大规模图数据处理技术来有效处理图数据,应当基于云计算图数据分割来进行。具体的做法是根据云计算分布式存储系统各个工作节点,对逻辑结构较强的、相对完整的大图进行分割处理,并且在分割过程中考虑图数据的连通性及均衡性,确保所分割的子图之间可以有效连通,并且各个子图比较均衡。
3.3 基于云计算图数据计算模型,对图数据进行计算处理
目前,云计算环境中,图数据计算的模型有两种,即Map Reduce模型和BSP模型。利用大规模图数据处理技术来进行图数据计算则是:1)Map Reduce模型。根据大规模图数据特点及Map Reduce模型特点,利用此模型搭建大规模图数据的Map Reduce模型,从而将大规模图数据计算分为Map任务和Reduce任务。在Map任务环境中,对图数据进行合理计算,输出key值。在Reduce任务环境中,将每个数据进行计算和处理,获得输出结果。2)BSP模型。大规模图数据处理技术基于BSP模型来进行大规模图数据计算,则是了解图数计算可能出现死锁或数据竞争情况,进而从消息通信的角度出发合理计算大规模图数据,获得输出值[5]。
4、结束语
综合以上内容,可以充分说明云计算环境下,基于云计算图数据存储方式、计算模型、分割方式等来利用大规模图数据处理技术,可以充分发挥此项技术优点,有效处理大规模图数据,提高图数据应用性。所以,云计算环境下,合理运用大规模图数据处理技术是非常有意义。
参考文献:
[1]于戈,谷峪,鲍玉斌等.云计算环境下的大规模图数据处理技术[J].计算机学报,2011,34(10):1753-1767.
[2] 李渊.浅析云计算环境下的大规模图数据处理技术[J].中国高新技术企业,2014(6):53-54.
[3] 于戈,谷峪,鲍玉斌等.云计算环境下的大规模图数据处理技术[C].第28届中国数据库学术会议论文集,2011:1753-1767.
[4] 赵小换.云计算环境下的大规模图数据处理技术分析[J].中国外资(下半月),2012(5):275.