首页科研项目完成项目

科研项目

联系我们

more »
  • 联系我们
  • 大数据与智能计算实验室
  • 电话:0411-62274392
  • 地址:大连市经济技术开发区图强街321号 大连理工大学软件学院
  • 邮编:116620
  • E-mail:zkchen@dlut.edu.cn

完成项目

物联网中大数据的实时并行编程模型的设计与研究(辽宁省自然科学基金)

物联网中大数据的实时并行编程模型的设计与研究是辽宁省自然科学基金项目,项目研究预期周期为:自 2013年01月01日至 2014年12月31日。

物联网中大数据的实时处理是在物联网数据采集与传输的基础上、结合云计算、并行计算、高效数据处理算法的数据处理技术。大数据的实时处理目前已经获得广泛的关注。奥巴马政府在2012年3月份宣布“大数据研究与发展计划”,初始启动经费2亿美元,其重要性堪比当年的“信息高速公路计划”,标志着大数据已经上升到国家战略层面。2012年7月,邬贺铨院士指出“未来谁掌握了数据,谁就可以领先 ”。目前大数据的实时处理的研究仍处在初期阶段,还没有针对大数据实时处理的有效的成果和计算模型。

本项目的研究工作顺应了《辽宁省国民经济和社会发展第十二个五年规划纲要》和《东北振兴“十二五”规划》总体规划和学科交叉的科技发展趋势,切合了当前辽宁省多个行业(特别是物联网产业)自主创新的实际需求。大连理工大学是国内较早开始从事物联网数据处理相关研究的单位之一。课题组于2009年初成立了物联网数据处理研究组,近年来在该领域取得了一系列研究成果,在国内外具有一定的影响力。

物联网中的大数据具有数据量大、实时性高、结构类型复杂等特点,具有显著的特殊性,其中大数据的实时处理对物联网的发展和应用具有重大意义。为了实时处理物联网中的大数据,本项目研究大数据的实时并行计算模型,从节点调度、数据分割、并行算法三个角度进行研究。为解决大数据的实时处理提供有效的计算模型与计算平台,推动物联网的进一步发展与深入应用。

主要研发内容;拟解决技术关键点及主要技术指标:

本项目从从节点调度、数据分割、并行算法三个角度进行研究:

1)多任务节点多计算节点的调度策略。调度是并行计算模型首要考虑的问题,需要研究在多个任务节点同时进行调度下的优化策略,提高调度的实时性。

2)大数据的有效分割方法。在多个节点进行数据处理过程中,通常需要进行节点间的通信。有效地数据分割能够减少节点间通信量,降低通信的时间开销,从而提高数据处理的实时性。

3)大数据并行处理算法。一方面将传统高效的串行数据处理算法进行并行化设计,使得算法能够在并行计算模型上执行,提高执行速度与执行效率。另一方面设计高效的并行处理算法,适应大数据的结构,满足物联网中大数据处理的实时性要求。