首页科研项目完成项目

科研项目

联系我们

more »
  • 联系我们
  • 大数据与智能计算实验室
  • 电话:0411-62274392
  • 地址:大连市经济技术开发区图强街321号 大连理工大学软件学院
  • 邮编:116620
  • E-mail:zkchen@dlut.edu.cn

完成项目

基于Hadoop的大数据处理平台(自主研发)

随着大数据时代的到来,很多公司企业都会经常碰到大数据处理分析的问题。现存的一些大数据处理系统大多收费,并且存在操作复杂、算法不可定制、处理结果不直观等问题。本系统后台基于Hadoop集群,使主流数据挖掘算法在大数据集上依然能高效运行。在此基础上,还提供了算法自定义功能,用户通过提交算法包,并简单配置即可使自定义算法成功运行在该系统上。前端基于Webx开源框架,以网站形式对外提供服务,降低传统命令行操作的学习成本,实现Hadoop操作完全图形化,并对数据处理结果进行多样可视化展示,为研究者后期深入研究提供便利。

主要功能

  • 终端命令可视化操作

  • 分布式文件管理

  • 远程访问、集群运算

  • 远程文件上传、输出

  • 算法创建、展示、测试、运行

  • 结果可视化分析

  • 留言板、BUG反馈

系统架构

处理流程

算法创建流程

工作机制

算法库

  • K-Means

  • Canopy

  • Mean Shift

  • Fuzzy C-Means

  • Naive Bayesian

  • KNN

  • Radom Forests

  • Distributed Item-Based Collaborative Filtering

  • FP-Tree

  • PCA