随着大数据时代的到来,很多公司企业都会经常碰到大数据处理分析的问题。现存的一些大数据处理系统大多收费,并且存在操作复杂、算法不可定制、处理结果不直观等问题。本系统后台基于Hadoop集群,使主流数据挖掘算法在大数据集上依然能高效运行。在此基础上,还提供了算法自定义功能,用户通过提交算法包,并简单配置即可使自定义算法成功运行在该系统上。前端基于Webx开源框架,以网站形式对外提供服务,降低传统命令行操作的学习成本,实现Hadoop操作完全图形化,并对数据处理结果进行多样可视化展示,为研究者后期深入研究提供便利。
主要功能
终端命令可视化操作
分布式文件管理
远程访问、集群运算
远程文件上传、输出
算法创建、展示、测试、运行
结果可视化分析
留言板、BUG反馈
系统架构
处理流程
算法创建流程
工作机制
算法库
K-Means
Canopy
Mean Shift
Fuzzy C-Means
Naive Bayesian
KNN
Radom Forests
Distributed Item-Based Collaborative Filtering
FP-Tree
PCA