一个健强的AKKA和Spark支持的大数据结构设计策略 |
| |
引用本文: | 严锟,兰奎,邹学利.一个健强的AKKA和Spark支持的大数据结构设计策略[J].决策咨询通讯,2017(1). |
| |
作者姓名: | 严锟 兰奎 邹学利 |
| |
作者单位: | 四川鑫涞信息工程有限公司 |
| |
摘 要: | 目前的大数据处理方案对模型的训练过程有着非常好的支持,但是对模型的应用方面的支持却不如前者那样强大。本文介绍了一种结合Spark与AKKA及Web相关的技术形成的一套大数据分析,模型训练,模型应用的一套完整的大数据应用方案。采用Spark大数据处理技术把海量的数据作为机器学习的经验集E训练模型P,然后使用AKKA、AKKA Stream,、AKKA HTTP等技术构造一套可以与Spark深度结合并且可以动态伸缩的Web服务,通过HTTP、HTTPS等应用层协议与Web服务交互,可以将用户提交的部分信息应用到模型P,得出评判的结果,并通过Web服务将结果返回给用户。
|
关 键 词: | 大数据应用架构 Spark AKKA AKKA Stream Web Server |
本文献已被 万方数据 等数据库收录! |
|