一个健强的AKKA和Spark支持的大数据结构设计策略

目前的大数据处理方案对模型的训练过程有着非常好的支持,但是对模型的应用方面的支持却不如前者那样强大。本文介绍了一种结合Spark与AKKA及Web相关的技术形成的一套大数据分析,模型训练,模型应用的一套完整的大数据应用方案。采用Spark大数据处理技术把海量的数据作为机器学习的经验集E训练模型P,然后使用AKKA、AKKA Stream,、AKKA HTTP等技术构造一套可以与Spark深度结合并且可以动态伸缩的Web服务,通过HTTP、HTTPS等应用层协议与Web服务交互,可以将用户提交的部分信息应用到模型P,得出评判的结果,并通过Web服务将结果返回给用户。