• 发文
  • 评论
  • 微博
  • 空间
  • 微信

专业技能|大数据技术架构

老杨说技术 2020-05-08 09:49 发文


大数据技术架构图告诉你:1)搭建什么样的技术架构支持业务:2)该使用什么技术平台。

它从上往下分为4层,依次是:服务层、计算层、存储层和采集层。

1.服务层:是说给用户使用的东东,一般就是一个数据Portal,如Tableau;还有数个数据接口。

2.计算层:是说数据的离线分析用Hive,近实时分析用Spark Streaming,还有一些聚类、分类等算法用SK learn等,经过这些计算、统计、分析之后,数据就会更加有血有肉,这一层可以认为数据的核心层,也关乎数据价值的有无和大小。

3.存储层:是说全量源数据、细节数据以及经过清洗的数据,存储在HDFS中,这一层相当于经过了粗略的一些萃取工艺,把一些“垃圾”摒弃掉了。

4.采集层:是说业务数据存储在mysql中,各种行为数据、各种补充的业务数据、各种技术类的数据都存储在日志文件中,这一层是数据的原材料,尽量多的采集用户的所有行为就对了。


声明:本文为OFweek维科号作者发布,不代表OFweek维科号立场。如有侵权或其他问题,请及时联系我们举报。
2
评论

评论

    相关阅读

    暂无数据

    老杨说技术

    数字化研发管理的践行者...

    举报文章问题

    ×
    • 营销广告
    • 重复、旧闻
    • 格式问题
    • 低俗
    • 标题夸张
    • 与事实不符
    • 疑似抄袭
    • 我有话要说
    确定 取消

    举报评论问题

    ×
    • 淫秽色情
    • 营销广告
    • 恶意攻击谩骂
    • 我要吐槽
    确定 取消

    用户登录×

    请输入用户名/手机/邮箱

    请输入密码