• 发文
  • 评论
  • 微博
  • 空间
  • 微信

大数据分析的过程是怎样的

数据人生 2020-09-21 14:11 发文

  数据分析是指将整体分解为单独的部分,以进行单独检查。数据分析是一个过程,用于获得原始数据并将其转换成用于由用户决策有用的信息。收集并分析数据以回答问题,检验假设或推翻理论。

  统计学家约翰·图基(John Tukey)在1961年将数据分析定义为:“分析数据的程序,解释此类程序结果的技术,计划数据收集以使其分析更容易,更精确或更准确的方式以及所有的机制和结果适用于分析数据的(数学)统计信息。”

  可以区分几个阶段,如下所述。这些阶段是迭代的,因为后期阶段的反馈可能会导致早期阶段的其他工作。

  1、数据的需求

  要进行数据分析,数据是必须的,它是根据指导分析的人员或客户的要求指定的。将在其上收集数据的实体的一般类型称为实验单位(例如,个体与群体)。可以指定和获得有关人口的特定变量(例如男女人数,收入水平等)。数据可以是数字的也可以是分类的(即数字的文本标签)。

  2、数据的收集

  数据的收集来源方式很多,它是是从各种来源收集的。数据分析师可以将需求传达给数据的管理人员,如组织内的信息技术人员。还可以从环境中的传感器(例如监控,卫星等)收集数据。也可以通过采访,从在线资源下载或阅读文档来获取数据。

  3、数据的处理

  数据的处理是用于将原始信息转换为可操作的情报或知识的情报周期的各个阶段在概念上类似于数据分析中的各个阶段。

  最初获得的数据必须经过处理或组织以便分析。例如,这些可能涉及将数据以表格格式(即结构化数据)放置在行和列中,以进行进一步分析,例如在电子表格或统计软件中。

  4、数据的清理

  数据一旦经过组织和处理,数据很有可能不完整,可能会包含重复项或包含错误。由于数据输入和存储方式存在问题,因此需要清理数据。数据清理是防止和纠正这些错误的过程。常见任务包括记录匹配,识别数据不正确,现有数据的整体质量,重复数据删除和列分段。还可以通过各种分析技术来识别此类数据问题。例如,利用财务信息,可以将特定变量的总数与被认为可靠的单独发布的数字进行比较。高于或低于预定阈值的异常量也可以进行检查。数据清除有几种类型,具体取决于数据类型,例如电话号码,电子邮件地址,雇主等。用于异常值检测的定量数据方法可用于消除可能输入错误的数据。可以使用文本数据拼写检查器来减少输入错误的单词的数量,但是很难判断单词本身是否正确。

  5、探索性数据分析

  当我们清除数据后,就可以对数据进行分析。数据分析师可以应用称为探索性数据分析的各种技术来开始理解数据中包含的消息。探索的过程可能会导致额外的数据清理或额外的数据请求,因此这些活动本质上可能是迭代的。可能会生成描述性统计信息(例如平均值或中位数)以帮助理解数据。数据可视化还可以用于检查图形格式的数据,以获得有关数据中消息的其他信息

  6、建模和算法

  可以将称为算法的数学公式或模型应用于数据,以识别变量之间的关系,例如相关性或因果关系。一般而言,可以开发模型以基于数据中的其他变量评估数据中的特定变量,其中某些残余误差取决于模型的准确性(即,数据=模型+错误)。

  推论统计包括测量特定变量之间关系的技术。例如,可以使用回归分析来建模广告的变化(自变量X)是否解释了销售的变化(因变量Y)。用数学术语来说,Y(销售额)是X(广告)的函数。可以将其描述为Y=aX+b+误差,其中设计模型时,当模型在给定的X值范围内预测Y时,a和b将误差最小化。分析师可能会尝试建立描述数据的模型,以简化分析并传达结果。

  7、数据的展示

  一旦分析了数据,就可以以多种格式将其报告给分析用户,以支持他们的要求。用户可能会有反馈,这会导致其他分析。因此,许多分析周期都是迭代的。

  在确定如何传达结果时,分析人员可以考虑使用数据可视化技术来帮助将信息清晰有效地传达给听众。数据可视化使用信息显示(例如表格和图表)来帮助传达数据中包含的关键消息。表格对可能查找特定数字的用户很有帮助,而图表(例如,条形图或折线图)则可能有助于解释数据中包含的定量信息。

  大数据分析的过程是怎样的.中琛魔方大数据分析平台(zcmorefun.com)表示大数据分析的过程和结果都要依托于一个强大的计算机基础架构,这对于处理大数据信息也是至关重要的,如果要开发一些交互的系统,那么对于满足不同的用户需求是很重要的。

声明:本文为OFweek维科号作者发布,不代表OFweek维科号立场。如有侵权或其他问题,请及时联系我们举报。
2
评论

评论

    相关阅读

    暂无数据

    数据人生

    专注数字化技术自主创新与智能应用...

    举报文章问题

    ×
    • 营销广告
    • 重复、旧闻
    • 格式问题
    • 低俗
    • 标题夸张
    • 与事实不符
    • 疑似抄袭
    • 我有话要说
    确定 取消

    举报评论问题

    ×
    • 淫秽色情
    • 营销广告
    • 恶意攻击谩骂
    • 我要吐槽
    确定 取消

    用户登录×

    请输入用户名/手机/邮箱

    请输入密码