• 发文
  • 评论
  • 微博
  • 空间
  • 微信

离群值(异常值)处理

佐佑思维 2022-06-10 14:05 发文

1、箱型图

Sample的是一个二维数组,每列为特征,总行数为样本总数

# 箱型图

plt.boxplot(Sample[:,0])

上四分位数(Q3),中位数,下四分位数(Q1)

上四分位数和下四分位数之间的差值,即四分位数差(IQR,interquartile range)=Q3-Q1

大于上四分位数1.5倍四分位数差的值,或者小于下四分位数1.5倍四分位数差的值,划为异常值,即 Q3+1.5IQR(四分位间距)和 Q1-1.5IQR 处画两条与中位线一样的线段,这两条线段为异常值截断点,称其为内限。

2、异常值剔除

# 若存在异常值,则删除该行数据,直接重新建立一个数组,另外保存剔除离散值所在行的数据

# 大于上四分位数1.5倍四分位数差的值,或者小于下四分位数1.5倍四分位数差的值,划为异常值(outliers)

sample_error=[] # 将非离群数据行位置存入新列表

for i in range(Sample.shape[1]): # 按列读取原文件

# 这里的情况是每一行为一类数值,该行内的数据相互比较找出是否有离群值

    data = Sample[:,i]

   #计算四分位点

    q1 = np.percentile(data, 25)

    q3 = np.percentile(data, 75)            

    iqr = q3 - q1        

   # 逐行找出异常值    normal_=0 # 记录每行的正常值数

   for j in range(Sample.shape[0]):

         item=data[j]

               # 在正常值范围内时,存储数据

                if item <= q3 + (1.5*iqr) and item >= q1 - (1.5*iqr):

                       normal_=normal_+1

               # 出现异常值时,存储数据

               else:

                       sample_error.append(j)

       print('每列正常值的数量',normal_)

   print('存在异常值的Sample索引',sample_error)

利用 np.delete 剔除

Sample_del=np.delete(Sample, sample_error, axis=0)

print('剔除异常值后的数组大小',Sample_del.shape)

声明:本文为OFweek维科号作者发布,不代表OFweek维科号立场。如有侵权或其他问题,请及时联系我们举报。
2
评论

评论

    相关阅读

    暂无数据

    佐佑思维

    本着学术互助的公众号...

    举报文章问题

    ×
    • 营销广告
    • 重复、旧闻
    • 格式问题
    • 低俗
    • 标题夸张
    • 与事实不符
    • 疑似抄袭
    • 我有话要说
    确定 取消

    举报评论问题

    ×
    • 淫秽色情
    • 营销广告
    • 恶意攻击谩骂
    • 我要吐槽
    确定 取消

    用户登录×

    请输入用户名/手机/邮箱

    请输入密码