(17)awk数组用法详解

数组

awk数组特性:

  • awk的数组是关联数组(即key/value方式的hash数据结构),索引下标可为数值(甚至是负数、小数等),也可为字符串
    • 在内部,awk数组的索引全都是字符串,即使是数值索引在使用时内部也会转换成字符串
    • awk的数组元素的顺序和元素插入时的顺序很可能是不相同的
  • awk数组支持数组的数组

awk访问、赋值数组元素

arr[idx]
arr[idx] = value

索引可以是整数、负数、0、小数、字符串。如果是数值索引,会按照CONVFMT变量指定的格式先转换成字符串。

例如:

[root@docker-01 ~]# awk '
>   BEGIN{
>     arr[1]   = 11
>     arr["1"] = 111
>     arr["a"] = "aa"
>     arr[-1]  = -11
>     arr[4.3] = 4.33
> print arr[1]     # 111
>     print arr["1"]   # 111
>     print arr["a"]   # aa
>     print arr[-1]    # -11
>     print arr[4.3]   # 4.33
>   }
> '
111
111
aa
-11
4.33

通过索引的方式访问数组中不存在的元素时,会返回空字符串,同时会创建这个元素并将其值设置为空字符串。

[root@docker-01 ~]# awk '
>   BEGIN{
>     arr[-1]=3;
>     print length(arr);  # 1
>     print arr[1];
>     print length(arr)   # 2
>   }'
1

2

awk数组长度

awk提供了length()函数来获取数组的元素个数,它也可以用于获取字符串的字符数量。还可以获取数值转换成字符串后的字符数量。

[root@docker-01 ~]# awk 'BEGIN{arr[1]=1;arr[2]=2;print length(arr);print length("hello")}'
2
5

awk删除数组元素

  • delete arr[idx]:删除数组arr[idx]元素
    • 删除不存在的元素不会报错
  • delete arr:删除数组所有元素
[root@docker-01 ~]# awk 'BEGIN{arr[1]=1;arr[2]=2;arr[3]=3;delete arr[2];print length(arr)}'
2

awk检测是否是数组

isarray(arr)可用于检测arr是否是数组,如果是数组则返回1,否则返回0。

typeof(arr)可返回数据类型,如果arr是数组,则其返回"array"。
[root@docker-01 ~]# awk 'BEGIN{
>     arr[1]=1;
>     print isarray(arr);
>     print (typeof(arr) == "array")
> }'
1
1

awk测试元素是否在数组中

不要使用下面的方式来测试元素是否在数组中:

if(arr["x"] != ""){...}

这有两个问题:

  • 如果不存在arr["x"],则会立即创建该元素,并将其值设置为空字符串
  • 有些元素的值本身就是空字符串

应当使用数组成员测试操作符in来测试:

# 注意,idx不要使用index,它是一个内置函数
if (idx in arr){...}

它会测试索引idx是否在数组中,如果存在则返回1,不存在则返回0。

[root@docker-01 ~]# awk '
>     BEGIN{
>         arr[1]=1;
>         arr[2]=2;
>         arr[3]=3;
> 
>         arr[1]="";
>         delete arr[2];
> 
>         print (1 in arr);  # 1
>         print (2 in arr);  # 0
>     }'
1
0

awk遍历数组

awk提供了一种for变体来遍历数组

for(idx in arr){print arr[idx]}

因为awk数组是关联数组,元素是不连续的,也就是说没有顺序。遍历awk数组时,顺序是不可预测的。

例如:

[root@docker-01 ~]# awk '
>     BEGIN{
>         arr["one"] = 1
>         arr["two"] = 2
>         arr["three"] = 3
>         arr["four"] = 4
>         arr["five"] = 5
> 
>         for(i in arr){
>             print i " -> " arr[i]
>         }
>     }
> '
three -> 3
two -> 2
five -> 5
four -> 4
one -> 1

此外,不要随意使用for(i=0;i<length(arr);i++)来遍历数组,因为awk数组是关联数组。但如果已经明确知道数组的所有元素索引都位于某个数值范围内,则可以使用该方式进行遍历。

[root@docker-01 ~]# awk '
>     BEGIN{
>         arr[1] = "one"
>         arr[2] = "two"
>         arr[3] = "three"
>         arr[4] = "four"
>         arr[5] = "five"
>         arr[10]= "ten"
> 
>         for(i=0;i<=10;i++){
>             if(i in arr){
>                 print arr[i]
>             }
>         }
>     }
> '
one
two
three
four
five
ten

awk复杂索引的数组

在awk中,很多时候单纯的一个数组只能存放两个信息:一个索引、一个值。但在一些场景下,这样简单的存储能力在处理复杂需求的时候可能会捉襟见肘。

为了存储更多信息,方式之一是将第3份、第4份等信息全部以特殊方式存放到值中,但是这样的方式在实际使用过程中并不方便,每次都需要去分割值从而取出各部分的值。

另一种方式是将第3份、第4份等信息存放在索引中,将多份数据组成一个整体构成一个索引。

gawk中提供了将多份数据信息组合成一个整体当作一个索引的功能。默认方式为arr[x,y],其中x和y是要结合起来构建成一个索引的两部分数据信息。逗号称为下标分隔符,在构建索引时会根据预定义变量SUBSEP的值将多个索引组合起来。所以arr[x,y]其实完全等价于arr[x SUBSEP y]

例如,如果SUBSEP设置为"@",那么arr[5,12] = 512存储时,其真实索引为5@12,所以要访问该元素需使用arr["5@12"]

SUBSEP的默认值为\034,它是一个不可打印的字符,几乎不可能会出现在字符串当中。

如果我们愿意的话,我们也可以自己将多份数据组合起来去构建成一个索引,例如arr[x" "y]。但是awk提供了这种更为简便的方式,直接用即可。

为了测试这种复杂数组的索引是否在数组中,可以使用如下方式:

arr["a","b"] = 12
if (("a", "b") in arr){...}

例如,顺时针倒转下列数据:

1 2 3 4 5 6
2 3 4 5 6 1
3 4 5 6 1 2
4 5 6 1 2 3

结果:
4 3 2 1
5 4 3 2
6 5 4 3
1 6 5 4
2 1 6 5
3 2 1 6
{
  nf = NF
  nr = NR
  for(i=1;i<=NF;i++){
    arr[NR,i] = $i
  }
}

END{
  for(i=1;i<=nf;i++){
    for(j=nr;j>=1;j--){
      if(j%nr == 1){
        printf "%s\n", arr[j,i]
      }else {
        printf "%s ", arr[j,i]
      }
    }
  }
}

awk子数组

子数组是指数组中的元素也是一个数组,即Array of Array,它也称为子数组(subarray)。

awk也支持子数组,在效果上即是嵌套数组或多维数组。

a[1][1] = 11
a[1][2] = 12
a[1][3] = 13
a[2][1] = 21
a[2][2] = 22
a[2][3] = 23
a[2][4][1] = 241
a[2][4][2] = 242
a[2][4][1] = 241
a[2][4][3] = 243

通过如下方式遍历二维数组:

for(i in a){
    for (j in a[i]){
        if(isarray(a[i][j])){
            continue
        }
        print a[i][j]
    }
}

awk指定数组遍历顺序

由于awk数组是关联数组,默认情况下,for(idx in arr)遍历数组时顺序是不可预测的。

但是gawk提供了PROCINFO["sorted_in"]来指定遍历的元素顺序。它可以设置为两种类型的值:

  • 设置为用户自定义函数
  • 设置为下面这些awk预定义好的值:
    • @unsorted:默认值,遍历时无序
    • @ind_str_asc:索引按字符串比较方式升序遍历
    • @ind_str_desc:索引按字符串比较方式降序遍历
    • @ind_num_asc:索引强制按照数值比较方式升序遍历。所以无法转换为数值的字符串索引将当作数值0进行比较
    • @ind_num_desc:索引强制按照数值比较方式降序遍历。所以无法转换为数值的字符串索引将当作数值0进行比较
    • @val_type_asc:按值升序比较,此外数值类型出现在前面,接着是字符串类型,最后是数组类(即认为num<str<arr)
    • @val_type_desc:按值降序比较,此外数组类型出现在前面,接着是字符串类型,最后是数值型(即认为num<str<arr)
    • @val_str_asc:按值升序比较,数值转换成字符串再比较,而数组出现在尾部(即认str<arr)
    • @val_str_desc:按值降序比较,数值转换成字符串再比较,而数组出现在头部(即认str<arr)
    • @val_num_asc:按值升序比较,字符串转换成数值再比较,而数组出现在尾部(即认num<arr)
    • @val_num_desc:按值降序比较,字符串转换成数值再比较,而数组出现在头部(即认为num<arr)
[root@docker-01 ~]# awk '
  BEGIN{
    arr[1] = "one"
    arr[2] = "two"
    arr[3] = "three"
    arr["a"] ="aa"
    arr["b"] ="bb"
    arr[10]= "ten"

    #PROCINFO["sorted_in"] = "@ind_num_asc"
    #PROCINFO["sorted_in"] = "@ind_str_asc"
    PROCINFO["sorted_in"] = "@val_str_asc"
    for(idx in arr){
      print idx " -> " arr[idx]
    }
}'
a -> aa
b -> bb
1 -> one
10 -> ten
3 -> three
2 -> two

如果指定为用户自定义的排序函数,其函数格式为:

function sort_func(i1,v1,i2,v2){
    ...
    return <0;0;>0
}

其中,i1和i2是每次所取两个元素的索引,v1和v2是这两个索引的对应值。

如果返回值小于0,则表示i1在i2前面,i1先被遍历。如果等于0,则表示i1和i2具有等值关系,它们的遍历顺序不可保证。如果大于0,则表示i2先于i1被遍历。

例如,对数组元素按数值大小比较来决定遍历顺序。

[root@docker-01 ~]# awk '
> function cmp_val_num(i1, v1, i2, v2){
>   if ((v1 - v2) < 0) {
>     return -1
>   } else if ((v1 - v2) == 0) {
>     return 0
>   } else {
>     return 1
>   }
>   # return (v1-v2)
> }
> 
> NR > 1 {
>   arr[$0] = $4
> }
> 
> END {
>   PROCINFO["sorted_in"] = "cmp_val_num"
>   for (i in arr) {
>     print i
>   }
> }' a.txt
5   Alex    male    18                  18185904230
8   Peter   male    20   bax@qq.com     17729348758
3   Tony    male    21   aaa@163.com    17048792503
4   Kevin   male    21   bbb@189.com    17023929033
6   Andy    female  22   ddd@139.com    18923902352
9   Steven  female  23   bc@sohu.com    15947893212
2   Alice   female  24   def@gmail.com  18084925203
7   Jerry   female  25   exdsa@189.com  18785234906
10  Bruce   female  27   bcbd@139.com   13942943905
1   Bob     male    28   abc@qq.com     18023394012

再比如,按数组元素值的字符大小来比较。

function cmp_val_str(i1,v1,i2,v2) {
    v1 = v1 ""
    v2 = v2 ""
    if(v1 < v2){
        return -1
    } else if(v1 == v2){
        return 0
    } else {
        return 1
    }
    # return (v1 < v2) ? -1 : (v1 != v2)
}

NR>1{
    arr[$0] = $2
}

END{
    PROCINFO["sorted_in"] = "cmp_val_str"
    for(line in arr)
    {
        print line
    }
}

再比如,对元素值按数值升序比较,且相等时再按第一个字段ID进行数值降序比较。

[root@docker-01 ~]# awk '
> function cmp_val_num(i1,v1,i2,v2,    a1,a2) {
>     if (v1<v2) {
>         return - 1
>     } else if(v1 == v2){
>         split(i1, a1, SUBSEP)
>         split(i2, a2, SUBSEP)
>         return a2[2] - a1[2]
>     } else {
>         return 1
>     }
> }
> 
> NR>1{
>     arr[$0,$1] = $4
> }
> 
> END{
>     PROCINFO["sorted_in"] = "cmp_val_num"
>     for(str in arr){
>         split(str, a, SUBSEP)
>         print a[1]
>     }
> }
> 
> ' a.txt
5   Alex    male    18                  18185904230
8   Peter   male    20   bax@qq.com     17729348758
4   Kevin   male    21   bbb@189.com    17023929033
3   Tony    male    21   aaa@163.com    17048792503
6   Andy    female  22   ddd@139.com    18923902352
9   Steven  female  23   bc@sohu.com    15947893212
2   Alice   female  24   def@gmail.com  18084925203
7   Jerry   female  25   exdsa@189.com  18785234906
10  Bruce   female  27   bcbd@139.com   13942943905
1   Bob     male    28   abc@qq.com     18023394012

上面使用的arr[x,y]来存储额外信息,下面使用arr[x][y]多维数组的方式来存储额外信息实现同样的排序功能。

NR>1{
  arr[NR][$0] = $4
}

END{
  PROCINFO["sorted_in"] = "cmp_val_num"
  for(nr in arr){
    for(line in arr[nr]){
      print line
    }
  # 本文来自骏马金龙:www.junmajinlong.com
  }
}

function cmp_val_num(i1,v1,i2,v2,   ii1,ii2){
  # 获取v1/v2的索引,即$0的值
  for(ii1 in v1){ }
  for(ii2 in v2){ }

  if(v1[ii1] < v2[ii2]){
    return -1
  }else if(v1[ii1] > v2[ii2]){
    return 1
  }else{
    return (i2 - i1)
  }
}

此外,gawk还提供了两个内置函数asort()和asorti()来对数组进行排序。

声明:该文章系转载,转载该文章的目的在于更广泛的传递信息,并不代表本网站赞同其观点,文章内容仅供参考。

本站是一个个人学习和交流平台,网站上部分文章为网站管理员和网友从相关媒体转载而来,并不用于任何商业目的,内容为作者个人观点, 并不代表本网站赞同其观点和对其真实性负责。

我们已经尽可能的对作者和来源进行了通告,但是可能由于能力有限或疏忽,导致作者和来源有误,亦可能您并不期望您的作品在我们的网站上发布。我们为这些问题向您致歉,如果您在我站上发现此类问题,请及时联系我们,我们将根据您的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。