【linux】文字提取

提取IP地址

方法①:

ifconfig eth3|grep Bcast|cut -d ":" -f2|cut -d " " -f1

ifconfig: 显示或配置网络设备的命令 后面跟的是设备名。

ifconfig eth3 的显示如下:

grep: 后面接正则表达式,显示正则表达式出现的行

ifconfig eth3|grep Bcast的显示为:

cut: -d 后面接分割符 -f后面的数字表示要获取分割后的第几个数据

ifconfig eth3|grep Bcast|cut -d “:” -f2 后显示为:

ifconfig eth3|grep Bcast|cut -d “:” -f2|cut -d ” ” -f1 后就获取了ip地址

awk小例子

来自http://www.cnblogs.com/xupeizhi/archive/2012/07/23/2605371.html

①输出文件中包含符合某正则表达式的行

awk ‘/111*/’ text    输出text文件中包含符合111* 字段的行

②输出文件中每行的第n个字段

awk ‘{print $1}’ text    输出text文件中每行的第一个字段 $0表示全部

awk ‘{print $1,$3}’ text 输出text文件中每行的第一和第三个字段 空格分隔

awk ‘/111*/{print $1,$3}’ text 输出text文件中有符合111*字段行的第一和第三个字段

tr:

来自http://blog.sina.com.cn/s/blog_58c3f7960100uttl.html

tr -c -d -s [“string1_to_translate_from”] [“string2_to_translate_to”] < input-file
这里:
-c 用字符串1中字符集的补集替换此字符集,要求字符集为ASCII。
-d 删除字符串1中所有输入字符。
-s 删除所有重复出现字符序列,只保留第一个;即将重复出现字符串压缩为一个字符串。
input-file是转换文件名。虽然可以使用其他格式输入,但这种格式最常用。

例子

1、

cat file | tr “abc” “xyz” > new_file
【注意】这里,凡是在file中出现的”a”字母,都替换成”x”字母,”b”字母替换为”y”字母,”c”字母替换为”z”字母。而不是将字符串”abc”替换为字符串”xyz”。
2、使用tr命令“统一”字母大小写
(小写 –> 大写)
# cat file | tr [a-z] [A-Z] > new_file
(大写 –> 小写)
# cat file | tr [A-Z] [a-z] > new_file
 
3、把文件中的数字0-9替换为a-j
 
# cat file | tr [0-9] [a-j] > new_file

4、删除文件file中出现的”Snail”字符
 
# cat file | tr -d “Snail” > new_file
 
【注意】这里,凡是在file文件中出现的’S’,’n’,’a’,’i’,’l’字符都会被删除!而不是紧紧删除出现的”Snail”字符串
 
5、删除文件file中出现的换行’
‘、制表’ ‘字符
 
# cat file | tr -d ”
” > new_file

 
不可见字符都得用转义字符来表示的,这个都是统一的。
 
6、删除“连续着的”重复字母,只保留第一个
 
cat file | tr -s [a-zA-Z] > new_file
 
7、删除空行
 
# cat file | tr -s ”
” > new_file

 
8、删除Windows文件“造成”的’^M’字符
 
# cat file | tr -d “” > new_file
或者
# cat file | tr -s “” ”
” > new_file

 
【注意】这里-s后面是两个参数””和”
“,用后者替换前者
 
9、用空格符40替换制表符11
 
# cat file | tr -s “11” “40” > new_file
 
10、把路径变量中的冒号”:”,替换成换行符”

 
# echo $PATH | tr -s “:” ”

sort:

来自http://www.cnblogs.com/dong008259/archive/2011/12/08/2281214.html

sort命令是帮我们依据不同的数据类型进行排序,其语法及常用参数格式:
  sort [-bcfMnrtk][源文件][-o 输出文件] 
补充说明:sort可针对文本文件的内容,以行为单位来排序。

参  数:
  -b   忽略每行前面开始出的空格字符。
  -c   检查文件是否已经按照顺序排序。
  -f   排序时,忽略大小写字母。
  -M   将前面3个字母依照月份的缩写进行排序。
  -n   依照数值的大小排序。
  -o<输出文件>   将排序后的结果存入指定的文件。
  -r   以相反的顺序来排序。
  -t<分隔字符>   指定排序时所用的栏位分隔字符。
  -k  选择以哪个区间进行排序。

uniq:

来自:http://blog.csdn.net/jesseen/article/details/8005056

用途:报告或删除文件中重复的行。
语法
uniq [ -c | -d | -u ] [ -f Fields ] [ -s Characters ] [ -Fields ] [ +Characters ] [ InFile [ OutFile ] ]
-c 在输出行前面加上每行在输入文件中出现的次数。
-d 仅显示重复行。
-u 仅显示不重复的行。
例子:
echo “a is a b is b”|tr -s ‘ ‘ ‘
‘|uniq -c

结果为:

 

综合应用:

Write a bash script to calculate the frequency of each word in a text file words.txt.

For simplicity sake, you may assume:

words.txt contains only lowercase characters and space ' ' characters.
Each word must consist of lowercase characters only.
Words are separated by one or more whitespace characters.

For example, assume that words.txt has the following content:

the day is sunny the the
the sunny is is

Your script should output the following, sorted by descending frequency:

the 4
is 3
sunny 2
day 1

方法一:

解答:为了方便使用sort函数,首先要把每个字符串单独放在一行 要用tr, 然后用sort排序,用uniq统计每个单词的数量,再用sort按照数量排序,最后用awk按格式输出。

cat words.txt | tr -s ‘ ‘ ‘
‘|sort|uniq -c|sort -nr|awk ‘{print $2,$1}’

方法二:只用awk

awk ‘
{ for (i=1; i<=NF; i++) { ++D[$i]; } }
END { for (i in D) { print i, D[i] } }
‘ words.txt | sort -nr -k 2

awk原理:来自http://www.cnblogs.com/xupeizhi/archive/2012/07/23/2605371.html

1):awk使用一行作为输入,并将这一行赋给内部变量$0,默认时每一行也可以称为一个记录,以换行符结束。

2):然后,行被空格分解成字段,每一个字段存储在已编号的变量中,从$1开始,可以多达100个字段。

3):awk如何知道空格是用来分隔字段的呢?因为有另一个内部变量FS用来确定字段的分隔符。初始时,FS被赋为空格——包含制表符和空格符。如果需要使用其他的字符分隔符,如冒号或破折号,则需要将FS变量的值设为新的字段分隔符。

4):awk打印字段时,将以下面的方式使用print函数:{print $1,$3};逗号比较特殊,它映射为另一个内部变量,称为输出字段分隔符OFS,OFS默认为空格。逗号被OFS变量中存储的字符替换。

5):awk输出之后,将从文件中获取另一行,并将其存储到$0中,覆盖原来的内容,然后将新的字符串分隔成字段并进行处理。这个过程将持续到整个文件的所有行都处理完毕。

转义序列:转义序列用一个反斜杠后跟一个字母或数字来表示。它们可以用在字符串中,代表制表符,换行符,换页符等。

5:awk ‘/zhangfei/{print ” wu hu shangjiang:” $1,$2 “!”}’

wu hu shangjiang:zhangfei xiuhua!

:制表符,tab键

6.打印数字时,可能需要控制数字的格式。这可以通过printf函数来实现,但是,通过设置一个特殊的awk变量OFMT,使用print函数时也可以控制数字的打印格式。OFMT的默认值时“%.6gd”,表示只打印小数部分的前六位。

awk ‘BEGIN{OFMT=”%.2f”;print 1.23456789,12E-2}’

1.23 0.12

如果设置了变量OFMT,在打印浮点数时,就只打印小数部分的前两位。百分号表示接下来要定义格式。

BEGIN:必须大写

7:

1):[root@localhost tmp]# echo “UNIX” | awk ‘{printf “|%-15s|
“,$1}’
         |UNIX           |
2):[root@localhost tmp]# echo “UNIX” | awk ‘{printf “|%15s|
“,$1}’
         |           UNIX|
1): 对于echo命令的输出,unix是经管道发给awk。printf函数包含一份控制串。百分号让printf做好准备,它要打印一个占15非格,向左对 齐的字符串,这个字符串夹在两个竖杠之间,并且以换行符结尾。百分号后的短划线表示左对齐。控制穿后面跟了一个逗号和$1。printf将根据控制串中的 格式说明来格式化字符串unix。

2):字符串unix被打印成一个占15格,向右对齐的字符串,夹在两个竖杠之间,以换行符结尾。

8.[root@localhost tmp]# awk ‘{printf “The name is: %-15s ID is: %-15d Money is: %-15d
“,$1,$2,$3}’ liuguanzhang
The name is: liubei              ID is: 1                Money is: 10000
The name is: guanyu          ID is: 2                Money is: 2000
The name is: zhangfei        ID is: 3                Money is: 1000

9.[root@localhost tmp]# awk ‘{printf “|%-15s| %-15s| %-15s
“,$1,$2,$3}’ liuguanzhang
|liubei             | 1              | 10000
|guanyu         | 2              | 2000
|zhangfei        | 3              | 1000

10:root@localhost tmp]# awk ‘{max=($1>$2)?$1:$2;print max}’ filename

如果记录的第一个字段的值大于第二个字段的值,则把问号后面那个表达式的值赋给max,否则就将冒号后面的那个表单时的赋给max。

11:awk -F: ‘NF != 7{printf(“line %d,does not have 7 fields: %s
“,NR,$0)} $1 !~/[A-Za-z0-9]/{printf(“line %d,nonalphanunmeric user id: %s
“,NR,$0)} $2==”*”{printf(“line %d,no password:%s
“,NR,$0)}’ passwd

awk的字段分隔 符是冒号;如果字段数(NF)不等于7,则执行接下来的操作块;printf函数打印字符串“line<行号>,does not have 7 fields:”,后面跟上当前记录的记录号(NR)和记录本身($0);如果第一个字段($1)中不含任何字母和数字字符,printf函数就打印字符 串“nonalphanumberic user id:”,后面跟上当前记录的记录号和内容;如果第二个字段是一个星号,就打印字符串“no passwd:”,后面跟上记录号和记录本身.

12:awk -F: ‘/Nancy McNeil/{$1=”Louise Mclnnes”;print $0}’ test

Published by

风君子

独自遨游何稽首 揭天掀地慰生平

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注