Linux常用命令

一、说明

记录在Linux中经常会用到的命令,持续更新。更多命令详解可参考:

1、Shell选择与切换

在现代的 Linux 上,sh 已经被 bash 代替,/bin/sh往往是指向/bin/bash的符号链接。早期macos系统默认使用bash解释器,在macos10.15系统中官方推荐使用zsh解释器。bash和zsh均是shell的一种,由于bash或zsh本质上都是解释器,他们所共同服务的是shell语言,因此在命令语法上基本相同,zsh能基本完美兼容bash的命令,并且使用起来更加优雅。

bash

$ echo $SHELL               # 查看当前默认shell
$ cat /etc/shells          # 查看系统安装了哪些shell

$ chsh -s /bin/bash        # 切换bash,读取的配置文件:~/.bash_profile
$ chsh -s /bin/zsh        # 切换,读取的配置文件:~/.zshrc

当从bash切换为zsh时,如果不想重新配置一遍.zshrc文件,可以在.zshrc文件中加上source ~/.bash_profile,从而直接从.bash_profile文件读取配置。

如果选择zsh,会获得如下好用的功能:

bash

$ cd .....                         # 输入n+1个点,可以往上跳转n层
$ kill process_name        # 自动补全进程ID
$ d                                        # 列出最近访问过的目录,然后选择目录前面的数字进行快速跳转
$ r                                        # 重复执行上一条命令
$ commond + tab                # 常用命令参数补全提醒

扩展阅读: 程序员内功系列–iTerm与Zsh篇

2、特殊命令符号

符号格式作用
;命令1;命令2多个命令顺序执行,命令之间无任何逻辑关系
&&命令1&&命令2逻辑与:当命令1正确执行后,命令2才会正确执行,否则命令2不会执行
||命令1||命令2逻辑或:当命令1不正确执行后,命令2才会正确执行,否则命令2不会执行
|命令1命令2管道符:命令1的正确输出作为命令2的操作对象
&命令 &后台执行:把命令放在后台执行
>命令1 > file输出重定向:将命令1的结果输出到文件中,该文件原有内容会被删除
»命令1 » file输出重定向:将命令1的结果附加到文件中,原文件内容不会被删除
<命令1 < file输入重定向:将file作为命令1的输入

一般情况下,每个 Unix/Linux 命令运行时都会打开三个文件:

  • 标准输入文件(stdin):stdin的文件描述符为0,Unix程序默认从stdin读取数据。
  • 标准输出文件(stdout):stdout 的文件描述符为1,Unix程序默认向stdout输出数据。
  • 标准错误文件(stderr):stderr的文件描述符为2,Unix程序会向stderr流中写入错误信息。

如果希望执行某个命令,但又不希望在屏幕上显示输出结果,那么可以将输出重定向到 /dev/null,以下是常用重定向命令示例:

  • 将 stderr 重定向到 file:command 2>file
  • 将 stderr 追加到 file 文件末尾:command 2>>file
  • 将 stdout 和 stderr 合并后重定向到 file:$ command > file 2>&1
  • 对 stdin 和 stdout 都重定向:command < file1 > file2
  • 屏蔽 stdout 和 stderr:command > /dev/null 2>&1

**注意:**0 是标准输入(STDIN),1 是标准输出(STDOUT),2 是标准错误输出(STDERR)。这里的 2> 之间不可以有空格,2> 是一体的时候才表示错误输出。

3、Bash中的特殊符号

通配符作用
?匹配一个任意字符
*匹配0个或多个任意字符,也就是可以匹配任何内容
[]匹配括号中任意一个字符
[-]匹配括号中任意一个字符,“-”代表范围
[^]逻辑非,表示匹配不是括号内的一个字符
‘’单引号,在单引号中所有的特殊符号,如“$”和“`”(反引号)都无特殊含义
“”双引号,在双引号中特殊符号都无特殊含义, 但“$”、“`”(反引号)和“\”是例外,拥有“调用变量值”,“引用命令”和“转义符”的特殊含义
反引号:反引号括起来的内容是系统命令,在Bash中先会执行它和()
$()和反引号作用相同,用来引用系统命令
#在shell脚本中,#开头的行代表注释
$用于调用变量的值,如需要调用变量name的值时,需要用的 $name 方式得到
\转义符,跟在\之后的特殊字符将失去特殊含义,变为普通字符

二、基础命令

1、查看系统基础信息

bash

$ ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.0.22        # 免密登录
$ cat /etc/redhat-release                                   # 查看CentOS版本
$ lshw                                                      # 查看硬件详细信息
$ cat /proc/cpuinfo| grep "cpu cores"| uniq                # 查看cpu核心数
$ cat /proc/cpuinfo| grep "physical id"|uniq| wc -l         # 查看物理cpu个数
$ cat /proc/cpuinfo | grep "processor[[:space:]]:"| wc -l   # 查看逻辑cpu的个数

$ free -h                  #查看内存大小

2、添加用户

bash

# 添加用户 lxl80
$ useradd lxl80 && echo "Lixl.cn" | passwd --stdin lxl80 
$ vi  /etc/sudoers
## Allow root to run any commands anywhere
root    ALL=(ALL)       ALL
# 添加以下内容
weixin  ALL=(ALL) NOPASSWD: ALL

$ vim /etc/ssh/sshd_config    # 禁止root用户远程登录
PermitRootLogin   no          # 生效要重启sshd进程。
$ systemctl restart sshd

3、基础设置

bash

$ yum install -y wget               # 安装wget
# 修改yum源
$ cd /etc/yum.repos.d 
$ mv CentOS-Base.repo CentOS-Base.repo.bak
$ wget -O ./CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
$ yum clean all
$ yum makecache

$ yum update                        # 升级系统及相关软件
# 安装必备软件
$ yum install net-tools -y          # 安装常用网络工具
$ yum install bash-completion -y    # 命令自动补全    
$ echo -e 'set completion-ignore-case on' >> ~/.inputrc && bind -f  ~/.inputrc     # 命令补全忽略大小写

$ yum install ntp                   # 与NTP服务器进行的同步
$ systemctl start ntpd
$ systemctl enable ntpd
$ ntpdate -u  cn.ntp.org.cn         # 同步时间
$ date                              # 检查时间

$ yum -y install crontab            # 安装crontab
$ crontab -e                        # 创建crontab任务
# 每天2点同步一次,先通过 which ntpdate 查找命令所在路径
$ * 2 * * * /sbin/ntpdate cn.ntp.org.cn > /dev/null 2>&1   
$ service crond reload              # 重启crontab

4、磁盘管理

bash

# 以易读的方式查看磁盘占用情况
$ df -Th
$ lsblk                  # 查看分区和磁盘,列出所有可用块设备的信息
$ fdisk -l                # 分区工具查看分区信息,查看所有被系统识别的磁盘
$ fdisk /dev/sdb         # 分区操作,n,p, , ,w

# 格式化sdb1分区,挂载到/home/weixin,并开机启动自动挂载
$ mkfs -t ext4 /dev/sdb1 && mkdir /weixin && mount /dev/sdb1 /weixin && echo /dev/sdb1 /weixin ext4 defaults 0 0 >> /etc/fstab
$ chmod 700 /weixin && chown weixin:weixin /weixin        # 更改目录权限及归属
$ resize2fs /dev/sdb      # 扩展ext*磁盘分区文件系统的大小
$ xfs_growfs /dev/sdb     # 扩展xfs磁盘分区文件系统的大小

$ du -sh *                # 以易读的方式查看当前目录空间占用总计
$ du -h --max-depth=1     # 查看哪个文件夹或文件占用磁盘最多
$ du -ch *.tar.gz         # 查看当前文件夹下所有后缀是 tar.gz 的文件的磁盘使用量总和 -c

5、查看网络情况

bash

$ semanage port -l|grep ssh                      # 查看 SELinux 开放给 ssh 使用的端口
$ semanage port -a -t ssh_port_t -p tcp 12022    # 为 ssh 添加允许使用的端口12022
$ vi /etc/ssh/sshd_config                               # 查看/修改 ssh 使用的端口
$ vi /etc/hosts.allow                            # 如果ssh无法链接
sshd: ALL            ##允许所有ip主机均能连接本机

# 查看当前网络连接情况
$ netstat -ant|awk '/^tcp/ {++S[$NF]} END {for(a in S) print (a,S[a])}'  
$ netstat -anlp | grep 1230                  # 查看端口监听

$ systemctl status firewalld                 # 查看防火墙状态
$ systemctl stop firewalld.service           # 停止防火墙
$ systemctl disable firewalld.service        # 禁止防火墙开机启动
$ firewall-cmd --zone=public --permanent --add-port=端口号/tcp    # 新增开放端口
$ firewall-cmd --zone=public --permanent --remove-port=端口号/tcp # 移除开放端口
$ firewall-cmd --zone=public --list-ports    # 查看开放端口
$ firewall-cmd --reload                                   # 刷新防火墙

$ nc -lv 19301                          # 监听本机19301端口
$ nc 192.168.0.18 19301                 # 连接特定端口
$ telnet 192.168.0.18 19301                     # 尝试连接19302端口,ctrl+],q退出

6、上传下载文件

bash

# 通过 sftp 上传下载文件
$ sftp  -i ~/Downloads/newszxl.pem root@106.15.89.34     # 连接服务器
$ get /data/chainmaker/log/*  .                    # 把log下所有日志下载到本地当前目录
$ put crypto-config.zip /data/app/chainmaker/      # 把节点证书上传版到服务器

# 通过 scp 远程传输文件
$ scp -rp /data/ root@192.168.1.3:/data/
$ scp -rp root@192.168.1.3:/data/ /data/

# 通过 rsync 传输/同步文件,排除/data/dir1/目录下的所有文件,不排除dir1目录
$ sudo yum install -y rsync
$ rsync -av --exclude={'.*','dir1/*'} /data/ root@192.168.1.3:/data/

7、清除history

bash

$ history -c                      # 清除所有历史记录
$ vim ~/.bash_history                       # 按需修改
$ history -r                      # 重置文件里的内容到内存中,缓存修改

8、窗口管理

tmux 是一个终端复用器,可以激活多个终端或窗口,每一个终端都可以访问、运行和控制各自的程序。tmux类似于screen,可以关闭窗口将程序放在后台运行,需要的时候再重新连接。常用快捷键如下:

  • Ctrl+b %:划分左右两个窗格。
  • Ctrl+b ":划分上下两个窗格。
  • Ctrl+b <方向键>:光标切换到其他窗格。
  • Ctrl+b x:关闭当前窗格。
  • Ctrl+b z:当前窗格全屏显示,再使用一次会变回原来大小。
  • Ctrl+b Ctrl+<方向键>:按箭头方向调整窗格大小。

9、后台执行

$ command &     # 命令末尾添加&符号在后台运行
$ command > /dev/null 2>&1 &   # 将stdout重定向到/dev/null,将stderr重定向到stdout
ctrl + z        # 将一个正在前台执行的命令放到后台,并且处于暂停状态。
$ bg            # 将一个在后台暂停的命令继续执行。用bg %jobnumber 恢复运行
$ fg            # 将后台任务切换到前台执行
$ jobs -l       # 显示当前shell会话中所有已停止和后台进程的状态

三、性能测试

1、磁盘测试

bash

# 使用dd磁盘IO简易性能测试
$ dd if=/dev/zero of=iotestr bs=1024k count=8k conv=fsync   # 测试写性能
$ dd if=/dev/sda of=/dev/null bs=8k count=1024k  # 测试读性能

# 使用fio进行磁盘专业性能测试
$ yum install fio -y
# 测试随机写IOPS:
$ fio -direct=1 -iodepth=64 -rw=randwrite -ioengine=libaio -bs=4k -size=8G -numjobs=1 -runtime=60 -group_reporting -filename=iotest -name=Rand_Write_IOPS_Test
# 测试随机读IOPS:
$ fio -direct=1 -iodepth=64 -rw=randread -ioengine=libaio -bs=4k -size=8G -numjobs=1 -runtime=60 -group_reporting -filename=iotest -name=Rand_Read_IOPS_Test
# 测试写吞吐量:
$ fio -direct=1 -iodepth=32 -rw=write -ioengine=libaio -bs=1024k -size=8G -numjobs=1 -runtime=60 -group_reporting -filename=iotest -name=Write_BandWidth_Test
# 测试读吞吐量:
$ fio -direct=1 -iodepth=32 -rw=read -ioengine=libaio -bs=1024k -size=8G -numjobs=1 -runtime=60 -group_reporting -filename=iotest -name=Read_BandWidth_Test

延伸阅读: 磁盘性能压测—FIO

2、网络测试

bash

# 网络测试(需要在需要测试的服务器上分别安装iperf)
$ wget https://iperf.fr/download/source/iperf-3.1.3-source.tar.gz
$ tar zxvf iperf-3.1.3-source.tar.gz
$ cd iperf-3.1.3
$ ./configure
$ make 
$ make install
# 服务器端测试命令,后台运行
$ iperf3 -s -D -i 10 -p 19302 --logfile /data/iperf.log
# 客户端测试命令,运行60秒,加参数R代表ServerToClient模式
$ iperf3 -c 192.168.0.18 -t 60 -f M -P 1 -p 19302 --get-server-output
$ iperf3 -c 192.168.0.18 -t 60 -f M -P 1 -R -p 19302 --get-server-output

延伸阅读: 使用 iPerf 进行网络带宽测试 使用 MTR 诊断网络问题

四、系统监控

1、dstat

dstat 是一个可以取代vmstat,iostat,netstat和ifstat这些命令的多功能产品。使用dstat命令可以查看当前cpu,磁盘,网络,内存页和系统的一些当前状态指标。

$ yum install -y dstat
$ dstat 5     # 5秒统计一次

1、 –total-cpu-usage—- CPU使用率

usr:用户空间的程序所占百分比;

sys:系统空间程序所占百分比;

idel:空闲百分比;

wai:等待磁盘I/O所消耗的百分比;

hiq:硬中断次数;

siq:软中断次数;


2、-dsk/total-磁盘统计

read:读总数

writ:写总数


3、-net/total- 网络统计

recv:网络收包总数

send:网络发包总数


4、—paging– 内存分页统计

in: pagein(换入)

out:page out(换出)

注:系统的分页活动。分页指的是一种内存管理技术用于查找系统场景,一个较大的分页表明系统正在使用大量的交换空间,通常情况下当系统已经开始用交换空间的时候,就说明你的内存已经不够用了,或者说内存非常分散,理想情况下page in(换入)和page out(换出)的值是0 0。


5、–system–系统信息

int:中断次数

csw:上下文切换

注:中断(int)和上下文切换(csw)。这项统计仅在有比较基线时才有意义。这一栏中较高的统计值通常表示大量的进程造成拥塞,需要对CPU进行关注。你的服务器一般情况下都会运行运行一些程序,所以这项总是显示一些数值。

2、vmstat

vmstat是Virtual Meomory Statistics(虚拟内存统计)的缩写,可实时动态监视操作系统的虚拟内存、进程、CPU活动。

bash

$ vmstat -S m -t 3     # 3秒刷新一次,以M为单位
  • r 表示运行队列,当这个值超过了CPU数目,就会出现CPU瓶颈了。
  • b 正在等待资源的阻塞内核线程数,大于3表示io性能不好
  • bi: 每秒读取的块数
  • bo: 每秒写入的块数
  • us: 用户进程执行时间(user time)
  • sy: 系统进程执行时间(system time)
  • id: 空闲时间(包括IO等待时间)
  • wa: IO等待所占用的CPU时间的百分比,高过30%时IO压力高。

3、top

top命令是Linux下常用的性能分析工具,能够实时显示系统中各个进程的资源占用状况。提供了实时的对系统处理器的状态监视。它将显示系统中CPU最“敏感”的任务列表。该命令可以按CPU使用、内存使用和执行时间对任务进行排序;而且该命令的很多特性都可以通过交互式命令或者在个人定制文件中进行设定。

$ top -s # 在安全模式运行top
  • Cpu(s) %id:空闲CPU时间百分比
  • Cpu(s) %wa:等待I/O的CPU时间百分比
  • VIRT:进程占用的虚拟内存,详情可参考: 观察进程的内存占用情况
  • RES:进程占用的物理内存
  • SHR:进程使用的共享内存
  • i 只显示正在运行的进程
  • e 切换内存单位,切换顺序为: k,m,g,t,p
  • k 杀掉某进程
  • o: COMMAND=chain 过滤进程,只显示启动命令带chain的进程

4、sysstat

一个非常方便的工具,它带有众多的系统资源监控工具,用于监控系统的性能和使用情况。我们在日常使用的工具中有相当一部分是来自sysstat工具包的。同时,它还提供了一种使用cron表达式来制定性能和活动数据的收集计划。以下是包含在sysstat包中的工具:

  • iostat : 输出CPU的统计信息和所有I/O设备的输入输出(I/O)统计信息。
  • mpstat: 关于CPU的详细信息(单独输出或者分组输出)。
  • pidstat: 关于运行中的进程/任务、CPU、内存等的统计信息。
  • sar: 保存并输出不同系统资源(CPU、内存、IO、网络、内核等)的详细信息。
  • sadc: 系统活动数据收集器,用于收集sar工具的后端数据。
  • sa1: 系统收集并存储sadc数据文件的二进制数据,与sadc工具配合使用
  • sa2: 配合sar工具使用,产生每日的摘要报告。
  • sadf: 用于以不同的数据格式(CVS或者XML)来格式化sar工具的输出。
  • Sysstat: sysstat工具的man帮助页面。
  • nfsiostat: NFS(Network File System)的I/O统计信息。
  • cifsiostat: CIFS(Common Internet File System)的统计信息。

bash

$ yum install sysstat -y                         # 安装
$ iostat 2 -mxt                                  # 监测IO,2秒刷新一次,以M为单位
$ pidstat -u 1 10                                # 监测进程,1秒刷新一次
  • %user:CPU处在用户模式下的时间百分比。
  • %nice:CPU处在带NICE值的用户模式下的时间百分比。
  • %system:CPU处在系统模式下的时间百分比。
  • %iowait:CPU等待输入输出完成时间的百分比。
  • %steal:管理程序维护另一个虚拟处理器时,虚拟CPU的无意识等待时间百分比。
  • %idle:CPU空闲时间百分比。
  • r/s: 每秒完成的读 I/O 设备次数。即 rio/s
  • w/s: 每秒完成的写 I/O 设备次数。即 wio/s
  • rMB/s: 每秒读M字节数。
  • wMB/s: 每秒写K字节数。
  • rrqm/s: 每秒进行 merge 的读操作数目。即 rmerge/s
  • wrqm/s: 每秒进行 merge 的写操作数目。即 wmerge/s
  • avgrq-sz:平均每次设备I/O操作的数据大小,类似于平均每人所买的东西多少
  • avgqu-sz:平均I/O队列长度,类似于单位时间里平均排队人数,如果值比较大,表示有大量io在等待。
  • await: 平均每次设备I/O操作的等待时间 (毫秒),类似于平均每人的等待时间,如果远大于svctm说明IO响应太慢。
  • r_await:平均每次读请求的等待时间(毫秒)。这包括请求在队列中和执行它们所花费的时间。
  • w_await:平均每次写请求的等待时间(毫秒)。这包括请求在队列中和执行它们所花费的时间。
  • aqu-sz:发送到设备的请求的平均队列长度。

如果 %util 接近 100%,说明产生的I/O请求太多,I/O系统已经满负荷,该磁盘可能存在瓶颈,同时可以结合vmstat 查看b参数和wa参数。

另外 await 的参数也要和 svctm 参考比较。差的过高就一定有 IO 的问题。svctm 一般要小于 await (因为同时等待的请求的等待时间被重复计算了),svctm 的大小一般和磁盘性能有关,CPU/内存的负荷也会对其有影响,请求过多也会间接导致 svctm 的增加。await 的大小一般取决于服务时间(svctm) 以及 I/O 队列的长度和 I/O 请求的发出模式。如果 svctm 比较接近 await,说明 I/O 几乎没有等待时间;如果 await 远大于 svctm,说明 I/O 队列太长,应用得到的响应时间变慢。

队列长度(avgqu-sz)也可作为衡量系统 I/O 负荷的指标,但由于 avgqu-sz 是按照单位时间的平均值,所以不能反映瞬间的 I/O 洪水。

更详细的信息,可参考: 深入理解iostat

5、iotop

iotop 是一个类似 top 的工具,用来显示实时的磁盘活动。监控 Linux 内核输出的 I/O 使用信息,并且显示一个系统中进程或线程的当前 I/O 使用情况。它显示每个进程/线程读写 I/O 带宽。它同样显示当等待换入和等待 I/O 的线程/进程花费的时间的百分比。

bash

$ yum install iotop
$ iotop -o   # 仅显示正在占用I/O的进程或者线程,可以随时按o切换
$ iotop -oP   # 按进程显示
  • IO:它显示每个进程的 I/O 利用率,包含磁盘和交换。

  • SWAPIN: 它只显示每个进程的交换使用率。

    更多信息可参考:https://cleanli.github.io/cleanhome/posts/2021-01-05/Iotop_usage.html

五、性能调优

1、分析进程调用

pstack用来跟踪进程栈,如果发现一个服务一直处于work状态(如假死),可以多执行几次pstack,若发现代码栈总是停在同一个位置,很可能就是出问题的地方:

bash

$ yum install gdb -y
$ pstack pid  # 获取进程栈

strace能够动态的跟踪进程执行时的系统调用和所接收的信号:

bash

$ yum install -y strace
$ strace -ttTv o ~/straceout.txt -p 21120 # 查看进程20020的系统调用情况

2、内核参数优化

对于服务器来说,file-max和ulimit都需要设置,否则会出现文件描述符耗尽的问题。否则会碰到”Too many open files”或者Socket/File: Can’t open so many files等错误。

bash

# 查看用户进程级的能够打开文件句柄的数量,Centos7默认是1024。
$ ulimit -a 
# 查看系统级别的能够打开的文件句柄的数量,Centos7默认是794168
$ cat /proc/sys/fs/file-max
# 永久生效的修改方法,文件末尾加入配置内容:
$ vim /etc/sysctl.conf
fs.file-max = 2000000
# 然后执行命令,使修改配置立即生效:
$ sysctl -p
# 查看当前shell的当前用户的打开的最大限制
$ ulimit -n
# 修改一个用户的所有shell能打开的最大数,文件末尾加入配置内容:
$ vim /etc/security/limits.conf
* soft nofile 65535
* hard nofile 65535
# 修改以后,需要重新登录才能生效。如果需要设置当前用户session立即生效,还需要执行:
$ ulimit -n 65535 

六、文本处理

1、Vim常用命令

bash

$ vi +/pattern filename   # 打幵文件,并将光标置于第一个与pattern匹配的位置
# u 撤销刚才执行的命令
# I 在光标所在行的行首插入随后输入的文本,相当于光标移动到行首执行 i 命令
# o/O 在光标所在行的下面/上面插入新的一行。光标停在空行首,等待输入文本
# /abc ?abc 从光标所在位置向前/向后查找字符串 abc,如搜索空格加转义符\
# ?abc    从光标所在为主向后查找字符串 abc
# /^abc /abc$    查找以 abc 为行首/为行尾的行
# n  N    向同一/相反方向重复上次的查找指令
# gg 跳转到第一行,G 跳转到最后一行
# :s/a1/a2/g    将当前光标所在行中的所有 a1 用 a2 替换
# :n1,n2 s/a1/a2/g    将文件中 n1 到 n2 行中所有 a1 都用 a2 替换
# :%s/a1/a2/g    将文件中所有的 a1 都用 a2 替换
# x    删除光标所在位置的字符(放入剪贴板)
# ndd    删除当前行(包括此行)后 n 行文本(放入剪贴板)
# dG    删除光标所在行一直到文件末尾的所有内容(放入剪贴板)
# D    删除光标位置到行尾的内容(放入剪贴板)
# p(P)    将剪贴板中的内容粘贴到光标后(光标后)
# 列编辑模式
$ ctrl + v   # 进入列编辑模式,然后通过光标移动选择要编辑的块
$ shift + i/a        # 在光标前/后插入,ESC自动补全
$ shift + c   # 修改内容,ESC自动补全

2、文本处理

bash

$ grep "put block" logs -R -n               # 在多级目录中对文本递归搜索
$ grep -e "ERROR" -e "put block" file # 匹配多个模式
$ cat LOG.* | tr a-z A-Z | grep "FROM " | grep "WHERE" > b    # 将日志中的所有带where条件的sql查找查找出来
$ sort unsort.txt | uniq                             # 消除重复行
$ sort unsort.txt | uniq -c                        # 统计各行在文件中出现的次数
$ sort unsort.txt | uniq -d                        # 找出重复行
$ echo 12345 | tr '0-9' '9876543210'     # 加解密转换,替换对应字符
$ cat text| tr '\t' ' '                           # 制表符转空格
$ cat file | tr -d '0-9'                          # 删除所有数字
$ cat file | tr -c '0-9'                             # 获取文件中所有数字
$ cat file | tr -d -c '0-9 \n'                 # 删除非数字数据
$ cut -f2,4 filename                                    # 截取文件的第2列和第4列
$ paste file1 file2    -d ","                        # 将两个文本按列拼接到一起,用,分割
$ wc -l file                                                     # 统计行数
$ wc -w file                                                     # 统计单词数
$ wc -c file                                                     # 统计字符数
$ sed 's/text/replace_text/' file       # 替换每一行的第一处匹配的text
$ sed 's/text/replace_text/g' file        # 全局替换,输出替换后的内容
$ sed -i 's/text/replace_text/g' file    # 全局替换,直接替换源文件
$ sed '/^$/d' file                                        # 移除空白行

3、awk 数据流处理

awk 是文本处理程序,它依次处理文件的每一行,并读取里面的每一个字段。适用于处理日志、CSV 这种每行格式相同的文本文件。参考: Awk入门 30个Awk文本处理示例

脚本结构: awk 'BEGIN{statements} statements2 END{statements}',工作方式:

  • 执行begin中语句块;
  • 从文件或stdin中读入一行,然后执行statements2,重复这个过程,直到文件全部被读取完毕;
  • 执行end语句块;

bash

# 使用不带参数的print时,会打印当前行,输入内容如下:
$ echo -e "line1\nline2" | awk 'BEGIN{print "start"} {print} END{print "End"}'    
start
line1
line2
End
$ awk '{print $0}' demo.txt        # 把demo.txt文件中每一行原样打印出来
# 用空格分割,输出字段数>30且第四列为特定字符的行中1,4及倒数第二列,第4列转成大写。','代表用空格分割
$ awk -F ' ' 'NF>3 {if ($4 = "CONSENSUS") print $1,toupper($4),$(NF-1)}' panic.log

七、数字证书

// 查看证书信息
$ openssl x509 -noout -text -in user/admin1/admin1.tls.crt
$ openssl x509 -in cert.pem -noout -text