Linux

在文本文件中，如何删除文件中每行的所有的空白字符呢？
我们可以通过sed 命令来实现，或者通过下面的一下文本处理工具来实现需求：
1.perl
2.python
3.awk
Perl 例子：
[cc lang=”php”] perl -lape ‘s/\s+//sg’ test >testoutput
[/code] 或者使用
[cc lang=”php”] perl -lapi -e ‘s/\s+|^\n//sg’ test
[/code] sed 例子：
[cc lang=”php”] sed -e ‘s/^[ \t]*//’ -e ‘s/[ \t]*$//’ testfile > testoutput
[/code] awk 例子：
[cc lang=”php”] awk ‘{$1=$1}{ print }’ testfile > testoutput
[/code]

在bash shell下，如何获取到HTML网页内容并将其显示在终端屏幕上呢？
你可以使用下面的任何一个工具或者它们的组合来得到网页的内容：
1）curl命令 — 这是可以使用http/https/ftp或者其它的协议获取网页内容的数据传输工具。
2）lynx命令 — 是一个在文本模式下浏览网页内容的网页浏览器。
3）wget命令 — 是一个免费的非交互式从网页上下载数据的工具，支持HTTP/HTTPS/FTP协议。
4）w3m命令 — 也是一个基于文本的网页浏览器
工具安装
在你的linux或Unix操作系统上，上面的工具可能没有被安装,可通过下面的方式：
Debian/Ubuntu linux上安装curl, wget, lynx 和w3m

$apt-get install curl wget lynx w3m
 

Fedora/RHEL/CentOS linux上安装curl, wget, lynx 和w3m

$sudo yum install curl wget lynx w3m
 

FreeBSD Unix 上安装curl, wget, lynx 和w3m
[cc lang=”bash] $sudo pkg_add -v -r curl lynx w3m wget
[/code] 示例
使用curl命令来下载网页页面：

curl http://osetc.com/
curl https://www.osetc.com/linux-how-to-see-which-port-is-being-used-tcp80.html
 

使用curl并保存输出到一个变量：

tmp="$(curl http://osetc.com/)"
tmp="$(curl https://www.osetc.com/linux-how-to-see-which-port-is-being-used-tcp80.html)"
 

lynx 命令示例

lynx -dump www.osetc.com
lynx -dump https://www.osetc.com/linux-how-to-see-which-port-is-being-used-tcp80.html
 

上面的dump选项会转存默认文档的格式化输出。
wget命令示例

wget -o - http://www.osetc.com
wget -o - https://www.osetc.com/linux-how-to-see-which-port-is-being-used-tcp80.html
 

将wget的输出赋值给一个变量

tmp="$(wget -O - http://www.osetc.com)"
echo "$tmp"
echo "$tmp" | w3m -dump -T text/html
echo "$tmp" | lynx -dump -stdin
 

w3m命令示例

w3m -dump http://www.osetc.com
w3m -dump https://www.osetc.com/linux-how-to-see-which-port-is-being-used-tcp80.html
 

在脚本开发中，我们有时候需要获取脚本文件所在的目录，这样就可以读去脚本所在目录的其它文件。例如，如果脚本位于“/home/test/sch1.sh”,我想读取
“/home/test”目录下的其它文件。那么如何才能知道该脚本所在的目录的路径和shell 脚本的目录位置呢？
你可以通过下面的方法来获取路径名的部分信息：
1.basename 命令 –显示路径名的文件名部分
2.dirname 命令–显示路径的目录部分
3. bash参数替换
4. $0替换脚本名
示例：下面的例子显示目录的路径

dirname /root/test.sh/ 

命令输出：

/root 

下面的行设置shell 变量t的值为”/root/cn/test/scr”:

t=`dirname /root/cn/test/scr/test.sh"
echo "$t" 

OR

t=$(dirname /root/cn/test/scr/test.sh)
echo "$t" 

使用$0来替换“/root/cn/test/scr/test.sh”

#!/bin/bash
scriptname="$0"
basename=$(dirname  $scriptname)
echo "脚本 $scriptname在目录 $basename里." 

命令输出：

脚本 /root/cn/test/scr/test.sh在目录/root/cn/test/scr里. 

使用bash shell变量替换参数 ${var%pattern}

var=${path%/*} 

示例：

x="/root/cn/test/scr/test.sh"
echo "${x%/*}"
y="${x%/*}"
echo "$y" 

现在我这样的一个需求：通过awk从一个文本文件中过滤出包含“gor”字符串的行，并计算出每行中第二个字段（浮点数）的累加和。当执行完awk后，得到的结果却是四舍五入后的整数，而我们期望的结果是浮点数值，类似于345.33，不是345.
awk 命令如下：
grep ‘gor’ try.txt | awk ‘BEGIN{ sum=0.0}{ sub(“,”,””,$2); sum +=$2}END{ print “$” sum}’
$345
那么我们才能得到想要的345.33这样的浮点数值输出呢？
awk 默认情况下会以双精度浮点数来表示所有的数值。换句话说，所有的数在awk里皆浮点数，所有的算数操作都以浮点数来进行。
示例：AWK 浮点运算
这个的例子将会使用一个叫try.txt的文件，该文件包含了一些数值。
[cc lang=”php”] d1 18.2 14.2
d2 11.5 6.60
d3 4.5  4.30
d4 2.5 17.5
d5 3    5
[/code] 下面的awk脚本将会计算第二字段和第三个字段的总和
[cc lang=”php”] awk ‘{ sum = $2 + $3; print $1, sum }’ try.txt
[/code] 脚本输出结果：
[cc lang=”php”] d1 32.4
d2 18.1
d3 8.8
d4 20
d5 8
[/code] awk对每个字段求平均值
[cc lang=”php”] awk ‘{ sum = $2 + $3; avg = sum/2; print $1, sum , avg}’ try.txt
[/code] 输出结果：
[cc lang=”php”] d1 32.4 16.2
d2 18.1 9.05
d3 8.8 4.4
d4 20 10
d5 8 4
[/code]  
输出内容格式化
在awk中我们可以类似于C语言中的printf，这样可以输出更好看更有意义的结果
[cc lang=”php”] awk ‘{ sum = $2 + $3 ; avg = sum/4; printf “%s: $%.2f ($%05.2f)n”,$1, sum, avg}’ try.txt
[/code] 输出结果：
[cc lang=”php”] d1: $32.40 ($08.10)
d2: $18.10 ($04.53)
d3: $8.80 ($02.20)
d4: $20.00 ($05.00)
d5: $8.00 ($02.00)
[/code] 回到刚开始的问题，我们可以用下面的awk命令来替换之前的命令：
[cc lang=”php”] grep ‘gor’ testing.txt  | awk ‘BEGIN{ sum=0.0}{ sub(“,”,””,$2); sum +=$2}END{printf “$%.2fn”, sum}’
[/code] 推荐阅读：
.更多信息可参考awk命令man帮助

对于的linux新手，如何在linux系统下通过命令行来查看目录的大小呢？
你可以使用强大的“du”命令：
[a]查找并估算文件的使用空间
[b]汇总每个目录的磁盘使用情况
显示目录和文件的大小
基本的命令参数
[cc lang=”php”] du
du 目录名
du [选项] 目录名
[/code] 示例：
du命令如果不带任何参数，将会显示当前目录下每个的目录以及所有子目录的名字和使用空间大小
[cc lang=”php”] #du
[/code] 命令输出：

如何想查看/var或者home目录的目录信息，可以输入下面的命令：
[cc lang=”php”] du /var/
du /root/home
[/code]  
du 命令后跟”-h”选项，可以以更易读的格式来显示输出： 例如，可以以KB,MB,GB为单位显示
[cc lang=”php”] du -h /etc/
du -h /var/
du -h /root/home
du -h
[/code] 输出结果：

 
“-s”选项,将会输出当前目录的总的磁盘使用空间
[cc lang=”php”] du -sh
du -sh /etc/
du -sh /root/home
[/code] 示例输出：
[cc lang=”php”] [root@osetc.com cache]# du -sh man yum
1.7M    man
93M     yum
[/code]  
使用“-c”可以对查看的所有目录大小做汇总
[cc lang=”php”] du -csh /root /etc/ /home
[root@osetc.com cache]# du -csh /root /etc/ /home
906M    /root
4.4M    /etc/
20K     /home
910M    total
[/code] 其它资料参考：
. 参考du命令的man帮助

关于如何查看硬盘使用情况的方法，我们首先会想到通过“df” 命令，该命令会显示当前挂在文件系统可用的磁盘空间大小， df 命令一般来说可以显示或者查看下面的一些信息：
1.已用和可用的空间大小
2.文件系统的挂载点
3.文件系统使用情况的百分比
4.可用的inode数量
5.查看是否还有足够的空间来升级或安装新的程序
df 基本用法

df
df /dirpath/
df [选项]
df [选项】 /dirpath/

df 示例

#df
#df -H

命令输出结果为：

[root@osetc.com ~]# df -H
Filesystem             Size   Used  Avail Use% Mounted on
/dev/sda2              983G   317G   616G  34% /
tmpfs                   17G   103k    17G   1% /dev/shm

下面的例子是将只显示包含/var目录的挂载分区的磁盘使用情况

#df /var
#df -h /var

显示inode的使用情况，可以使用下面的命令：

# df -i
#df -ih
#df -i /dev/sda2

输出结果为：

[root@osetc.com ~]# df -i /dev/sda2
Filesystem            Inodes   IUsed   IFree IUse% Mounted on
/dev/sda2            60915712  173179 60742533    1% /
[root@osetc.com ~]# df -ih /dev/sda2
Filesystem            Inodes   IUsed   IFree IUse% Mounted on
/dev/sda2                59M    170K     58M    1% /

使用“-T”选项来查看文件系统的类型

#df -T

命令输出为：

[root@osetc.com ~]# df -T
Filesystem    Type   1K-blocks      Used Available Use% Mounted on
/dev/sda2     ext4   959242704 309488700 601027220  34% /
tmpfs        tmpfs    16429028       100  16428928   1% /dev/shm

df命令选项：
-h 以容易理解的格式输出文件系统分区占用情况，例如32k，120M，60G。
-k 以K大小为单位输出文件系统分区占用情况。
-m 以M大小为单位输出文件系统分区占用情况。
-a 列出所有的文件系统分区，包含 0 大小的文件系统分区。
-i 列出文件系统分区的inodes信息。
-T 显示磁盘分区的文件系统类型。

更多关于df命令选项可以参考man帮助