Linux sort 命令

一、引言

在Linux系统中，sort 命令是一个功能强大且用途广泛的工具，用于对文本行进行排序。它可以按照字母顺序、数字大小、特定字段或其他自定义规则对文件或标准输入的内容进行排序。无论是处理日志文件、数据分析，还是脚本自动化，sort 都是不可或缺的工具之一。

---

二、sort 命令基础

1. 基本语法

sort 命令的基本语法如下：

sort [选项] [文件...]

• 选项：控制排序的行为，例如排序顺序、字段分隔符等。
• 文件：要排序的输入文件。如果未指定文件，sort 会从标准输入读取数据。
• 如果没有输出重定向，排序结果会输出到标准输出。

2. 常见选项

sort 提供了丰富的选项，用于控制排序方式。以下是常用的选项及其功能：

选项	描述
-b	忽略每行开头的空白字符（空格或制表符）。
-d	仅考虑字母、数字和空格，忽略其他字符（字典序排序）。
-f	忽略大小写（将大写和小写视为相同）。
-i	忽略非打印字符，仅对可打印字符排序。
-n	按数值大小排序（而不是字符串顺序）。
-r	逆序排序（从大到小或Z到A）。
-k	指定按某个字段排序（支持复杂字段定义）。
-t	指定字段分隔符（默认是空白字符）。
-u	去除重复行，仅保留唯一行。
-o 文件	将排序结果写入指定文件，而不是标准输出。
--help	显示帮助信息。
--version	显示 sort 命令的版本信息。

3. 工作原理

sort 命令读取输入（文件或标准输入），将每一行视为一个记录，按照指定的规则进行比较和排序，然后输出结果。它支持以下排序方式：

• 字母顺序：基于字符的ASCII值，默认从小到大（A到Z）。
• 数值顺序：将字段解析为数字，按大小排序。
• 自定义顺序：通过选项组合实现特定字段或规则的排序。

---

三、基础用例

为了帮助读者快速上手，我们从简单的示例开始，逐步展示 sort 的功能。

1. 按字母顺序排序

假设有一个名为 fruits.txt 的文件，内容如下：

banana
apple
orange
grape

运行以下命令按字母顺序排序：

sort fruits.txt

输出结果：

apple
banana
grape
orange

说明：sort 默认按ASCII顺序对整行进行排序，因此 apple 排在 banana 之前。

2. 逆序排序

如果需要按字母顺序从大到小排序，可以使用 -r 选项：

sort -r fruits.txt

输出结果：

orange
grape
banana
apple

3. 按数值排序

假设有一个文件 numbers.txt，内容如下：

10
2
100
50

默认情况下，sort 会将这些数字视为字符串，导致排序结果不正确：

sort numbers.txt

输出：

10
100
2
50

这是因为字符串排序基于字符的ASCII值（1 在 2 之前）。要按数值排序，使用 -n 选项：

sort -n numbers.txt

输出：

2
10
50
100

4. 去除重复行

假设文件 colors.txt 内容如下：

red
blue
red
green
blue

使用 -u 选项去除重复行：

sort -u colors.txt

输出：

blue
green
red

说明：-u 确保每行只出现一次，且结果已按字母顺序排序。

5. 忽略大小写

假设文件 names.txt 内容如下：

Alice
bob
Charlie
alice

默认排序对大小写敏感，使用 -f 忽略大小写：

sort -f names.txt

输出：

Alice
alice
bob
Charlie

说明：-f 将大写和小写视为相同，Alice 和 alice 被视为等价。

---

四、字段排序与复杂选项

在实际应用中，数据往往是结构化的，例如以逗号或制表符分隔的字段。sort 提供了强大的字段排序功能，通过 -t 和 -k 选项实现。

1. 指定字段分隔符

假设有一个文件 employees.txt，内容如下：

Alice,30,Developer
Bob,25,Designer
Charlie,35,Manager

要按第二个字段（年龄）排序，可以使用 -t 指定分隔符，-k 指定字段：

sort -t',' -k2 employees.txt

输出：

Bob,25,Designer
Alice,30,Developer
Charlie,35,Manager

说明：

• -t',' 指定逗号为字段分隔符。
• -k2 表示按第二个字段（年龄）排序。

2. 按数值字段排序

上例中，年龄是数字，但默认按字符串排序，可能导致错误。为了按数值排序，结合 -n：

sort -t',' -k2n employees.txt

输出与上例相同，但确保按数值大小排序（即使字段中包含前导零或复杂数字）。

3. 多字段排序

如果需要按多个字段排序，可以多次使用 -k。例如，先按年龄（字段2）排序，再按姓名（字段1）排序：

sort -t',' -k2n -k1 employees.txt

输出：

Bob,25,Designer
Alice,30,Developer
Charlie,35,Manager

说明：当年龄相同时（如果有），会按姓名（字段1）的字母顺序排序。

4. 复杂字段定义

-k 选项支持更精细的字段定义，格式为：

-k 字段号[起始字符][选项]

例如，-k2.3 表示从字段2的第3个字符开始排序。假设文件 data.txt 内容如下：

A,xy123,10
B,ab456,20
C,xy789,15

要按字段2的第3个字符开始的部分排序：

sort -t',' -k2.3 data.txt

输出：

A,xy123,10
C,xy789,15
B,ab456,20

说明：从字段2的第3个字符开始，123、789、456 按字母顺序排序。

---

五、高级用法

sort 的强大之处在于其灵活性和与其他命令的结合。以下是一些高级用例，展示其在复杂场景中的应用。

1. 按月份排序

sort 支持按月份名称排序，使用 -M 选项。假设文件 months.txt 内容如下：

March
January
April
February

运行：

sort -M months.txt

输出：

January
February
March
April

说明：-M 识别英文月份名称（完整或缩写），按日历顺序排序。

2. 随机排序

要对行进行随机排序，可以结合 shuf 命令，或者使用 sort 的 --random-sort 选项：

sort --random-sort fruits.txt

输出可能是：

grape
apple
orange
banana

说明：每次运行结果不同，适合生成随机序列。

3. 按字典序排序

使用 -d 选项进行字典序排序，仅考虑字母、数字和空格。假设文件 mixed.txt 内容如下：

apple!
banana@
#grape

运行：

sort -d mixed.txt

输出：

apple!
banana@
#grape

说明：-d 忽略特殊字符，仅基于字母和数字排序。

4. 合并多个文件

sort 可以同时处理多个文件，并将结果合并排序。假设有两个文件：

file1.txt：

banana
apple

file2.txt：

orange
grape

运行：

sort file1.txt file2.txt

输出：

apple
banana
grape
orange

5. 结合管道与其他命令

sort 常与管道结合使用。例如，统计当前目录下文件的行数并按行数排序：

wc -l * | sort -n

输出示例：

      5 file1.txt
     10 file2.txt
     15 file3.txt

说明：wc -l 输出文件行数，sort -n 按数值排序。

6. 自定义排序规则

通过环境变量 LC_ALL 或 --sort 选项，可以自定义排序规则。例如，强制使用 C 区域设置进行排序：

LC_ALL=C sort data.txt

这会忽略本地化设置，严格按ASCII顺序排序。

7. 处理大型文件

对于大型文件，sort 提供了 --buffer-size 和 --temporary-directory 选项来优化性能：

sort --buffer-size=1G --temporary-directory=/tmp large_file.txt

说明：

• --buffer-size=1G 设置1GB的内存缓冲区。
• --temporary-directory=/tmp 指定临时文件存储路径。

---

六、实际案例分析

以下是一个实际案例，展示 sort 在日志分析中的应用。

场景：分析Web服务器访问日志

假设有一个Web服务器日志文件 access.log，格式如下：

192.168.1.1 - - [10/Oct/2023:13:55:36] "GET /index.html" 200 1234
192.168.1.2 - - [10/Oct/2023:13:56:12] "POST /login" 403 567
192.168.1.1 - - [10/Oct/2023:13:57:01] "GET /about.html" 200 890

目标：

1. 按IP地址排序。
2. 按状态码排序。
3. 统计每个IP的访问次数并排序。

步骤1：按IP地址排序

sort -t' ' -k1 access.log

输出：

192.168.1.1 - - [10/Oct/2023:13:55:36] "GET /index.html" 200 1234
192.168.1.1 - - [10/Oct/2023:13:57:01] "GET /about.html" 200 890
192.168.1.2 - - [10/Oct/2023:13:56:12] "POST /login" 403 567

说明：-k1 按第一个字段（IP地址）排序。

步骤2：按状态码排序

状态码是第7个字段：

sort -t' ' -k7n access.log

输出：

192.168.1.1 - - [10/Oct/2023:13:55:36] "GET /index.html" 200 1234
192.168.1.1 - - [10/Oct/2023:13:57:01] "GET /about.html" 200 890
192.168.1.2 - - [10/Oct/2023:13:56:12] "POST /login" 403 567

说明：-k7n 按第7个字段（状态码）进行数值排序。

步骤3：统计IP访问次数

结合 awk 和 sort：

awk '{print $1}' access.log | sort | uniq -c | sort -nr

输出：

      2 192.168.1.1
      1 192.168.1.2

说明：

• awk '{print $1}' 提取IP地址。
• sort | uniq -c 统计每个IP的出现次数。
• sort -nr 按次数逆序排序。

---

七、编写脚本示例

以下是一个Bash脚本，展示如何使用 sort 处理结构化数据（如CSV文件）并生成排序后的报告。

脚本功能

• 读取一个CSV文件，包含员工信息（姓名、部门、薪资）。
• 按部门和薪资排序，生成报告。
• 去除重复记录。
• 输出结果到文件。

输入文件 employees.csv

Alice,Engineering,75000
Bob,Marketing,60000
Charlie,Engineering,80000
Alice,Engineering,75000
David,Marketing,65000

脚本代码

#!/bin/bash

# 脚本名称: sort_employees.sh
# 功能: 对员工数据进行排序和去重

INPUT_FILE="employees.csv"
OUTPUT_FILE="employees_sorted.csv"

# 检查输入文件是否存在
if [[ ! -f "$INPUT_FILE" ]]; then
    echo "错误：输入文件 $INPUT_FILE 不存在"
    exit 1
fi

# 按部门（字段2）升序、薪资（字段3）降序排序，并去重
sort -t',' -k2,2 -k3,3nr -u "$INPUT_FILE" > "$OUTPUT_FILE"

# 检查是否成功
if [[ $? -eq 0 ]]; then
    echo "排序完成，结果已保存到 $OUTPUT_FILE"
    echo "内容如下："
    cat "$OUTPUT_FILE"
else
    echo "排序失败"
    exit 1
fi

运行脚本

chmod +x sort_employees.sh
./sort_employees.sh

输出结果

employees_sorted.csv 内容：

Charlie,Engineering,80000
Alice,Engineering,75000
David,Marketing,65000
Bob,Marketing,60000

说明：

• -k2,2 按部门（字段2）排序。
• -k3,3nr 按薪资（字段3）逆序数值排序。
• -u 去除重复行（例如，Alice的重复记录被删除）。
• 输出重定向到 employees_sorted.csv。

---

八、注意事项与最佳实践

1. 性能优化：

   • 对于大型文件，使用 --buffer-size 和 --parallel 选项。
   • 避免不必要的管道操作，尽量在 sort 内部完成处理。

2. 区域设置影响：

   • 排序结果可能因 LC_ALL 或 LANG 环境变量而异。建议在脚本中显式设置 LC_ALL=C。

3. 字段分隔符：

   • 确保 -t 指定的分隔符与数据一致，否则可能导致字段解析错误。

4. 内存管理：

   • 默认情况下，sort 使用临时文件存储中间结果。确保 /tmp 有足够空间，或使用 --temporary-directory。

5. 调试技巧：

   • 使用 --debug 选项查看 sort 如何解析字段和比较行。例如：

     sort --debug -t',' -k2 employees.txt
     

---

九、总结

sort 命令是Linux中处理文本数据的核心工具之一，其灵活性和强大功能使其适用于从简单排序到复杂数据分析的各种场景。通过掌握其选项（如 -n、-k、-t）和高级用法（如多字段排序、管道结合），用户可以高效地处理结构化和非结构化数据。

更多技术分享，关注公众号：halugin