linux中去掉文件重复数据行的方法(去重复ip)

标题：Linux中去重复行的方法

代码块：

sort filename | uniq

描述：

Linux中去除文件中的重复数据行可以使用sort和uniq命令。对于文本文件，可以使用sort命令将数据按行排序，然后使用uniq命令去掉重复的行。具体步骤如下：

1. 打开终端，进入文件所在目录。

2. 执行以下命令，将文件按行排序：

sort filename 

1. 执行以下命令，去掉重复的行:

sort filename | uniq 

示例1：

如果我们有一个示例文件example.txt，内容如下：

apple
banana
orange
apple
orange

我们可以在终端使用以下命令将文件中的重复数据行去除：

sort example.txt | uniq

输出结果为：

apple
banana
orange

示例2：

如果我们有一个示例文件example2.txt，内容如下：

192.168.0.1
192.168.0.2
192.168.0.1
192.168.0.3

我们可以在终端使用以下命令将文件中的重复数据行去除：

sort example2.txt | uniq

输出结果为:

192.168.0.1
192.168.0.2
192.168.0.3

说明：

sort命令按行将数据排序，然后通过管道|符号将排序后的数据传递给uniq命令，uniq命令去掉重复的行。这个过程可以应用在除去文件重复数据行的问题上，也可以应用在仅保留唯一值的问题上。