Linux에서 중복 통계를 제거하는 방법

Linux 명령줄은 매우 강력한 텍스트 처리 기능을 제공합니다. Linux 명령을 결합하면 많은 강력한 기능을 얻을 수 있습니다. 이 문서에서는 Linux 명령줄을 사용하여 줄별로 텍스트를 중복 제거하고 반복 횟수별로 정렬하는 방법에 대한 예를 제공합니다. 사용되는 주요 명령은 sort, uniq 및 cut입니다. 그중 sort의 주요 기능은 정렬이고, uniq의 주요 기능은 인접한 텍스트 줄의 중복 제거를 실현하는 것이며, cut은 텍스트 줄에서 해당 텍스트 열을 추출할 수 있습니다(간단히 말하면 텍스트 줄을 조작하는 것입니다). 열 기준).

중복된 텍스트 줄을 제거하고 반복 횟수에 따라 정렬합니다.

예:

먼저 텍스트 줄을 중복 제거하고 반복 횟수를 계산합니다(-c 옵션을 반복 횟수를 계산하는 uniq 명령).

$ sort test.txt | uniq -c 
2 Apple and Nokia. 
4 Hello World. 
1 I wanna buy an Apple device. 
1 My name is Friendfish. 
2 The Iphone of Apple company.

반복 횟수에 따라 텍스트 줄을 정렬합니다.

sort -n은 각 줄의 시작 부분에 있는 숫자를 식별하고 크기에 따라 텍스트 줄을 정렬할 수 있습니다. 기본값은 오름차순으로 정렬하는 것입니다. 내림차순으로 정렬하려면 -r 옵션(sort -rn)을 추가합니다.

$ sort test.txt | uniq -c | sort -rn 
4 Hello World. 
2 The Iphone of Apple company. 
2 Apple and Nokia. 
1 My name is Friendfish.

각 줄 앞의 중복 개수를 삭제하세요.

cut 명령은 텍스트 줄을 열별로 작업할 수 있습니다. 이전 반복 횟수가 8자를 차지하는 것을 알 수 있으므로, cut -c 9- 명령을 사용하여 각 줄의 9번째 이후 문자를 제거할 수 있습니다.

위 내용은 Linux에서 중복 통계를 제거하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!