Linux 데이터 분석 필수 사항: 9가지 실용적인 명령

데이터 분석은 오늘날 가장 인기 있는 기술 중 하나입니다. 이를 통해 의사 결정과 혁신을 지원하기 위해 방대한 양의 데이터에서 귀중한 정보를 추출할 수 있습니다. 그러나 효과적인 데이터 분석을 수행하려면 관련 이론과 방법을 숙지해야 할 뿐만 아니라 일부 도구와 플랫폼을 능숙하게 사용할 수 있어야 합니다. Linux 시스템은 데이터 분석가가 일반적으로 사용하는 운영 체제 중 하나이며 다양한 데이터 문제를 처리하는 데 도움이 되는 강력하고 유연한 명령을 많이 제공합니다. 이 기사에서는 Linux 시스템에서 데이터 분석에 일반적으로 사용되는 9가지 명령과 해당 기능 및 사용법을 소개합니다. Linux 초보자이든 베테랑이든 관계없이 이러한 명령을 사용하면 데이터 분석 작업이 더욱 효율적이고 편리해집니다.

1. 머리와 꼬리

먼저 파일 처리부터 시작해 보겠습니다. 파일 내용은 무엇입니까? 파일 형식은 무엇입니까? cat 명령을 사용하여 터미널에 파일을 표시할 수 있지만 내용이 긴 파일을 처리하는 데는 적합하지 않습니다.

파일에 지정된 줄 수를 완전히 표시할 수 있는 head와 tail을 입력하세요. 행 수를 지정하지 않으면 기본적으로 10개 행이 표시됩니다.

마지막 세 줄에서는 날짜, 저자 이름, 제목 및 기타 정보를 찾을 수 있었습니다. 하지만 열 헤더가 부족하여 각 열의 구체적인 의미를 알 수 없습니다. 아래에서 각 열의 특정 제목을 확인하세요.

이제 모든 것이 매우 명확해졌습니다. 발행일, 콘텐츠 유형, 작성자, 제목, 제출 수, 관련 URL, 각 기사의 태그 및 단어 수를 확인할 수 있습니다.

이、wc

하지만 수백, 심지어 수천 개의 기사를 분석해야 한다면 어떻게 해야 할까요? 여기서는 "단어 수"의 약어인 wc 명령을 사용해야 합니다. wc는 파일의 바이트, 문자, 단어 또는 줄을 계산할 수 있습니다. 이 예에서는 기사의 줄 수를 알고 싶습니다.

1. $ wc -l jan2017articles.csv 93 jan2017articles.csv

이 파일은 총 93줄입니다. 첫 번째 줄에 파일 제목이 포함되어 있는 것을 보면 이 파일은 92개의 기사 목록이라고 추측할 수 있습니다.

3, grep

아래에 새로운 질문이 제기됩니다. 이 기사 중 보안 주제와 관련된 기사는 몇 개입니까? 목표를 달성하기 위해 필수 기사의 제목, 태그 또는 기타 위치에 보안이라는 단어가 언급될 것이라고 가정합니다. 이때 grep 도구를 사용하면 특정 문자로 파일을 검색하거나 다른 검색 패턴을 구현할 수 있습니다. 정규식을 사용하여 매우 정확한 일치 패턴을 만들 수도 있기 때문에 이는 매우 강력한 도구입니다. 하지만 여기서는 간단한 문자열만 찾으면 됩니다.

4 보안 관련 기사. 검색 범위가 더 구체적이라면 파이프를 사용할 수 있습니다. grep과 wc 명령을 결합하여 보안 내용이 언급된 행 수를 알아낼 수 있습니다.

이런 방식으로 wc는 grep 명령의 출력을 추출하여 입력으로 사용합니다. 약간의 쉘 스크립팅과 결합된 이 조합은 터미널을 즉시 강력한 데이터 분석 도구로 변환합니다.

넷, tr

대부분의 분석 시나리오에서는 CSV 파일을 접하게 됩니다. 그런데 다양한 적용 방법을 위해 이를 다른 형식으로 변환하려면 어떻게 해야 할까요? 여기서는 테이블을 통한 데이터 사용을 위해 HTML 형식으로 변환합니다. tr 명령은 이 목표를 달성하는 데 도움이 될 수 있으며, 한 유형의 문자를 다른 유형으로 변환할 수 있습니다. 마찬가지로, 파이프 명령을 사용하여 출력/입력 도킹을 달성할 수도 있습니다.

다음으로, 1월 20일에 게시된 기사만 포함하는 TSV(탭으로 구분된 값) 파일을 만드는 또 다른 다중 부분 예제를 시도해 보겠습니다.

먼저 날짜 쿼리에 grep을 사용합니다. 이 결과를 tr 명령에 연결하고 후자를 사용하여 모든 쉼표를 탭('/t'로 표시)으로 바꿉니다. 하지만 결과는 어디로 가나요? 여기서는 > 문자를 사용하여 결과를 화면이 아닌 새 파일에 출력합니다. 이러한 방식으로 dqywjan20only.tsv 파일에 예상 데이터가 포함되어 있는지 확인할 수 있습니다.

$ cat jan20only.tsv 20 Jan 2017 Article Kushal Das 5 ways to expand your project's 
contributor base 2 /article/17/1/expand-project-contributor-base Getting started 690 20 Jan 2017 Article D Ruth Bavousett How to write web apps 
in R with Shiny 2 /article/17/1/writing-new-web-apps-shiny Web development 218 20 Jan 2017 Article Jason Baker "Top 5: Shell scripting the
 Cinnamon Linux desktop environment and more" 0 /article/17/1/top-5-january-20 Top 5 214 20 Jan 2017 Article Tracy Miranda How is your community promoting 
diversity? 1 /article/17/1/take-action-diversity-tech Diversity and inclusion 1007

五、sort

如果我们先要找到包含信息最多的特定列，又该如何操作?假设我们需要了解哪篇文章包含最长的新文章列表，那么面对之前得出的1月20日文章列表，我们可以使用sort命令对列字数进行排序。在这种情况下，我们并不需要使用中间文件，而可以继续使用pipe。不过将长命令链拆分成较短的部分往往能够简化整个操作过程。

1. ‘/t’ -k8 jan20only.tsv | head -n 1
2. 20 Jan 2017 Article Tracy Miranda How is your community promoting diversity? 1 /article/17/1/take-action-diversity-tech Diversity and inclusion 1007

以上是一条长命令，我们尝试进行拆分。首先，我们使用sort命令对字数进行排序。-nr选项告知sort以数字排序，并将结果进行反向排序(由大到小)。此后的-t则告知其中的分隔符为。其中的要求此shell为一条需要处理的字符串，并将/n返回为tab。而-k8部分则告知sort命令使用第八列，即本示例中进行字数统计的目标列。

最后，输出结果被pipe至head，处理后在结果中显示此文件中包含最多字数的文章标题。

六、sed

大家可能还需要在文件中选择特定某行。这里可以使用sed。如果希望将全部包含标题的多个文件加以合并，并只为整体文件显示一组标题，即需要清除额外内容； 或者希望只提取特定行范围，同样可以使用sed。另外，sed还能够很好地完成批量查找与替换任务。

下面立足之前的文章列表创建一个不含标题的新文件，用于同其他文件合并(例如我们每月都会定期生成某个文件，现在需要将各个月份的内容进行合并)。

1. $ sed ‘1 d’ jan2017articles.csv > jan17no_headers.csv

其中的“1 d”选项要求sed删除第一行。

七、cut

了解了如何删除行，那么我们该如何删除列?或者说如何只选定某一列?下面我们尝试为之前生成的列表创建一份新的作者清单。

1. $ cut -d’,’ -f3 jan17no_headers.csv > authors.txt

在这里，通过cut与-d相配合代表着我们需要第三列(-f3)，并将结果发送至名为authors.txt的新文件。

八、uniq

作者清单已经完成，但我们要如何知悉其中包含多少位不同的作者?每位作者又各自编写了多少篇文章?这里使用unip。下面我们对文件进行sort排序，找到唯一值，而后计算每位作者的文章数量，并用结果替换原本内容。

1. sort authors.txt | uniq -c > authors.txt

现在已经可以看到每位作者的对应文章数，下面检查最后三行以确保结果正确。

1. $ tail -n3 authors-sorted.txt
2. 1 Tracy Miranda
3. 1 Veer Muchandi
4. 3 VM (Vicky) Brasseur

九、awk

最后让我们了解最后一款工具，awk。awk是一款出色的替换性工具，当然其功能远不止如此。下面我们重新回归1月12日文章列表TSV文件，利用awk创建新列表以标明各篇文章的作者以及各作者编写的具体字数。

1. $ awk -F “/t” '{print NF}' jan20only.tsv
2. 쿠샬 다스 690
3. D 루스 바부세트 218
4. 제이슨 베이커 214
5. 트레이시 미란다 1007

-F "/t"는 awk에게 현재 탭으로 구분된 데이터를 처리하고 있음을 알리는 데 사용됩니다. 중괄호 안에 실행 코드가 포함된 awk를 제공합니다. 는 세 번째 줄을 출력한다는 의미이고, NF는 마지막 줄(즉, '필드 수'의 약어)을 출력하고 명확한 구분을 위해 두 결과 사이에 공백을 두 개 추가한다는 의미입니다.

여기에 나열된 예제는 규모가 작고 위 도구를 사용할 필요가 없어 보이지만 93,000줄을 포함하는 파일로 범위를 확장하면 스프레드시트 프로그램을 사용하여 처리하기가 분명히 어렵습니다.

이러한 간단한 도구와 작은 스크립트를 사용하면 데이터베이스 도구를 사용하지 않고 대량의 데이터 통계 작업을 쉽게 완료할 수 있습니다. 프로든 아마추어든 그 역할은 무시할 수 없습니다.

이 글을 통해 Linux 시스템에서 데이터 분석에 흔히 사용되는 9가지 명령어와 그 기능 및 사용법에 대해 알아보았습니다. 이러한 명령은 파일 작업, 디렉터리 관리, 출력 리디렉션, 파이프, 링크 등을 다루며 Linux 시스템에서 다양한 데이터 처리 및 분석을 수행하는 데 도움이 될 수 있습니다. 물론 이러한 명령은 Linux 시스템에서 제공하는 많은 명령 중 일부일 뿐입니다. Linux 시스템과 데이터 분석에 대해 더 자세히 알아보고 싶다면 계속 탐색하고 연습해야 합니다. 이 기사가 귀하의 연구와 업무에 도움이 되기를 바랍니다. 또한 귀하가 사용하거나 발견한 다른 실용적인 Linux 명령을 공유하는 것도 환영합니다.

위 내용은 Linux 데이터 분석 필수 사항: 9가지 실용적인 명령의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!