Pandas : IP, Mac 및 Port Association 튜토리얼을 사용한 멀티 파일 데이터의 효율적인 통합

이 튜토리얼은 Python의 Pandas 라이브러리를 사용하여 여러 텍스트 파일에서 특정 데이터를 효율적으로 추출, 연관 및 통합하는 방법을 자세히 보여줍니다. 파일 데이터를 데이터 프레임에로드하고 Merge 작동을 사용하여 IP 주소 및 MAC 주소를 기반으로 내부 연결을 수행하면 IP, MAC 주소의 연결 정보 및 다른 소스의 파일의 해당 포트를 최종적으로 구현합니다.

장면 설명과 도전

일일 데이터 처리 작업에서, 우리는 종종 여러 흩어진 텍스트 파일에서 정보를 추출 해야하는 시나리오를 만나고 특정 공통 식별자를 기반으로 연관합니다. 예를 들어, IP 주소 목록이 포함 된 파일, IP 주소와 MAC 주소 사이의 매핑 관계를 기록하는 파일 및 MAC 주소와 스위치 포트 사이의 해당 관계를 포함하는 파일이있을 수 있습니다. 당사의 목표는 IP 주소 목록을 제공하고 각 IP에 해당하는 MAC 주소를 찾은 다음 MAC 주소가 연결된 스위치 포트를 찾아 IP, MAC 주소 및 포트 간의 해당 포트를 출력하는 것입니다.

파일 반복 및 문자열 매칭을 통해이 작업을 수동으로 완료하는 것은 비효율적 일뿐 만 아니라 복잡하고 오류가 발생하기 쉽습니다. 이 접근법은 파일 크기가 증가 할 때 거의 불가능합니다. 다행스럽게도 Python의 Pandas Library는 이러한 작업을 크게 단순화 할 수있는 강력한 데이터 구조 (데이터 프레임) 및 데이터 조작 도구를 제공합니다.

팬더 솔루션 개요

Pandas 라이브러리의 핵심은 데이터 프레임으로 스프레드 시트 또는 SQL 데이터베이스의 테이블과 유사한 2 차원의 표식 데이터 구조입니다. Pandas는 다양한 데이터 소스를 읽고 데이터를 깨끗하게, 변환, 병합 및 분석 할 수있는 풍부한 기능을 제공합니다. 멀티 파일 데이터 협회 문제의 경우 각 파일을 데이터 프레임으로로드 한 다음 Merge 메소드를 사용하여 SQL의 조인 작업과 같은 연결을 연결할 수 있습니다.

데이터 준비 : 파일에서 데이터 프레임으로로드

먼저 제공된 세 텍스트 파일 (file1.txt, file2.txt, file3.txt)을 Pandas Dataframe에로드해야합니다. PD.READ_CSV는 텍스트 파일로드의 주요 기능이며 매개 변수를 조정하여 다양한 파일 형식에 적응할 수 있습니다.

파일 내용이 다음과 같다고 가정합니다.

file1.txt

 1.1.1.1
1.1.1.2
1.1.1.3
1.1.1.6
1.1.1.11

file2.txt

 프로토콜 주소 연령 (Min) ADDR 유형 인터페이스
인터넷 1.1.1.1 5 6026.AA11.1111 A Ethernet1/49
인터넷 1.1.1.2- 0006.f2d2.2d2f a vlan1
인터넷 1.1.1.3-6026.AA33.3333 A VLAN1
인터넷 1.1.1.4 0 불완전한 a
인터넷 1.1.1.5 0 불완전한 a
인터넷 1.1.1.6 64 FA16.6EDB.6666 A VLAN1
인터넷 1.1.1.11 23 FA16.7E7D.7777 A VLAN1

file3.txt

 유니 캐스트 항목
 VLAN MAC 주소 유형 프로토콜 포트
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 1 6026.AA11.1111 정적 IP, IPX, 할당, 기타 스위치
 1 0006.f2d2.2d2f 동적 IP, IPX, 할당, 기타 이더넷 1/24
 1 6026.AA33.3333 Dynamic IP, IPX, 할당, 기타 이더넷 1/12
 1 FA16.6EDB.6666 동적 IP, IPX, 할당, 기타 이더넷/8
 1 FA16.7E7D.7777 동적 IP, IPX, 할당, 기타 이더넷/10

이제이 파일을로드합시다.

 팬더를 PD로 가져옵니다
가져 오기 IO #은 파일 읽기를 시뮬레이션하는 데 사용됩니다. 파일 이름은 실제 응용 프로그램# 파일 내용 시뮬레이션에서 직접 사용됩니다. pd.read_csv ( 'file_name.txt', ...)
file1_content = "" "1.1.1.1
1.1.1.2
1.1.1.3
1.1.1.6
1.1.1.11 "" ""

file2_content = "" "프로토콜 주소 연령 (Min) Addr 유형 인터페이스
인터넷 1.1.1.1 5 6026.AA11.1111 A Ethernet1/49
인터넷 1.1.1.2- 0006.f2d2.2d2f a vlan1
인터넷 1.1.1.3-6026.AA33.3333 A VLAN1
인터넷 1.1.1.4 0 불완전한 a
인터넷 1.1.1.5 0 불완전한 a
인터넷 1.1.1.6 64 FA16.6EDB.6666 A VLAN1
인터넷 1.1.1.11 23 FA16.7E7D.7777 A VLAN1 "" ""

file3_content = "" "유니 캐스트 항목
 VLAN MAC 주소 유형 프로토콜 포트
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 1 6026.AA11.1111 정적 IP, IPX, 할당, 기타 스위치
 1 0006.f2d2.2d2f 동적 IP, IPX, 할당, 기타 이더넷 1/24
 1 6026.AA33.3333 Dynamic IP, IPX, 할당, 기타 이더넷 1/12
 1 FA16.6EDB.6666 동적 IP, IPX, 할당, 기타 이더넷/8
 1 FA16.7E7D.7777 동적 IP, IPX, 할당, 기타 이더넷 1/10 "" ""

# 1. LOAD FILE1.TXT : IP 주소의 열 하나만 있으며 헤더 없음 df1 = pd.read_csv (io.stringio (file1_content), header = none, names = [ 'ipv4']).
print ( "df1 :")
print (df1.head ())
인쇄 ( "-" * 30)

# 2. File2.txt : 테이블 헤더#이있는 다중 열# sep = r '\ s를 사용하여 하나 이상의 공간과 일치시키기 위해 엔진 ='Python '을 지원합니다.'Python '은 정규식 분리기 DF2 = pd.read_csv (io.stringio (file2_content), sep = r'\ s ', 엔진 =' ')를 지원합니다.
print ( "df2 :")
print (df2.head ())
인쇄 ( "-" * 30)

# 3. file33.txt로드 : 테이블 헤더가있는 공백으로 구분되는 여러 열이 있지만 두 번째 행은 구분 기선이므로 # skiprows = [1] 인덱스 1 (즉, 두 번째 행)을 사용하여 스킵 행을 건너 뛸 필요가 있습니다.
df3 = pd.read_csv (io.stringio (file3_content), sep = r '\ s', engine = 'python', skiprows = [1])
print ( "df3 :")
print (df3.head ())
인쇄 ( "-" * 30)

설명 :

• io.stringio ()는 스트링 내용을 파일 개체로 시뮬레이션하는 데 사용됩니다. 실제 응용 프로그램에서 io.stringio (...)를 'file1.txt'와 같은 파일 경로로 직접 대체하십시오.
• 헤더 = 없음 : 파일에 헤더가 없음을 의미합니다. Pandas는 기본적으로 숫자 열 이름을 생성합니다.
• 이름 = [ 'IPv4'] : 테이블 헤더가없는 파일의 열 이름을 지정합니다.
• sep = r '\ s': 정규 표현식을 사용하여 하나 이상의 공간을 구분 제로 일치시켜 열 사이에 불규칙한 공간이있는 경우에 적합합니다.
• Engine = 'Python': Sep 매개 변수가 정규식을 사용하면 엔진 = 'Python'을 지정해야합니다.
• Skikrows = [1] : 파일의 두 번째 줄 (인덱스 1)을 건너 뜁니다.

핵심 작동 : Dataframe Merge (Merge)

이제 세 가지 데이터 프레임이 있었으므로 다음 단계는이를 연결하는 것입니다. Pandas의 병합 방법은 하나 이상의 키 (열)를 기반으로 두 개의 데이터 프레임을 연결할 수있는 SQL의 조인 작업과 유사합니다.

우리는 두 가지 내부 합병을 수행합니다.

1. 첫 번째 병합 : DF1 (IP 목록)을 DF2 (IP-MAC 맵)와 병합하고 DF1의 IPv4 열과 DF2의 주소 열을 결합 키로 사용하십시오. 이렇게하면 File1에있는 IPS를 걸러 내고 해당 MAC 주소 (ADDR 열)를 File2로 가져옵니다.
2. 두 번째 병합 : 첫 번째 병합 DF3 (MAC-PORT MAP)의 결과를 병합하고 첫 번째 병합 결과의 ADDR 열 및 DF3의 MAC 주소 열을 결합 키로 사용하십시오. 해당 포트 정보가 제공됩니다.

 # 첫 번째 병합 : DF1 (IPv4) 및 DF2 (주소)
# left_on = 'ipv4'는 df1의 연결 키가 'IPv4'열 # right_on = '주소'임을 나타냅니다. df2의 연결 키는 '주소'열 # how = '내부'라는 것을 나타냅니다. 두 데이터 프레임 모두에 존재하는 일치 만 유지됩니다. right_on = "주소")
print ( "첫 번째 병합 결과 (IP-MAC) :")
print (merged_df_ip_mac.head ())
인쇄 ( "-" * 30)

# 두 번째 병합 : 첫 번째 병합 (ADDR) 및 DF3 (MAC 주소)의 결과
# left_on = 'addr'는 merged_df_ip_mac의 연결 키가 'addr'열 # right_on = 'mac jendress'임을 나타냅니다. df3의 연결 키는 'mac address'열 final_merged_df = merged_df_mac.merge (df3, how = "inner", left_on = "addr", mac "")임을 나타냅니다.
print ( "최종 병합 결과 (IP-Mac-Port) :")
print (final_merged_df.head ())
인쇄 ( "-" * 30)

결과 추출 및 디스플레이

두 번 합병 후 Final_Merged_DF에는 필요한 모든 관련 정보가 포함되어 있습니다. 이제 IPv4, Addr (Mac 주소) 및 포트의 세 열만 선택하고 지정된 형식으로 인쇄하면됩니다.

 # 필요한 열 추출 result_df = final_merged_df [[ "IPv4", "addr", "port"]]]]

# 최종 결과 인쇄 ( "최종 출력 :")
index의 경우 result_df.iterrows ()에서 행
    # .Strip ()는 가능한 추가 공백 인쇄를 제거하는 데 사용됩니다 (f "ip {row [ 'ipv4']]} addr {row [ 'addr']. Strip ()} port {row [ 'port']. Strip ()}").

예상 출력 :

 IP 1.1.1.1 ADDR 6026.AA11.1111 포트 스위치
IP 1.1.1.2 ADDR 0006.F2D2.2D2F 포트 이더넷 1/24
IP 1.1.1.3 ADDR 6026.AA33.3333 포트 이더넷 1/12
IP 1.1.1.6 ADDR FA16.6EDB.6666 포트 이더넷 1/8
IP 1.1.1.11 ADDR FA16.7E7D.7777 포트 이더넷 1/10

완전한 코드 예제

 팬더를 PD로 가져옵니다
IO 가져 오기

# 파일 콘텐츠 시뮬레이션, 파일 이름 파일 1_content = "" ""1.1.1.1.1 실제 애플리케이션 사용
1.1.1.2
1.1.1.3
1.1.1.6
1.1.1.11 "" ""

file2_content = "" "프로토콜 주소 연령 (Min) Addr 유형 인터페이스
인터넷 1.1.1.1 5 6026.AA11.1111 A Ethernet1/49
인터넷 1.1.1.2- 0006.f2d2.2d2f a vlan1
인터넷 1.1.1.3-6026.AA33.3333 A VLAN1
인터넷 1.1.1.4 0 불완전한 a
인터넷 1.1.1.5 0 불완전한 a
인터넷 1.1.1.6 64 FA16.6EDB.6666 A VLAN1
인터넷 1.1.1.11 23 FA16.7E7D.7777 A VLAN1 "" ""

file3_content = "" "유니 캐스트 항목
 VLAN MAC 주소 유형 프로토콜 포트
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 1 6026.AA11.1111 정적 IP, IPX, 할당, 기타 스위치
 1 0006.f2d2.2d2f 동적 IP, IPX, 할당, 기타 이더넷 1/24
 1 6026.AA33.3333 Dynamic IP, IPX, 할당, 기타 이더넷 1/12
 1 FA16.6EDB.6666 동적 IP, IPX, 할당, 기타 이더넷/8
 1 FA16.7E7D.7777 동적 IP, IPX, 할당, 기타 이더넷 1/10 "" ""

# 1. 데이터 프레임에 데이터를로드합니다
df1 = pd.read_csv (io.stringio (file1_content), header = none, names = [ 'ipv4'])).
df2 = pd.read_csv (io.stringio (file2_content), sep = r '\ s', 엔진 = 'Python')
df3 = pd.read_csv (io.stringio (file3_content), sep = r '\ s', engine = 'python', skiprows = [1])

# 2. DataFrame 병합 작업# 첫 번째 병합 : IP 주소에 따라 DF1 및 DF2를 연결합니다.
merged_df_ip_mac = df1.merge (df2, how = "Inner", left_on = "ipv4", right_on = "address")

#second merge : Mac 주소에 따라 첫 번째 병합 결과 및 DF3 관련
final_merged_df = merged_df_ip_mac.merge (df3, how = "Inner", left_on = "addr", right_on = "mac address")

# 3. 필요한 열을 추출하고 출력 result_df = final_merged_df [[ "ipv4", "addr", "port"]를 형식화합니다.

print ( "최종 출력 :")
index의 경우 result_df.iterrows ()에서 행
    # .Strip ()를 사용하여 가능한 열 값 전후에 빈 문자를 지우기 위해 인쇄 (f "ip {row [ 'ipv4']]} addr {row [ 'addr']. strip ()} port {row [port ']. strip ()}").

메모 및 모범 사례

1. 파일 형식 다양성 : 실제 파일은 예보다 더 복잡 할 수 있습니다. PD.READ_CSV는 다양한 CSV, TSV 또는 기타 구분기 파일을 유연하게 처리 할 수있는 많은 수의 매개 변수 (예 : Delimiter, QuoteChar, SkipinitialSpace, NA_VALUES 등)를 제공합니다.
2. 병합 유형 선택 (매개 변수) :
   • 내부 (기본값) : 두 데이터 프레임에 존재하는 일치 만 유지됩니다.
   • 왼쪽 : 왼쪽 데이터 프레임의 모든 행을 유지하고 오른쪽 데이터 프레임의 행과 일치하십시오. 올바른 데이터 프레임과 일치하지 않으면 NAN을 채우십시오.
   • 오른쪽 : 오른쪽 데이터 프레임의 모든 행을 유지하고 왼쪽 데이터 프레임의 행과 일치하십시오. 왼쪽 데이터 프레임과 일치하지 않으면 NAN을 채우십시오.
   • 외부 : 두 개의 데이터 프레임의 모든 행을 유지하고 한쪽에 일치하지 않으면 NAN을 채우십시오. 비즈니스 요구에 따라 올바른 병합 유형을 선택하십시오.
3. 성능 고려 사항 : Pandas의 기본 레이어는 C로 구현되므로 작동 (특히 병합)은 대형 데이터 세트에서 순수한 Python 루프보다 훨씬 빠릅니다. 팬더는 더 이상 TB 레벨에서 데이터에 가장 적합한 선택이 아닐 수 있으며 Dask 또는 Pyspark와 같은 분산 컴퓨팅 프레임 워크를 고려할 수 있습니다.
4. 데이터 정리 : 병합하기 전에 결합에 사용되는 열 데이터 유형이 일관되며 선행/후행 공간이나 일관성없는 경우가 없는지 확인하십시오. 예를 들어 .str.str ()를 사용하여 문자열 열에서 공간을 제거하고 .str.lower ()를 사용하여 케이스 균일 성을 수행 할 수 있습니다.
5. 열 이름 충돌 : 두 개의 데이터 프레임이 동일한 열 이름을 가지고 있지만 병합에 사용되는 키가 아닌 경우 Pandas는 합병 후 _x 및 _y 접미사를 자동으로 추가하여 구별합니다. 이 접미사는 접미사 매개 변수를 사용하여 사용자 정의 할 수 있습니다.

요약

이 자습서를 통해 Pandas 라이브러리를 사용하여 멀티 파일 데이터 협회 문제를 효율적으로 해결하는 방법을 배웠습니다. 원시 데이터를 데이터 프레임으로 변환하고 병합 작업을 사용하여 영리하게 코드 로직을 명확하고 유지 관리 할 수있을뿐만 아니라 데이터 처리의 효율성을 크게 향상시킵니다. 이 핵심 기능을 팬더의 핵심 기능을 마스터하면 데이터 분석 및 자동화 작업에 큰 편의를 제공합니다.

위 내용은 Pandas : IP, Mac 및 Port Association 튜토리얼을 사용한 멀티 파일 데이터의 효율적인 통합의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!