파이썬 목록 이해력 및 반복자 메모리 동작 심층 분석

이 기사는 메모리 관리의 Python에서 목록 리터럴의 동작, 목록 이해력 및 반복자의 동작을 깊이 탐구합니다. 핵심 요점은 Python의 비 게으른 평가 특성이 변수에 할당되었는지 여부에 관계없이 메모리를 먼저 생성하고 소비 할 목록 이해력으로 이어진다는 것입니다. 주요 차이점은 결합되지 않은 변수의 목록리스트 리트가 반복기가 생성 된 후 더 빨리 수집되는 반면 변수에 바인딩 된 목록은 변수 수명주기 동안 탑승자로 유지된다는 것입니다.

Python의 비 게으른 평가 메커니즘

파이썬에서, 발현의 평가는 일반적으로 "게으른"이므로, 이는 표현이 실행되면 필요할 때까지 대기하지 않고 그 값이 즉시 계산된다는 것을 의미한다. 목록 이해력 [반복적 인 항목에 대한 표현식]의 경우,이 목록의 결과가 변수에 할당되는지 여부에 관계없이 먼저 전체 목록 개체와 모든 요소를 ​​메모리에 구축 할 것임을 의미합니다.

초기 메모리 풋 프린트에서 높은 수준의 유사성을 보여주는 두 가지 시나리오를 고려하십시오.

시나리오 1 : 변수에 명시 적으로 바인딩됩니다

목록 이해의 결과를 변수에 할당하면 변수가 재 할당, 삭제 또는 범위를 초과 할 때까지 목록 개체 및 포함 된 모든 요소가 메모리에 남아 있습니다.

 # 코드 1 : 가변 가져 오기 SYS에 명시 적으로 바인딩하는 목록

#이 코드 라인은 즉시 5000 정수의 전체 목록을 작성하여 my_list에 바인딩합니다.
my_list = [L의 경우 (5000)]
print (f "list 'my_list'객체 '메모리 풋 프린트 (요소 자체 제외) : {sys.getSizeof (my_list)} bytes")
# 참고 : sys.getSizeof () 목록 객체 자체의 메모리 풋 프린트를 반환합니다.
# 내부에 5000 개의 정수 객체의 총 메모리 사용을 제외합니다. 그러나 중요한 것은이 5000 개의 정수 물체가 실제로 만들어졌습니다.

# 기존 목록에서 반복자 생성 my_iter1 = iter (my_list)
print (f "iterator 'my_iter1'Object '메모리 풋 프린트 : {sys.getSizeof (my_iter1)} bytes (보통 작은)").

#이 시나리오에서 MY_LIST 및 참조 된 모든 정수 개체는 메모리를 계속 점유합니다.
# my_list가 쓰레기가 수집 될 때까지 또는 프로그램이 종료 될 때까지.

이 예에서 [l for l in range (5000)]는 5000 정수 목록을 만듭니다. 그런 다음 반복기를 만들더라도 원래 My_List와 모든 요소는 여전히 메모리에 존재하며 My_List 변수를 통해 액세스 할 수 있습니다.

시나리오 2 :리스트 리터럴은 반복자 생성에 직접 사용됩니다.

목록 이해의 결과가 변수에 명시 적으로 할당되지 않지만 (iter ())에 직접 전달되는 경우 Python 은이 목록을 먼저 생성합니다.

 # 코드 2 :리스트 리터럴은 직접 사용하여 반복자로 가져 오기 SYS를 생성합니다.

# 명시적인 변수 수신은 없지만 [I의 I For I in Range (5000)]는 즉시 5000 정수가있는 #의 전체 목록을 생성합니다.
# 그런 다음 iter () 함수는이 일시적으로 생성 된 목록을 매개 변수로 수신합니다.
my_iter2 = iter ([I for I in Range (5000)]))
print (f "iterator 'my_iter2'객체의 메모리 풋 프린트 : {sys.getSizeof (my_iter2)} 바이트 (일반적으로 더 작습니다)").

# 키 포인트 : ITER () 함수가 반환 된 후 반복기를 작성하는 데 사용되는 익명 목록 개체
# 다른 참조가 없으면 즉시 쓰레기 ​​수집 후보가됩니다.

이 시나리오에서 [I For I In in Range (5000)]는 5000 정수 목록도 생성합니다. iter () 함수는이 임시 목록을 수신하고 반복자를 반환합니다. ITER () 함수가 실행되고 다른 곳에서는이 일시적으로 작성된 목록 개체를 참조하면 Python의 쓰레기 수집 메커니즘은 목록과 그 요소의 메모리를 재활용 할 수 있습니다.

메모리 사용량과 수명주기의 핵심 차이

위의 분석을 통해 다음과 같은 결론을 도출 할 수 있습니다.

1. 초기 메모리 풋 프린트 : 두 시나리오 모두에서 [L의 L에 대한 L (5000)] 또는 [I의 I의 I For I for I for I for I for I for I for I for I for I for I for I for I for I for I for I for I for I for I for I for I for I for I for I for I for I for I for I for I for I for I for I for I for I for I for I for I for I for I for I for I for I for I for I for IN 따라서 "많은 양의 데이터가 생성되었는지 여부"의 관점에서 코드 1과 코드 2는 목록 작성 단계에서 유사합니다.
2. 메모리 라이프 사이클 : 핵심 차이는 메모리의 목록 객체의 수명주기에 있습니다.
   • 시나리오 에서, 목록은 my_list 변수에 바인딩되며 My_List 변수의 수명주기가 끝날 때까지 메모리가 계속 소비됩니다.
   • 시나리오 2 에서 목록은 임시 익명의 객체입니다. ITER () 함수에 대한 인수로 생성되고 사용되며 ITER () 함수가 반환되고 다른 참조 가이 목록 객체를 가리 키지 않으면 즉시 쓰레기 ​​수집 후보가됩니다. 이것은 메모리 발자국이 수명이 짧다는 것을 의미합니다.

요컨대, func (expression) 및 변수 = 표현; Python의 비 게으른 평가 메커니즘에서 FUNC (가변) 모드는 표현을 완전히 계산하고 할당 된 메모리를 할당해야합니다. 유일한 차이점은 func ()가 반환 된 후, 메모리가 func ()에 의해 내부적으로 저장되지 않으면 메모리가 즉시 재활용 할 수 있다는 것입니다. 후자는 변수의 존재로 인해 메모리 수명주기를 확장합니다.

최적화 및 예방 조치

대규모 데이터 세트를 다루거나 메모리 효율을 추구하는 응용 프로그램의 경우 전체 목록을 직접 작성하는 것이 종종 최선의 선택이 아닙니다.

1. 발전기 표현식을 사용하여 메모리를 최적화하십시오

목표가 반복기를 만드는 것이고 전체 목록을 메모리에 동시에 유지할 필요가 없다면 목록 이해 대신 생성기 표현식을 사용해야합니다. 발전기 표현식은 사각형 브래킷 대신 괄호 ()를 사용하여 한 번에 모든 요소를 ​​구축하지는 않지만 주문시를 생성합니다.

 # 생성기 표현식 SYS를 사용하십시오

# my_generator_iter는 즉시 5000 정수를 모두 생성하지 않는 생성기 객체입니다.
print (f "생성기 객체의 메모리 사용 'my_generator_iter': {sys.getsizeof (my_generator_iter)} bytes (매우 작은)").

# 반복 할 때만 요소가 하나씩 생성되고 my_generator_iter에서 항목에 대한 메모리를 가져옵니다.
    # 프로세스 항목
    통과하다

발전기 표현식의 장점은 필요할 때만 다음 요소 만 계산하고 생성하여 피크 메모리 발자국을 크게 줄이는 것입니다.

2. iter () 함수의 책임을 이해하십시오

iter () 함수의 함수는 객체의 반복자를 얻는 것입니다. 데이터 자체를 생성 할 책임이 아니라 기존 반복 가능한 객체에서 반복자를 얻는 것이 좋습니다. 따라서 ITER ()에 큰 목록을 통과하면이 큰 목록의 생성 및 메모리 사용이 이미 발생했으며 iter ()는이 기준으로 트래버스 메커니즘을 제공합니다.

3. 파이썬의 쓰레기 수집 메커니즘

Python은 기본 쓰레기 수집 메커니즘으로 기준 계수를 사용합니다. 객체의 기준 횟수가 0이되면 쓰레기 수집 후보가됩니다. 원형 참조의 경우 Python은 처리를 위해 Mark-and-Sweep 알고리즘을 사용합니다. 이러한 메커니즘을 이해하면 메모리를 더 잘 관리하는 데 도움이됩니다.

요약

Python은 결과가 변수에 할당되는지 여부에 관계없이 포괄적 인 목록을 작성할 때 먼저 완전한 평가를 수행하고 메모리에서 전체 목록 개체를 작성합니다. 따라서 ITER ([5000)의 I에 대한 I) 및 My_List = [L의 L에 대해 L (5000)); ITER (My_List)은 초기 메모리 할당에서 유사합니다. 둘 다 5000 정수 목록을 작성하므로. 주요 차이점은이 목록 개체의 수명주기입니다. 변수에 바인딩되지 않은 목록 문자는 책임을 완료 한 후 (ITER ()에서 사용하는 경우)가 더 빨리 쓰레기 수집 후보가됩니다 (변수 목록은 변수의 수명주기가 끝날 때까지 계속 메모리를 소비합니다.

특히 많은 양의 데이터를 처리 할 때 메모리를 효과적으로 관리하려면 ITERABLE의 항목에 대한 생성기 표현식을 사용하여 모든 데이터를 메모리에 한 번에로드하지 않도록 반복기를 만들어내는 것이 좋습니다.

위 내용은 파이썬 목록 이해력 및 반복자 메모리 동작 심층 분석의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!