통역사 속의 통역사-파이썬 튜토리얼-php.cn

An interpreter inside an interpreter

개발이 시작된 지 몇 달이 지나서 저는 Memphis의 북극성이 내 통역사 내에서 Flask 서버를 완전히 실행하는 것이라고 결정했습니다. 나는 이것이 얼마나 많은 작업을 수반할지 전혀 몰랐습니다. 단지 그것이 멋있게 들리고 아마도 그 과정에서 나에게 많은 것을 가르쳐 줄 것이라는 것뿐이었습니다. 오늘 이 목표를 세운다면 FastAPI를 선택하거나 아무것도 선택하지 않을 수도 있습니다. 그건 제가 어리석은 일이었기 때문입니다.

파이썬 stdlib

내가 직면한 큰 결정은 Python 표준 lib를 어떻게 처리할지였습니다. 여러분도 잘 알고 계시겠지만, 언어의 표준 lib는 기술적으로 언어 정의나 런타임의 일부가 아닙니다. 언어와 런타임을 더욱 유용하게 만들기 위해 릴리스에 포함되었습니다. 스레딩이나 비동기 지원이 없는 Python을 상상해 보세요. 여전히 표현식을 평가하고 클래스를 인스턴스화할 수 있지만 대부분의 프로덕션 준비 프로그램에는 일종의 동시성 지원이 필요합니다.

한 가지 옵션은 전체 표준 lib를 직접 다시 작성하는 것입니다. 저는 통역사를 만들고 있는 중입니다. 그렇죠? 나는 이것이 RustPython이 취한 접근 방식이라고 생각하며, 이는 훌륭한 경로입니다. 저는 런타임을 작동시킬 만큼 충분하다고 생각하고 잘라낼 부분을 모두 찾고 있었지만 이에 반대하기로 결정했습니다.

Python 표준 lib는 두 가지 주요 부분, 즉 Python으로 구현된 부분과 C로 구현된 부분으로 구성됩니다. 편리하게도 저는 자체 Python 인터프리터를 가지고 있었습니다. 전자를 만족시키기 위해 호스트 시스템의 Python 소스 파일을 해석할 수 있습니까? 네, 그럴 수 있어요. 그들이 사용하는 모든 구문과 기능을 지원해야 하지만 그 후에는 그냥 작동할 것입니다.

C부분이 흥미로워요. 2023년에 저는 그것이 의미하는 바를 완전히 이해하지 못한 채 Python 인터프리터에 Python 인터프리터를 내장하기로 결정했습니다. 이제 이 문제에 대해 머리를 숙이고 이 접근 방식을 유지할지 아니면 다른 길을 선택할지 결정해야 할 때였습니다.

Rust와 Python의 상호 운용성 상점은 Pyo3입니다. 시내의 유일한 게임인 Pyo3는 FFI(외부 함수 인터페이스)를 사용하여 Rust 코드가 CPython 바이너리를 호출할 수 있도록 합니다. 이는 제가 AMD에서 근무하는 동안 사용했던 개념인 ABI(Application Binary Interface)에 동의함으로써 작동합니다. 핵심 소프트웨어입니다!

모듈 가져오기

제 초기 사용 사례는 import sys를 실행하고 회원 액세스 작업을 수행할 수 있는 객체를 제공하는 것이었습니다. 여기서 통역사 이야기를 시작하는데 이것이 제가 말하는 REPL 세션 유형입니다.

Python 3.12.5 (main, Aug  6 2024, 19:08:49) [Clang 15.0.0 (clang-1500.3.9.4)]
Type "help", "copyright", "credits" or "license" for more information.
>>> import sys
>>> sys
<module 'sys' (built-in)>
>>> type(sys.modules)
<class 'dict'>

로그인 후 복사

Pyo3를 사용하여 이 기능을 얻는 것은 간단했습니다.

pub struct CPythonModule(PyObject);

impl CPythonModule {
    pub fn new(name: &str) -> Self {
        pyo3::prepare_freethreaded_python();
        let pymodule = Python::with_gil(|py|
            PyModule::import(py, name).expect("Failed to import module").into()
        );

        Self(pymodule)
    }
}

로그인 후 복사

이를 실행하기 위한 기능 플래그 조합을 기억한다는 가정 하에 이를 사용하여 Memphis에서 유사한 REPL 세션을 구동할 수 있습니다.

Python 3.12.5 (main, Aug  6 2024, 19:08:49) [Clang 15.0.0 (clang-1500.3.9.4)]
Type "help", "copyright", "credits" or "license" for more information.
>>> import sys
>>> sys
<module 'sys' (built-in)>
>>> type(sys.modules)
<class 'dict'>

로그인 후 복사

궁금하다면 이 접근 방식을 사용하여 전체 표준 라이브러리(Python 및 C로 작성된 부분 포함)를 가져오고 전체 삶, 자유, 행복 추구를 더 쉽게 만들 수는 없을까요? 대답은 '예'입니다. 그것은 유효한 접근 방식이 될 것입니다! 그러나 그렇게 하면 내 통역사가 내가 원하는 것보다 CPython 주변의 껍질에 더 가까워질 것입니다. 이것은 학습 연습이므로 임의의 결정을 내릴 수 있습니다. Memphis 내부에 CPython을 로드하면 Memphis가 실제 통역사가 아니라고 말하는 순수주의자들을 위해 저는 그냥 이렇게 말하고 싶습니다: 통역사를 보여주세요.

Memphis와 CPython을 모두 사용하여 REPL 세션 내에서 import sys를 실행하여 htop으로 빠른 테스트를 수행했습니다. Memphis에서는 CPython 라이브러리를 메모리에 로드하기 때문에 RAM 사용량(htop의 상주 세트 크기)이 약 5MB 증가했습니다. 비교를 위해 Memphis REPL은 sys 모듈을 로드한 후 약 9MB의 RAM을 사용하는 반면, Python REPL은 sys 모듈을 로드하기 전과 후 거의 같은 양을 사용합니다. 이것은 사과 대 사과 비교는 아니지만 적어도 Memphis가 천천히 내 컴퓨터를 질식시켜 죽이지는 않을 것이라는 점을 알려주었습니다.

객체를 변환하고 존재하게 됨

이 설정의 다음 복잡성은 Memphis 객체 표현을 CPython 표현으로 또는 그 반대로 변환하는 것입니다. 이는 진행 중인 작업이며 처음에는 "실패하지 마십시오", 최근에는 "손실이 있는 변환을 수행할 때 경고를 표시"하는 것이 기본 지침이었습니다.

다음은 Pyo3 측의 객체 표현인 PyObject를 Memphis 표현인 ExprResult로 변환한 것입니다.

pub struct CPythonModule(PyObject);

impl CPythonModule {
    pub fn new(name: &str) -> Self {
        pyo3::prepare_freethreaded_python();
        let pymodule = Python::with_gil(|py|
            PyModule::import(py, name).expect("Failed to import module").into()
        );

        Self(pymodule)
    }
}

로그인 후 복사

그리고 역비교는 이렇습니다. 이 두 가지 모두 CPython GIL(전역 인터프리터 잠금)에 대한 액세스를 제어하는 Python 객체를 전달해야 합니다.

memphis 0.1.0 REPL (Type 'exit()' to quit)
>>> import sys
>>> sys
<module 'sys' (built-in)>
>>> type(sys.modules)
<class 'dict' (built-in)>

로그인 후 복사

이것은 제가 더 탐구하고 싶은 풍부한 영역입니다. 제가 고려한 몇 가지 방향은 다음과 같습니다.

객체가 FFI 인터페이스를 통과할 때마다 변환합니다. (그렇습니다. 약어가 외부 기능 인터페이스 인터페이스로 확장된다는 것을 알고 있습니다.) 대략 제가 이미 하고 있는 일입니다. 사기꾼처럼 느껴지지 않고 소유하기만 하면 됩니다. 이는 간단하지만 비효율적일 수 있습니다.
각 개체가 각 측면에 최대 한 번만 존재하도록 레지스트리를 유지합니다. 이는 (1)보다 효율적이지만 이러한 개체를 조회하고 연결하는 데 사용할 수 있는 안정적인 값이 필요합니다.
Rust 측에서 단일 표현을 목표로 하고 Pyo3를 사용하여 필요에 따라 필드를 프록시하고 느리게 변환합니다. 나는 이것이 (1)의 기능을 여전히 활용하면서도 더 효율적인 방식이라고 믿습니다.
Memphis 객체의 메모리 레이아웃을 PyObject의 메모리 레이아웃과 일치하게 만듭니다. #[repr(C)]가 Rust에서 이미 작동하는 방식과 유사하게 이는 ABI가 함수 호출에 대해 수행하는 역할과 유사합니다. 양측이 평가를 수행하는 데 필요한 사항이 다르기 때문에 이것이 가능한지조차 확신할 수 없지만 이것이 흥미롭습니다.

지금은 C 모듈을 거의 로드할 수 없기 때문에 서두르고 있지만, 이 분야에 대한 호기심은 끝이 없습니다.

끝

Flask를 부팅하기 위해 터벅터벅 진행하는 동안 새로운 변환 실패가 발생하면 계속해서 이 문제를 찌르고 있습니다. 이 연습은 모든 객체(또는 클래스, 모듈 등)가 메모리에 알려진 형식으로 존재하는 속성 집합이라는 점을 상기시켜 줍니다. 해당 형식을 충분히 이해한다면 Memphis 측이든 CPython 측이든 상관없이 놀라운 일을 할 수 있을 것입니다.

이 철학은 제가 From Scratch Code 작업을 하는 원동력이기도 합니다. 코드에서 라이브러리를 작동시킬 수 없는 것에 지쳤다면 한 걸음 물러나서 질문해 보십시오. 라이브러리는 실제로 무엇을 하고 있습니까? 필요한가요, 아니면 더 간단한 솔루션이 효과가 있을까요? 저는 소프트웨어에 대한 이러한 호기심을 키우는 것이 중요하다고 믿습니다. 이러한 사고방식을 도구 상자에 통합할 수 있도록 기꺼이 도와드리겠습니다.

이런 게시물을 받은편지함으로 직접 받아보려면 여기에서 구독하세요!