Microsoft Fabric 환경을 위한 Python 버전 업그레이드

최근 Azure Event Hub 패키지를 사용하여 Fabric에서 Python 노트북을 다시 실행하여 KQL 데이터베이스에 데이터를 업로드하려고 하다가 막혔습니다. 몇 달간 순조롭게 돌아가던 스크립트가 환경 변경이나 업데이트 이후 갑자기 작동이 멈췄습니다.

노트북에 패키지를 설치할 때 처음 겪었던 문제는 다음과 같습니다.

ERROR: pip's dependency resolver does not currently take into account all the packages that are installed

이 오류는 패키지 종속성이 충돌하고 있음을 나타내며, 이는 Python 환경 버전 비호환성 또는 잘못 정렬된 종속성으로 인해 자주 발생합니다.

패키지를 가져오려고 보니 환경이 3.10으로 설정되어 있는 것을 볼 수 있었습니다(아래 참조).
그리고 나만의 환경을 만들려고 할 때 azure-eventhub pypi 패키지도 찾을 수 없습니다(여기 참조).

결국 파이썬 환경을 업그레이드할 수 있는 방법을 궁리하다가 친구의 도움으로 할 수 있게 되었습니다.

해결책은 PySpark 환경을 업그레이드하는 것이었습니다.
Python 런타임을 azure-eventhub 패키지와 호환되는 버전으로 업데이트하여 문제를 해결했습니다. Spark Runtime 1.3으로 전환하여 Python을 버전 3.11.x로 업데이트하여 종속성 충돌을 해결했습니다.

Spark 런타임을 1.3으로 변경하는 방법

1. 작업공간 설정으로 이동하세요.
   

2. 드롭다운 목록에서 적절한 런타임을 선택하세요.
   

3. 노트북을 저장하고 다시 시작하세요.

환경 업그레이드 검증

이제 변경 사항이 적용되었습니다. 선택한 환경에서 Spark Runtime 1.3을 사용하도록 새 노트북을 만드세요.

# Check if the environment upgrade was successful
import azure.eventhub
print("Environment setup successful!")

결론

Spark 런타임을 변경하여 Fabric에서 Python 환경을 업그레이드하면 azure-eventhub 패키지에서 직면했던 종속성 충돌이 해결되었습니다. 비슷한 문제가 발생하면 런타임 버전을 조정하는 것이 빠른 해결 방법이 될 수 있습니다. 변경 사항을 확인하고 스크립트를 테스트하여 모든 것이 원활하게 작동하는지 확인하세요.

참고: 나중에 일부 교육 자료에서 내 문제에 대한 메모를 발견했는데, 이는 --force 매개변수가 없는 첫 번째 솔루션이었습니다. Spark 런타임을 변경하지 않고 유지해야 한다면 이것이 더 나은 솔루션일 수 있습니다 https://github.com/microsoft/FabricRTA-in-a-Day/blob/main/Lab3.md#steps

참고자료:

• https://learn.microsoft.com/en-us/fabric/data-engineering/runtime
• https://pypi.org/project/azure-eventhub/
• https://github.com/Azure/azure-sdk-for-python/blob/main/sdk/eventhub/azure-eventhub/azure/eventhub/_producer_client.py

위 내용은 Microsoft Fabric 환경을 위한 Python 버전 업그레이드의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!