Docker의 Jupyter Notebook에서 PySpark를 연결하려고 시도하는 postgreSQL 관련 문제

php 편집자 Youzi는 최근 Docker에서 Jupyter Notebook을 사용하여 PySpark에 연결할 때 문제가 발생했다는 피드백을 사용자로부터 받았습니다. 구체적인 문제는 연결 과정에서 PostgreSQL과 관련된 몇 가지 문제가 발생했다는 것입니다. 이 문제에 대해 사용자가 성공적으로 PySpark에 연결하고 문제를 해결할 수 있도록 솔루션과 작업 단계를 제공할 것입니다. 이 기사에서는 Docker에서 Jupyter Notebook을 사용하여 PySpark에 연결하는 방법을 자세히 소개하고 몇 가지 일반적인 문제에 대한 솔루션을 제공합니다.

질문 내용

이 문제가 발생했습니다.py4jjavaerror: 调用 o124.save 时发生错误。 ：org.postgresql.util.psqlexception：与 localhost:5432 的连接被拒绝。检查主机名和端口是否正确，以及 postmaster 是否接受 tcp/ip 连接。jupyter 노트북에서 이 pysark 코드를 실행하고 docker를 사용하여 모든 것을 실행하면 postgresql이 내 로컬 컴퓨터(windows)에 설치됩니다.

postgresql.conf를 편집하여 "listen_addresses = 'localhost'"를 추가하고 pg_hba.conf를 편집하여 "host all all 0.0.0.0/0 md5"를 추가하려고 시도했지만 작동하지 않아서 어떻게 해야 할지 모르겠습니다. 하다.

해결 방법

또한 docker에 PostgreSQL을 설치하고(이 이미지https://hub.docker .com/_/postgres/를 사용하여 postgres 전용 컨테이너를 생성함) PySpark 컨테이너에서 명령을 사용하는 문제도 해결했습니다. postgreSQL 컨테이너 사이에 네트워크를 생성하세요

docker网络创建my_network,

이 명령은 postgres 컨테이너용입니다

docker run --name postgres_container --network my_network -e POSTGRES_PASSWORD=12345 -d -p 5432:5432 postgres:latest

Jupyter-pyspark 컨테이너용입니다

docker run --name jupyter_container --network my_network -it -p 8888:8888 -v C:homeworkpath:/home/jovyan/work jupyter/pyspark-notebook:latest

위 내용은 Docker의 Jupyter Notebook에서 PySpark를 연결하려고 시도하는 postgreSQL 관련 문제의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!