数据装载过程中一直报错:
-f my.yml
2017-04-25 16:22:18|INFO| 세션 시작됨 2017-04-25 16:22:18
2017-04-25 16:22:18|INFO|테이블 'test'에 대한 스키마 'public' 설정
2017-04-25 16:22:18|INFO| gpfdist -p 8000 -P 8001 -f "/home/gpadmin/extend/test2"를 시작했습니다. -t 30
2017-04-25 16:22:18||gpload 제어 파일 처리 오류가 발생했습니다. 구성에는 csv 형식의 데이터에 대한 gpload:input:quote가 포함되어야 합니다
2017-04-25 16:22:18|INFO|행 삽입 = 0
2017-04-25 16:22:18|INFO|행 업데이트 = 0
2017 -04-25 16:22:18|INFO|데이터 형식 오류 = 0
2017-04-25 16:22:18|INFO| 실패
my.yml内容:
으아악test2.内容:
6|102900928|product_conume|4290000100005|0
7|102900929|product_conume|3260000100006|0
적의 deug模式:
2017-04-25 16:28:30|DEBUG|버전 구성을 가져오는 중
2017-04-25 16:28:30|DEBUG|버전을 시도하는 중
2017-04-25 16:28:30 |디버그|버전 발견
2017-04-25 16:28:30|정보| 세션 시작 2017-04-25 16:28:30
2017-04-25 16:28:30|DEBUG|config {u'database': u'ljlj-test', u'host': u'mdw', u'version': u'1.0.0.1', u'user': u'gpadmin', u'': {u'input': [{u'source': {u'local_hostname': [u'mdw' ], u'port': 8000, u'': [u'/home/gpadmin/extend/test2.']}}, {u'columns': [{u'id': u'int'}, { u'pact_number': u'varchar(50)'}, {u'grant_type': u'varchar(50)'}, {u'ticket_usecode': u'varchar(100)'}, {u'pact_id': u'int'}]}, {u'format': u''}, {u'delimiter': u'|'}, {u'error_limit': 25}, {u'error_table': u'test_err' }], u'출력': [{u'table': u'test'}, {u'mode': u'INSERT'}]}, u'port': 5432}
2017-04-25 16:28:30|DEBUG|:output
에 대한 구성 가져오는 중
2017-04-25 16:28:30|DEBUG|시도 중
2017-04-25 16:28:30|DEBUG|발견
2017-04-25 16:28:30|DEBUG|출력 시도 중
2017-04-25 16:28:30|DEBUG|출력 발견
2017-04-25 16:28:30|DEBUG|:output에 대한 구성 가져오는 중 :table
2017-04-25 16:28:30|DEBUG|시도 중
2017-04-25 16:28:30|DEBUG|발견
2017-04-25 16:28:30|DEBUG|출력 시도 중
2017 -04-25 16:28:30|DEBUG|출력 발견
2017-04-25 16:28:30|DEBUG|테이블 발견
2017-04-25 16:28:30|DEBUG|테이블 발견
2017-04 -25 16:28:30|DEBUG|호스트 구성 가져오는 중
2017-04-25 16:28:30|DEBUG|호스트를 찾는 중
2017-04-25 16:28:30|DEBUG|호스트 발견
2017-04 -25 16:28:30|DEBUG|포트 구성 가져오는 중
2017-04-25 16:28:30|DEBUG|포트 시도 중
2017-04-25 16:28:30|DEBUG|포트 발견
2017-04 -25 16:28:30|DEBUG|사용자에 대한 구성 가져오는 중
2017-04-25 16:28:30|DEBUG|사용자를 시도 중
2017-04-25 16:28:30|DEBUG|사용자를 찾았습니다
2017-04 -25 16:28:30|DEBUG|데이터베이스 구성 가져오는 중
2017-04-25 16:28:30|DEBUG|데이터베이스 시도 중
2017-04-25 16:28:30|DEBUG|데이터베이스 발견
2017-04 -25 16:28:30|DEBUG|비밀번호 구성 가져오는 중
2017-04-25 16:28:30|DEBUG|비밀번호 시도 중
2017-04-25 16:28:30|DEBUG|연결 문자열: user=gpadmin 호스트=mdw 포트=5432 데이터베이스=ljlj-test
2017-04-25 16:28:30|DEBUG|데이터베이스에 성공적으로 연결되었습니다
2017-04-25 16:28:30|INFO|테이블에 대한 스키마 '공개' 설정 'test'
2017-04-25 16:28:30|DEBUG|입력 열 발견: [u'"id"', u'integer', None, False]
2017-04-25 16:28:30| DEBUG|입력 열 발견: [u'"pact_number"', u'charactervariing(50)', None, False]
2017-04-25 16:28:30|DEBUG|입력 열 발견: [u'"grant_type "', u'charactervariing(50)', None, False]
2017-04-25 16:28:30|DEBUG|입력 열 발견: [u'"ticket_usecode"', u'charactervariing(100)' , None, False]
2017-04-25 16:28:30|DEBUG|입력 열 발견: [u'"pact_id"', u'integer', None, False]
2017-04-25 16:28: 30|DEBUG|:input:columns에 대한 구성 가져오기
2017-04-25 16:28:30|DEBUG|시도 중
2017-04-25 16:28:30|DEBUG|발견
2017-04-25 16:28 :30|DEBUG|입력 시도 중
2017-04-25 16:28:30|DEBUG|입력 발견
2017-04-25 16:28:30|DEBUG|열 시도 중
2017-04-25 16:28:30 |DEBUG|발견된 열
2017-04-25 16:28:30|DEBUG|열의 내용은 다음과 같습니다.
2017-04-25 16:28:30|DEBUG|id: int
2017-04-25 16:28: 30|DEBUG|pact_number: varchar(50)
2017-04-25 16:28:30|DEBUG|grant_type: varchar(50)
2017-04-25 16:28:30|DEBUG|ticket_usecode: varchar(100)
2017-04-25 16:28:30|DEBUG|pact_id: int
2017-04-25 16:28:30|DEBUG|:output:mapping에 대한 구성 가져오기
2017-04-25 16:28:30| DEBUG|시도 중
2017-04-25 16:28:30|DEBUG|발견
2017-04-25 16:28:30|DEBUG|시도 출력
2017-04-25 16:28:30|DEBUG|발견 출력
2017-04-25 16:28:30|DEBUG|매핑 시도 중
2017-04-25 16:28:30|DEBUG|"id": 정수 = "id"
2017-04-25 16:28:30 |DEBUG|"pact_number": 문자 가변(50) = "pact_number"
2017-04-25 16:28:30|DEBUG|"grant_type": 문자 가변(50) = "grant_type"🎜2017-04-25 16:28:30|DEBUG|"ticket_usecode": 문자 가변(100) = "ticket_usecode"
2017-04-25 16:28:30|DEBUG|"pact_id": 정수 = "pact_id"
2017-04-25 16:28:30|DEBUG|:input
에 대한 구성 가져오는 중 2017-04-25 16:28:30|DEBUG|시도 중
2017-04-25 16:28:30|DEBUG|발견
2017 -04-25 16:28:30|DEBUG|입력 시도 중
2017-04-25 16:28:30|DEBUG|입력 발견
2017-04-25 16:28:30|DEBUG|:input에 대한 구성 가져오는 중: source(1)
2017-04-25 16:28:30|DEBUG|입력 시도
2017-04-25 16:28:30|DEBUG|발견
2017-04-25 16:28:30|DEBUG|입력 시도 중
2017-04-25 16:28:30|DEBUG|입력 발견
2017-04-25 16:28:30|DEBUG|소스 시도 중(1)
2017-04-25 16:28:30|DEBUG|발견 source
2017-04-25 16:28:30|DEBUG|:input:source(1):local_hostname
에 대한 구성 가져오는 중
2017-04-25 16:28:30|DEBUG|시도 중
2017-04-25 16: 28:30|DEBUG|발견
2017-04-25 16:28:30|DEBUG|입력 시도 중
2017-04-25 16:28:30|DEBUG|입력 발견
2017-04-25 16:28:30 |DEBUG|소스 시도 중(1)
2017-04-25 16:28:30|DEBUG|소스 발견
2017-04-25 16:28:30|DEBUG|local_hostname 시도 중
2017-04-25 16:28: 30|DEBUG|local_hostname을 찾았습니다
2017-04-25 16:28:30|DEBUG|:input:source:ssl
2017-04-25 16:28:30|DEBUG|시도 중
2017-04-25 16:28:30|DEBUG|발견
2017-04-25 16:28:30|DEBUG|입력 시도 중
2017-04-25 16:28:30|DEBUG|입력 발견
2017-04-25 16:28 :30|DEBUG|소스 시도 중
2017-04-25 16:28:30|DEBUG|소스 발견
2017-04-25 16:28:30|DEBUG|ssl 시도 중
2017-04-25 16:28:30 |DEBUG|:input:source:certificates_path
에 대한 구성 가져오기 2017-04-25 16:28:30|DEBUG|시도
2017-04-25 16:28:30|DEBUG|발견
2017-04-25 16: 28:30|DEBUG|입력 시도 중
2017-04-25 16:28:30|DEBUG|입력 발견
2017-04-25 16:28:30|DEBUG|소스 시도 중
2017-04-25 16:28: 30|DEBUG|소스 발견
2017-04-25 16:28:30|DEBUG|certificates_path 시도 중
2017-04-25 16:28:30|DEBUG|:input:source(1):port
2017에 대한 구성 가져오는 중 -04-25 16:28:30|디버그|시도 중
2017-04-25 16:28:30|디버그|발견
2017-04-25 16:28:30|디버그|입력 시도 중
2017-04-25 16:28:30|DEBUG|입력 발견
2017-04-25 16:28:30|DEBUG|소스 시도 중(1)
2017-04-25 16:28:30|DEBUG|소스 발견
2017-04- 25 16:28:30|DEBUG|포트를 시도 중
2017-04-25 16:28:30|DEBUG|포트를 찾았습니다
2017-04-25 16:28:30|DEBUG|:input:source(1에 대한 구성을 가져오는 중 ):port_range
2017-04-25 16:28:30|DEBUG|시도 중
2017-04-25 16:28:30|DEBUG|발견
2017-04-25 16:28:30|DEBUG|입력 시도 중
2017-04-25 16:28:30|DEBUG|입력 발견
2017-04-25 16:28:30|DEBUG|소스 시도 중(1)
2017-04-25 16:28:30|DEBUG|소스 발견
2017-04-25 16:28:30|DEBUG|port_range 시도 중
2017-04-25 16:28:30|DEBUG|:input:source(1):
2017-04-25 16:28에 대한 구성 가져오기 :30|디버그|시도 중
2017-04-25 16:28:30|DEBUG|발견
2017-04-25 16:28:30|DEBUG|입력 시도 중
2017-04-25 16:28:30|디버그 |입력 발견
2017-04-25 16:28:30|DEBUG|소스 시도 중(1)
2017-04-25 16:28:30|DEBUG|소스 발견
2017-04-25 16:28:30| DEBUG|시도 중
2017-04-25 16:28:30|DEBUG|발견 🎜2017-04-25 16:28:30|DEBUG|구성 가져오기:input:max_line_length
2017-04-25 16:28:30|DEBUG|시도
2017-04-25 16:28:30|DEBUG|발견
2017-04-25 16:28:30|DEBUG|입력 시도 중
2017-04-25 16:28:30|DEBUG|입력 발견
2017-04-25 16:28:30|DEBUG|max_line_length 시도 중
2017 -04-25 16:28:30|DEBUG|:input:transform
에 대한 구성 가져오는 중 2017-04-25 16:28:30|DEBUG|시도 중
2017-04-25 16:28:30|DEBUG|발견
2017-04-25 16:28:30|DEBUG|입력 시도 중
2017-04-25 16:28:30|DEBUG|입력 발견
2017-04-25 16:28:30|DEBUG|변환 시도 중
2017- 04-25 16:28:30|DEBUG|구성 가져오기:input:transform_config
2017-04-25 16:28:30|DEBUG|시도
2017-04-25 16:28:30|DEBUG|발견
2017 -04-25 16:28:30|DEBUG|입력 시도 중
2017-04-25 16:28:30|DEBUG|입력 발견
2017-04-25 16:28:30|DEBUG|transform_config 시도 중
2017-04 -25 16:28:30|로그|gpfdist -p 8000 -P 8001 -f "/home/gpadmin/extend/test2." 실행을 시도 중입니다. -t 30 -V
2017-04-25 16:28:30|LOG|gpfdist 내용: 2017-04-25 16:28:30 11767 정보 청취 소켓을 열기 전에 - 다음 청취 소켓을 사용할 수 있습니다:
2017-04- 25 16:28:30|DEBUG|gpfdist: [msg] libevent 사용: epoll
2017-04-25 16:28:30|LOG|gpfdist 내용: 2017-04-25 16:28:30 11767 정보 IPV6 소켓: [::]:8000
2017-04-25 16:28:30|DEBUG|gpfdist:
2017-04-25 16:28:30|LOG|gpfdist 내용: 2017-04-25 16:28:30 11767 INFO IPV4 소켓: 0.0.0.0:8000
2017-04-25 16:28:30|LOG|gpfdist 말한다: 2017-04-25 16:28:30 11767 INFO 청취 소켓을 열려고 시도 중:
2017-04-25 16:28:30|LOG|gpfdist는 다음과 같이 말합니다: 2017-04-25 16:28:30 11767 INFO IPV6 소켓: [::]:8000
2017-04-25 16:28:30|LOG|gpfdist는 다음과 같이 말합니다: 2017 -04-25 16:28:30 11767 WARN 주소가 이미 사용 중입니다(errno = 98), 포트: 8000
2017-04-25 16:28:30|LOG|gpfdist 내용: 2017-04-25 16:28: 30 11767 INFO 청취 소켓을 열려고 시도 중:
2017-04-25 16:28:30|LOG|gpfdist 말한다: 2017-04-25 16:28:30 11767 INFO IPV4 소켓: 0.0.0.0:8000
2017-04 -25 16:28:30|LOG|gpfdist는 다음과 같이 말합니다: 2017-04-25 16:28:30 11767 WARN 주소가 이미 사용 중입니다(errno = 98), 포트: 8000
2017-04-25 16:28:30| LOG|gpfdist 내용:
2017-04-25 16:28:30|LOG|gpfdist 내용: 2017-04-25 16:28:30 11767 INFO 청취 소켓을 열기 전에 - 다음 청취 소켓을 사용할 수 있습니다:
2017-04- 25 16:28:30|LOG|gpfdist 말한다: 2017-04-25 16:28:30 11767 INFO IPV6 소켓: [::]:8001
2017-04-25 16:28:30|LOG|gpfdist 말한다: 2017-04-25 16:28:30 11767 정보 IPV4 소켓: 0.0.0.0:8001
2017-04-25 16:28:30|LOG|gpfdist 내용: 2017-04-25 16:28:30 11767 정보 시도 중 청취 소켓을 열려면:
2017-04-25 16:28:30|LOG|gpfdist 말한다: 2017-04-25 16:28:30 11767 INFO IPV6 소켓: [::]:8001
2017-04-25 16 :28:30|LOG|gpfdist 말: 2017-04-25 16:28:30 11767 INFO 청취 소켓 열기 성공
2017-04-25 16:28:30|LOG|gpfdist 말: 2017-04-25 16: 28:30 11767 INFO 청취 소켓을 열려고 시도 중:
2017-04-25 16:28:30|LOG|gpfdist 말한다: 2017-04-25 16:28:30 11767 INFO IPV4 소켓: 0.0.0.0:8001
2017-04-25 16:28:30|LOG|gpfdist는 다음과 같이 말합니다: 2017-04-25 16:28:30 11767 WARN 주소가 이미 사용 중입니다(errno = 98), 포트: 8001
2017-04-25 16:28 :30|LOG|gpfdist는 다음과 같이 말합니다: 포트 8001, 디렉토리 /home/gpadmin/extend
에서 HTTP 제공 2017-04-25 16:28:30|INFO|started gpfdist -p 8000 -P 8001 -f "/home/gpadmin /확장/테스트2." -t 30 -V
2017-04-25 16:28:30|LOG|gpfdist가 포트 8001에서 실행 중입니다
2017-04-25 16:28:30|DEBUG|:input:source:ssl
2017에 대한 구성 가져오기 -04-25 16:28:30|디버그|시도 중
2017-04-25 16:28:30|디버그|발견
2017-04-25 16:28:30|디버그|입력 시도 중
2017-04-25 16:28:30|DEBUG|입력 발견
2017-04-25 16:28:30|DEBUG|소스 시도 중
2017-04-25 16:28:30|DEBUG|소스 발견
2017-04-25 16: 28:30|디버그|ssl 시도 중
2017-04-25 16:28:30|디버그|:input:source(2)에 대한 구성 가져오는 중
2017-04-25 16:28:30|디버그|시도 중
2017- 04-25 16:28:30|DEBUG|발견
2017-04-25 16:28:30|DEBUG|입력 시도 중
2017-04-25 16:28:30|DEBUG|입력 발견
2017-04-25 16:28:30|디버그|소스 시도 중(2)
2017-04-25 16:28:30|디버그|:preload
에 대한 구성 가져오는 중2017-04-25 16:28:30|디버그|시도
2017- 04-25 16:28:30|DEBUG|발견
2017-04-25 16:28:30|DEBUG|사전 로드 시도 중
2017-04-25 16:28:30|DEBUG|:output:mode에 대한 구성 가져오는 중
2017-04-25 16:28:30|디버그|시도 중
2017-04-25 16:28:30|디버그|발견
2017-04-25 16:28:30|디버그|출력 시도 중
2017-04- 25 16:28:30|DEBUG|발견된 출력
2017-04-25 16:28:30|DEBUG|시도 모드
2017-04-25 16:28:30|DEBUG|발견 모드
2017-04-25 16 :28:30|DEBUG|:input:error_table
에 대한 구성 가져오는 중
2017-04-25 16:28:30|DEBUG|시도 중
2017-04-25 16:28:30|DEBUG|발견
2017-04-25 16:28:30|DEBUG|입력 시도 중
2017-04-25 16:28:30|DEBUG|입력 발견
2017-04-25 16:28:30|DEBUG|error_table 시도 중
2017-04-25 16: 28:30|DEBUG|error_table
2017-04-25 16:28:30|DEBUG|:input:log_errors
에 대한 구성 가져오는 중
2017-04-25 16:28:30|DEBUG|시도
2017-04-25 16:28:30|DEBUG|발견
2017-04-25 16:28:30|DEBUG|입력 시도 중
2017-04-25 16:28:30|DEBUG|입력 발견
2017-04-25 16:28 :30|DEBUG|log_errors 시도 중
2017-04-25 16:28:30|DEBUG|:sql
2017-04-25 16:28:30|DEBUG|시도 중
2017-04-25 16:28 :30|DEBUG|발견
2017-04-25 16:28:30|DEBUG|sql 시도 중
2017-04-25 16:28:30|DEBUG|:input:format
에 대한 구성 가져오기 2017-04-25 16 :28:30|디버그|시도 중
2017-04-25 16:28:30|DEBUG|발견
2017-04-25 16:28:30|DEBUG|입력 시도 중
2017-04-25 16:28:30 |DEBUG|입력을 찾았습니다
2017-04-25 16:28:30|DEBUG|형식을 찾는 중
2017-04-25 16:28:30|DEBUG|형식을 찾았습니다
2017-04-25 16:28:30|DEBUG |:input:delimiter에 대한 구성 가져오기
2017-04-25 16:28:30|DEBUG|시도 중
2017-04-25 16:28:30|DEBUG|발견
2017-04-25 16:28:30| DEBUG|입력 시도 중
2017-04-25 16:28:30|DEBUG|입력 발견
2017-04-25 16:28:30|DEBUG|구분 기호 시도 중
2017-04-25 16:28:30|DEBUG| 구분 기호를 찾았습니다
2017-04-25 16:28:30|DEBUG|:input:delimiter에 대한 구성을 가져오는 중
2017-04-25 16:28:30|DEBUG|시도 중 🎜2017-04-25 16:28:30| 디버그|발견 🎜2017-04-25 16:28:30|DEBUG|입력 시도 중
2017-04-25 16:28:30|DEBUG|입력 발견
2017-04-25 16:28:30|DEBUG|구분자 시도 중
2017- 04-25 16:28:30|DEBUG|구분 기호 발견
2017-04-25 16:28:30|DEBUG|:input:null_as
에 대한 구성 가져오는 중 2017-04-25 16:28:30|DEBUG|시도 중
2017-04-25 16:28:30|DEBUG|발견
2017-04-25 16:28:30|DEBUG|입력 시도중
2017-04-25 16:28:30|DEBUG|입력 발견
2017-04 -25 16:28:30|DEBUG|null_as 시도 중
2017-04-25 16:28:30|DEBUG|null False
2017-04-25 16:28:30|DEBUG|:input:escape
에 대한 구성 가져오는 중 2017-04-25 16:28:30|디버그|입력 시도
2017-04-25 16:28:30|디버그|발견
2017-04-25 16:28:30|디버그|입력 시도 중
2017-04- 25 16:28:30|DEBUG|입력 발견
2017-04-25 16:28:30|DEBUG|탈출 시도 중
2017-04-25 16:28:30|DEBUG|:input:quote
2017에 대한 구성 가져오는 중 -04-25 16:28:30|디버그|시도 중
2017-04-25 16:28:30|디버그|발견
2017-04-25 16:28:30|디버그|입력 시도 중
2017-04-25 16:28:30|DEBUG|입력 발견
2017-04-25 16:28:30|DEBUG|인용 시도 중
2017-04-25 16:28:30||A
2017-04-25 16:28: 30|LOG|killing gpfdist
2017-04-25 16:28:30|DEBUG|gpfdist: 2017-04-25 16:28:30 11767 WARN 신호 15가 수신되었습니다. gpfdist 종료
2017-04-25 16:28:30|DEBUG|gpfdist: 2017-04-25 16:28:30 11767 정보 -------------------- ------
2017-04-25 16:28:30|DEBUG|gpfdist: 2017-04-25 16:28:30 11767 정보 상태: 전체 세션 0
2017-04-25 16:28:30|DEBUG|gpfdist: 세션: [
2017-04-25 16:28:30|DEBUG|gpfdist: ]
2017-04-25 16:28 :30|디버그|gpfdist: 2017-04-25 16:28:30 11767 정보 ------------------ --------
2017-04-25 16:28:30|INFO|행 삽입 = 0
2017-04-25 16:28:30|INFO|행 업데이트 = 0
2017-04-25 16:28:30|정보| 서식 오류 = 0
2017-04-25 16:28:30|INFO| 실패
其中端口8000是gpfdist的端口.
求大神解释下,
需要注意两点:
1.gpfdist没有必要手动启动,在执行gpload的时候会自动启动gpfdist,还有在yml中之配置了一个8000的端口,但是在执行的时候会出现8001端口(命令执行完毕后,gpfdist会自动杀死)
2.yml中缺少对quote的设置: - QUOTE: ''''
以上两点就可以解决上面的问题.