centos - problème de chargement des données gpload
怪我咯
怪我咯 2017-05-16 13:19:17
0
1
850

数据装载过程中一直报错:
-f my.yml
2017-04-25 16:22:18|INFO| session commencée 2017-04-25 16:22:18
2017-04-25 16:22:18|INFO|définition du schéma 'public' pour la table 'test'
2017-04-25 16:22:18|INFO| démarré gpfdist -p 8000 -P 8001 -f "/home/gpadmin/extend/test2." -t 30
2017-04-25 16:22:18||Une erreur de traitement du fichier de contrôle gpload s'est produite. La configuration doit contenir gpload:input:quotepour les données au format CSV
2017-04-25 16:22:18|INFO|rows Inserted = 0
2017-04-25 16:22:18|INFO|rows Updated = 0
2017 -04-25 16:22:18|INFO|erreurs de formatage des données = 0
2017-04-25 16:22:18|INFO| échoué

my.yml内容 :

---

VERSION: 1.0.0.1

DATABASE: ljlj-test

USER: gpadmin

HOST: mdw

PORT: 5432

:

   INPUT:

    - SOURCE:

         LOCAL_HOSTNAME:

           - mdw

         PORT: 8000

         : 

           - /home/gpadmin/extend/test2.

    - COLUMNS:

           - id: int

           - pact_number: varchar(50)

           - grant_type: varchar(50)

           - ticket_usecode: varchar(100)

           - pact_id: int           

    - FORMAT: 

    - DELIMITER: '|'

    - ERROR_LIMIT: 25

    - ERROR_TABLE: test_err

   OUTPUT:

    - TABLE: test

    - MODE: INSERT

test2.内容 :
6|102900928|product_conume|4290000100005|0
7|102900929|product_conume|3260000100006|0

的deug模式 :
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour la version
2017-04-25 16:28:30|DEBUG|version d'essai
2017-04-25 16:28:30 |DEBUG|version trouvée
2017-04-25 16:28:30|INFO| session démarrée 2017-04-25 16:28:30
2017-04-25 16:28:30|DEBUG|config {u'database' : u'ljlj-test', u'host' : u'mdw', u'version' : u'1.0.0.1', u'user' : u'gpadmin', u'' : {u'input' : [{u'source' : {u'local_hostname' : [u'mdw' ], u'port' : 8000, u'' : [u'/home/gpadmin/extend/test2.']}}, {u'columns' : [{u'id' : u'int'}, { u'pact_number' : u'varchar(50)'}, {u'grant_type' : u'varchar(50)'}, {u'ticket_usecode' : u'varchar(100)'}, {u'pact_id' : u'int'}]}, {u'format' : u''}, {u'delimiter' : u'|'}, {u'error_limit' : 25}, {u'error_table' : u'test_err' }], u'output' : [{u'table' : u'test'}, {u'mode' : u'INSERT'}]}, u'port' : 5432}
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :output
2017-04-25 16:28:30|DEBUG|essayer
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai de sortie
2017-04-25 16:28:30|DEBUG|sortie trouvée
2017-04-25 16:28:30|DEBUG|obtention de la configuration pour :output :table
2017-04-25 16:28:30|DEBUG|essai
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai de sortie
2017 -04-25 16:28:30|DEBUG|sortie trouvée
2017-04-25 16:28:30|DEBUG|table d'essai
2017-04-25 16:28:30|DEBUG|table trouvée
2017-04 -25 16:28:30|DEBUG|obtenir la configuration pour l'hôte
2017-04-25 16:28:30|DEBUG|essayer l'hôte
2017-04-25 16:28:30|DEBUG|hôte trouvé
2017-04 -25 16:28:30|DEBUG|obtenir la configuration du port
2017-04-25 16:28:30|DEBUG|essayer le port
2017-04-25 16:28:30|DEBUG|port trouvé
2017-04 -25 16:28:30|DEBUG|obtenir la configuration pour l'utilisateur
2017-04-25 16:28:30|DEBUG|essayer l'utilisateur
2017-04-25 16:28:30|DEBUG|utilisateur trouvé
2017-04 -25 16:28:30|DEBUG|obtenir la configuration de la base de données
2017-04-25 16:28:30|DEBUG|essayer la base de données
2017-04-25 16:28:30|DEBUG|base de données trouvée
2017-04 -25 16:28:30|DEBUG|obtenir la configuration du mot de passe
2017-04-25 16:28:30|DEBUG|essayer le mot de passe
2017-04-25 16:28:30|DEBUG|chaîne de connexion : user=gpadmin host=mdw port=5432 database=ljlj-test
2017-04-25 16:28:30|DEBUG|Connecté avec succès à la base de données
2017-04-25 16:28:30|INFO|définition du schéma « public » pour la table 'test'
2017-04-25 16:28:30|DEBUG|colonne d'entrée trouvée : [u'"id"', u'integer', None, False]
2017-04-25 16:28:30| DEBUG|colonne d'entrée trouvée : [u'"pact_number"', u'character variant(50)', Aucun, False]
2017-04-25 16:28:30|DEBUG|colonne d'entrée trouvée : [u'"grant_type "', u'caractère variable(50)', Aucun, Faux]
2017-04-25 16:28:30|DEBUG|colonne d'entrée trouvée : [u'"ticket_usecode"', u'caractère variable(100)' , Aucun, Faux]
2017-04-25 16:28:30|DEBUG|colonne d'entrée trouvée : [u'"pact_id"', u'integer', Aucun, Faux]
2017-04-25 16:28 : 30|DEBUG|obtenir la configuration pour :input:columns
2017-04-25 16:28:30|DEBUG|essayer
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28 :30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|essai de colonnes
2017-04-25 16:28:30 |DEBUG|colonnes trouvées
25/04/2017 16:28:30|DEBUG|les colonnes sont :
25/04/2017 16:28:30|DEBUG|id : int
25/04/2017 16:28 : 30|DEBUG|numéro_pact : varchar(50)
25/04/2017 16:28:30|DEBUG|type_grant : varchar(50)
25/04/2017 16:28:30|DEBUG|ticket_usecode : varchar(100)
2017-04-25 16:28:30|DEBUG|pact_id: int
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :output:mapping
2017-04-25 16:28:30| DEBUG|essai
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai de sortie
2017-04-25 16:28:30|DEBUG|sortie trouvée
2017-04-25 16:28:30|DEBUG|essai de cartographie
2017-04-25 16:28:30|DEBUG|"id": integer = "id"
2017-04-25 16:28:30 |DEBUG|"pact_number": caractère variable(50) = "pact_number"
2017-04-25 16:28:30|DEBUG|"grant_type": caractère variable(50) = "grant_type"
2017-04-25 16:28:30|DEBUG|"ticket_usecode": caractère variable (100) = "ticket_usecode"
2017-04-25 16:28:30|DEBUG|"pact_id": entier = "pact_id"
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :input
2017-04-25 16:28:30|DEBUG|essayer
2017-04-25 16:28:30|DEBUG|trouvé
2017 -04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|obtention de la configuration pour :input : source(1)
2017-04-25 16:28:30|DEBUG|essai
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|essai de source (1)
2017-04-25 16:28:30|DEBUG|trouvé source
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :input:source(1):local_hostname
2017-04-25 16:28:30|DEBUG|essayer
2017-04-25 16 : 28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|trouvé d'entrée
2017-04-25 16:28:30 |DEBUG|essai de la source(1)
2017-04-25 16:28:30|DEBUG|source trouvée
2017-04-25 16:28:30|DEBUG|essai local_hostname
2017-04-25 16:28 : 30|DEBUG|trouvé local_hostname
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :input:source:ssl
2017-04-25 16:28:30|DEBUG|essayer
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|trouvé d'entrée
2017-04-25 16:28 :30|DEBUG|essai de source
2017-04-25 16:28:30|DEBUG|found source
2017-04-25 16:28:30|DEBUG|essai de SSL
2017-04-25 16:28:30 |DEBUG|obtenir la configuration pour :input:source:certificates_path
2017-04-25 16:28:30|DEBUG|essayer
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16 : 28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|essai de source
2017-04-25 16:28 : 30|DEBUG|source trouvée
2017-04-25 16:28:30|DEBUG|essai certificates_path
2017-04-25 16:28:30|DEBUG|obtention de la configuration pour :input:source(1):port
2017 -04-25 16:28:30|DEBUG|essai
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|essai de source(1)
2017-04-25 16:28:30|DEBUG|source trouvée
2017-04- 25 16:28:30|DEBUG|essai de port
2017-04-25 16:28:30|DEBUG|port trouvé
2017-04-25 16:28:30|DEBUG|obtention de la configuration pour :input:source(1 ):port_range
2017-04-25 16:28:30|DEBUG|essai
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|essai de source (1)
2017-04-25 16:28:30|DEBUG|source trouvée
2017-04-25 16:28:30|DEBUG|essayer port_range
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :input:source(1):
2017-04-25 16:28 :30|DEBUG|essai
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG |entrée trouvée
25/04/2017 16:28:30|DEBUG|essai de source(1)
25/04/2017 16:28:30|DEBUG|source trouvée
25/04/2017 16:28:30| DEBUG|essai
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :input:max_line_length
2017-04-25 16:28:30|DEBUG|essayer
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|essai max_line_length
2017 -04-25 16:28:30|DEBUG|obtenir la configuration pour :input:transform
2017-04-25 16:28:30|DEBUG|essayer
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|essai de transformation
2017- 04-25 16:28:30|DEBUG|obtenir la configuration pour :input:transform_config
2017-04-25 16:28:30|DEBUG|essayer
2017-04-25 16:28:30|DEBUG|trouvé
2017 -04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|essai transform_config
2017-04 -25 16:28:30|LOG|essayer d'exécuter gpfdist -p 8000 -P 8001 -f "/home/gpadmin/extend/test2." -t 30 -V
2017-04-25 16:28:30|LOG|gpfdist dit : 2017-04-25 16:28:30 11767 INFO Avant d'ouvrir les sockets d'écoute - les sockets d'écoute suivantes sont disponibles :
2017-04- 25 16:28:30|DEBUG|gpfdist : [msg] libevent utilisant : epoll
2017-04-25 16:28:30|LOG|gpfdist dit : 2017-04-25 16:28:30 11767 INFO Prise IPV6 : [::]:8000
25/04/2017 16:28:30|DEBUG|gpfdist :
25/04/2017 16:28:30|LOG|gpfdist dit : 25/04/2017 16:28:30 11767 INFO Socket IPV4 : 0.0.0.0:8000
2017-04-25 16:28:30|LOG|gpfdist dit : 2017-04-25 16:28:30 11767 INFO Essayer d'ouvrir le socket d'écoute :
2017-04-25 16:28:30|LOG|gpfdist dit : 2017-04-25 16:28:30 11767 INFO IPV6 socket : [::]:8000
2017-04-25 16:28:30|LOG|gpfdist dit : 2017 -04-25 16:28:30 11767 WARN Adresse déjà utilisée (errno = 98), port : 8000
2017-04-25 16:28:30|LOG|gpfdist dit : 2017-04-25 16:28 : 30 11767 INFO Essayer d'ouvrir le socket d'écoute :
2017-04-25 16:28:30|LOG|gpfdist dit : 2017-04-25 16:28:30 11767 INFO Socket IPV4 : 0.0.0.0:8000
2017-04 -25 16:28:30|LOG|gpfdist dit : 2017-04-25 16:28:30 11767 WARN Adresse déjà utilisée (errno = 98), port : 8000
2017-04-25 16:28:30| LOG|gpfdist dit :
2017-04-25 16:28:30|LOG|gpfdist dit : 2017-04-25 16:28:30 11767 INFO Avant d'ouvrir les sockets d'écoute - les sockets d'écoute suivantes sont disponibles :
2017-04- 25 16:28:30|LOG|gpfdist dit : 2017-04-25 16:28:30 11767 INFO IPV6 socket : [::]:8001
2017-04-25 16:28:30|LOG|gpfdist dit : 2017-04-25 16:28:30 11767 INFO Prise IPV4 : 0.0.0.0:8001
2017-04-25 16:28:30|LOG|gpfdist dit : 2017-04-25 16:28:30 11767 INFO Essayer pour ouvrir la socket d'écoute :
2017-04-25 16:28:30|LOG|gpfdist dit : 2017-04-25 16:28:30 11767 INFO Prise IPV6 : [::]:8001
2017-04-25 16 :28:30|LOG|gpfdist dit : 2017-04-25 16:28:30 11767 INFO Ouverture de la socket d'écoute réussie
2017-04-25 16:28:30|LOG|gpfdist dit : 2017-04-25 16 : 28:30 11767 INFO Essayer d'ouvrir la socket d'écoute :
2017-04-25 16:28:30|LOG|gpfdist dit : 2017-04-25 16:28:30 11767 INFO Prise IPV4 : 0.0.0.0:8001
2017-04-25 16:28:30|LOG|gpfdist dit : 2017-04-25 16:28:30 11767 WARN Adresse déjà utilisée (errno = 98), port : 8001
2017-04-25 16:28 :30|LOG|gpfdist dit : Servir HTTP sur le port 8001, répertoire /home/gpadmin/extend
2017-04-25 16:28:30|INFO|started gpfdist -p 8000 -P 8001 -f "/home/gpadmin /extension/test2." -t 30 -V
2017-04-25 16:28:30|LOG|gpfdist s'exécute sur le port 8001
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :input:source:ssl
2017 -04-25 16:28:30|DEBUG|essai
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|essai de source
2017-04-25 16:28:30|DEBUG|source trouvée
2017-04-25 16 : 28:30|DEBUG|essayer SSL
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :input:source(2)
2017-04-25 16:28:30|DEBUG|essayer
2017- 25/04/2017 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|essai de source(2)
2017-04-25 16:28:30|DEBUG|obtention de la configuration pour :preload
2017-04-25 16:28:30|DEBUG|essai
2017- 04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essayer le préchargement
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :output:mode
2017-04-25 16:28:30|DEBUG|essai
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai de sortie
2017-04- 25 16:28:30|DEBUG|sortie trouvée
2017-04-25 16:28:30|DEBUG|mode d'essai
2017-04-25 16:28:30|DEBUG|mode trouvé
2017-04-25 16 :28:30|DEBUG|obtenir la configuration pour :input:error_table
2017-04-25 16:28:30|DEBUG|essayer
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|essai error_table
2017-04-25 16 : 28:30|DEBUG|trouvé error_table
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :input:log_errors
2017-04-25 16:28:30|DEBUG|essayer
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|trouvé d'entrée
2017-04-25 16:28 :30|DEBUG|essayer log_errors
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :sql
2017-04-25 16:28:30|DEBUG|essayer
2017-04-25 16:28 :30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essayer SQL
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :input:format
2017-04-25 16 :28:30|DEBUG|essai
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai de saisie
2017-04-25 16:28:30 |DEBUG|entrée trouvée
25/04/2017 16:28:30|DEBUG|format d'essai
25/04/2017 16:28:30|DEBUG|format trouvé
25/04/2017 16:28:30|DEBUG |obtenir la configuration pour :input:delimiter
2017-04-25 16:28:30|DEBUG|essayer
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30| DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|essai de délimiteur
2017-04-25 16:28:30|DEBUG| délimiteur trouvé
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :input:delimiter
2017-04-25 16:28:30|DEBUG|essayer
2017-04-25 16:28:30| DÉBOGAGE | trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|essai de délimiteur
2017- 04-25 16:28:30|DEBUG|délimiteur trouvé
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :input:null_as
2017-04-25 16:28:30|DEBUG|essayer
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|trouvé d'entrée
2017-04 -25 16:28:30|DEBUG|essayer null_as
2017-04-25 16:28:30|DEBUG|null False
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :input:escape
2017-04-25 16:28:30|DEBUG|essai
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04- 25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|essayer d'échapper
2017-04-25 16:28:30|DEBUG|obtenir la configuration pour :input:quote
2017 -04-25 16:28:30|DEBUG|essai
2017-04-25 16:28:30|DEBUG|trouvé
2017-04-25 16:28:30|DEBUG|essai d'entrée
2017-04-25 16:28:30|DEBUG|entrée trouvée
2017-04-25 16:28:30|DEBUG|essai de citation
2017-04-25 16:28:30||A
2017-04-25 16:28 : 30|LOG|killing gpfdist
2017-04-25 16:28:30|DEBUG|gpfdist : 2017-04-25 16:28:30 11767 Signal d'avertissement 15 reçu. gpfdist quitte
2017-04-25 16:28:30|DEBUG|gpfdist : 2017-04-25 16:28:30 11767 INFO -------------------- -------------------
25/04/2017 16:28:30|DEBUG|gpfdist : 25/04/2017 16:28:30 11767 ÉTAT DES INFORMATIONS : total session(s) 0
25/04/2017 16:28:30|DEBUG|gpfdist: session: [
25/04/2017 16:28:30|DEBUG|gpfdist: ]
25/04/2017 16:28 :30|DEBUG|gpfdist : 2017-04-25 16:28:30 11767 INFO ------------------------------- ---
2017-04-25 16:28:30|INFO|lignes insérées = 0
2017-04-25 16:28:30|INFO|lignes mises à jour = 0
2017-04-25 16:28:30|INFOS| erreurs de formatage = 0
25/04/2017 16:28:30|INFO| échoué

其中端口8000是gpfdist的端口.
求大神解释下,

 A gpload control file processing error occurred. The configuration must contain gpload:input:quotefor csv formatted data        
      
 
 为什么不匹配,test2.中的分隔符就是'|' 呀!!!!
 
怪我咯
怪我咯

走同样的路,发现不同的人生

répondre à tous(1)
PHPzhong

Deux points à noter :
1. Il n'est pas nécessaire de démarrer gpfdist manuellement. gpfdist sera démarré automatiquement lorsque gpload est exécuté. Il y a également un port 8000 configuré dans le yml, mais le port 8001 apparaîtra lors de l'exécution (exécution de la commande après). achèvement, gpfdist tuera automatiquement)
2.yml n'a pas le paramètre de citation : - QUOTE : ''''

Les deux points ci-dessus peuvent résoudre le problème ci-dessus.

Derniers téléchargements
Plus>
effets Web
Code source du site Web
Matériel du site Web
Modèle frontal