Django Hintergrund-Batch-Importdaten
In einer Produktionsumgebung gibt es oft nicht wenige oder Hunderte von Daten, also zum Beispiel die Mitarbeiternummer oder das Konto und Passwörter werden in das Backend importiert, daher wird nicht empfohlen, dass Sie zum Backend gehen, um Datensätze einzeln hinzuzufügen
So importieren Sie SVN-Datensätze stapelweise aus XML
Schritt eins:
Erstellen Sie ein Modell für die Daten
@python_2_unicode_compatible
class SVNLog(models.Model):
vision = models.IntegerField(verbose_name=u"修订版本", blank=False, null=False,)
author = models.CharField(verbose_name=u"作者", max_length=60, blank=True, null=True)
date = models.DateTimeField(verbose_name=u"修订时间",null=True )
msg = models.TextField(verbose_name=u"注释消息", blank=False, null=False, default=u"")
paths = models.TextField(verbose_name=u"影响的文件", blank=False, null=False, default=u"")
created_time = models.DateTimeField(verbose_name=u"创建时间", auto_now_add=True, )
update_time = models.DateTimeField(verbose_name=u"修改时间", auto_now=True, )
class Meta:
ordering = ['revision']
def __str__(self):
return u'r%s' % (self.revision or u"", )Nachdem das Modell erstellt wurde, Erstellen wir es so, dass es unsere XML-Dateimodelle akzeptiert
@python_2_unicode_compatible
class ImportLogFile(models.Model):
LogFile = models.FileField(upload_to='LogFile')
FileName = models.CharField(max_length=50, verbose_name=u'文件名')
class Meta:
ordering = ['FileName']
def __str__(self):
return self.FileNameOK, im obigen Code haben wir die Daten definiert und Dateimodelle hochgeladen
Synchronisieren Sie die Datenbank
python manage.py makemigrations python manage.py migrate
Dann ändern wir admin.py, damit wir Dateien von hochladen können der Hintergrund,
class ImportLogAdmin(admin.ModelAdmin):
list_display = ('LogFile','FileName',)
list_filter = ['FileName',]
def save_model(self, request, obj, form, change):
re = super(YDImportLogAdmin,self).save_model(request, obj, form, change)
update_svn_log(self, request, obj, change)
return reAchten Sie auf save_model im obigen Code. Dies ist der Schlüssel. Hier schreibe ich die save_model-Methode in ModelAdmin um Wir müssen Dateien hochladen und in einem Schritt lesen, die Datei analysieren und die Datenbank betreiben. Beim Hochladen der Datei enthält der Rückgabeparameter obj auch den Pfad Schlüssel zu unserem nächsten Schritt des Parsens der Datei. Okay, wir erstellen eine neue utils.py in diesem App-Ordner, um die Tool-Klasse zu betreiben, die wir zum Betreiben von Dateien und Datenbanken verwenden. Der Einfachheit halber habe ich die Funktion wie folgt geschrieben:
Zuerst einfügen die XML-Datei, die wir testen möchten
qwert2016-09-27T07:16:37.396449Z/aaa/README20160927 151630VisualSVN Server2016-09-20T05:03:12.861315Z/branches/tags/trunkhello word
r2 | qwer | 2016-09-27 15:16:37 +0800 (二, 27 9 2016) | 1 line
Changed paths:
A /xxx/README
20160927 151630
------------------------------------------------------------------------
r1 | VisualSVN Server | 2016-09-20 13:03:12 +0800 (二, 20 9 2016) | 1 line
Changed paths:
A /branches
A /tags
A /trunk
Initial structure.
from .models import SVNLog
import xmltodict
def update_svn_log(self, request, obj, change):
headers = ['r','a','d','m','p']
filepath = obj.LogFile.path
xmlfile = xmltodict.parse(open(filepath, 'r'))
xml_logentry = xml.get('log').get('logentry')
info_list = []
pathlist = []
sql_insert_list = []
sql_update_list = []
for j in xml:
data_dict = {}
# get path
paths = j.get('paths').get('path')
if isinstance(paths,list):
for path in paths:
action = path.get('@action')
pathtext = path.get('#text')
pathtext = action + ' ' + pathtext
pathlist.append(pathtext)
_filelist = u'\n'.join(pathlist)
_paths = u"Changed paths:\n {}".format(_filelist)
print _paths
else:
_filelist = paths.get('@action') + ' ' + paths.get('#text')
_paths = u"Changed paths:\n {}".format(_filelist)
print _paths
# get revision
vision = j.get('@vision')
# get auth
author = j.get('author')
#get date
date = j.get('date')
#get msg
msg = j.get('msg')
data_dict[headers[0]] = int(vision)
data_dict[headers[1]] = author
data_dict[headers[2]] = date
data_dict[headers[3]] = msg
data_dict[headers[4]] = _paths
info_list.append(data_dict)
_svnlog = SVNLog.objects.filter().order_by('-vision').first()
_last_version = _svnlog.vision if _svnlog else 0
for value in info_list:
vision = value['r']
author = value['a']
date = value['d']
msg = value['m']
paths = value['p']
print vision,author
_svnlog = YDSVNLog.objects.filter().order_by('-revision').first()
_last_version = _svnlog.revision if _svnlog else 0
if vision > _last_version:
sql_insert_list.append(SVNLog(revision=revision, author=author, date=date, msg = msg, paths = paths))
else:
sql_update_list.append(SVNLog(revision=revision, author=author, date=date, msg = msg, paths = paths))
SVNLog.objects.bulk_create(sql_insert_list)
SVNLog.objects.bulk_create(sql_update_list) Das Kompliziertere in dieser XML ist der Pfad in Pfaden, da diese XML zwei enthält Elemente, und der Pfad des ersten Elements enthält nur einen Pfad. Die Pfade im zweiten Element enthalten drei Pfade, daher müssen wir beim Parsen und Erhalten
paths = j.get('paths').get('path') if isinstance(paths,list): pass
Wir beurteilen diesen Pfad. Handelt es sich um einen Listentyp? Wenn nicht, verarbeiten wir ihn auf eine einzige Weise. Nachdem wir ihn erhalten haben, verarbeiten wir ihn entsprechend in das Ausgabeergebnisformat konvertieren und dann andere Inhalte abrufen
revision = j.get('@vision') # get auth author = j.get('author') #get date date = j.get('date') #get msg msg = j.get('msg')
Schließlich werden wir die erhaltenen Elemente im Wörterbuch speichern
Beurteilen Sie die aktuelle Versionsnummer und die Versionsnummer in der Datenbank in der Schleife,Wenn sie verglichen wird Das Original ist klein, dann führen wir den Aktualisierungsvorgang durch und umgekehrt
Schließlich wird bulk_create zum Betreiben der Datenbank verwendet, was vermeidet die Verschwendung von Ressourcen, die jedes Mal in der Schleife durch Datenbankoperationen verursacht wird
![[Web-Frontend] Node.js-Schnellstart](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
