Python は Nginx のアクセスログを分析し、MySQL データベースインスタンスに保存します-Python チュートリアル-php.cn

Python は Nginx のアクセスログを分析し、MySQL データベースインスタンスに保存します

WBOY

リリース： 2016-06-16 08:44:55

オリジナル

1287 人が閲覧しました

Python を使用して Nginx アクセスログを分析し、Nginx ログ形式に従って分割し、MySQL データベースに保存します。
1. Nginx アクセスログの形式は次のとおりです:

コードをコピーしますコードは次のとおりです:

$ Remote_addr - $remote_user [$ time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for"' #nginx のデフォルトのログ形式が使用されます
2. Nginx の内容アクセスログは次のとおりです:

コードをコピーコードは次のとおりです:

182.19.31.129 - - [2013-08] -13T00:00:01-07:00] "GET / css/anniversary.css HTTP/1.1" 304 0 "http://www.chlinux.net/" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/ 537.36 (KHTML、Gecko など) Chrome/28.0.1500.95 Safari/ 537.36" "-"
3. 以下は、Python で nginx ログを分析するための Python コードです:

コードをコピーしますコードは次のとおりです:

#!/usr/bin/env python
#coding:utf8
import os
import fileinput
import re
import sys
import MySQLdb
# ログの場所
logfile=open("access_20130812.log")
# nginx のデフォルトのログ形式が使用されます $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" " $http_x_forwarded_for "'
#ログ分析正規表現
#203.208.60.230
ipP = r"?P[d.]*"
#[] を除く、[] で始まる任意の文字角かっこで囲まれていない前後の [] 項目との一致 (非貪欲一致* も使用できます)。改行を除く任意の文字と一致します* このような繰り返しは「貪欲」であり、式エンジンはできるだけ多くの繰り返しを試みます。できるだけ何度でも。#以]结束
#[21/Jan/2011:15:04:41 +0800]
timeP = r"""?P\[[^\[\]]*\]"""
#以"开始, #除双引号以外的任意字符防止匹配上下个""项目(也可以使用非贪婪匹配*?),#以"结束
#"GET /EntpShop.do?method=view&shop_id=391796 HTTP/1.1"
#"GET /EntpShop.do?method=view&shop_id=391796 HTTP/1.1"
requestP = r"""?P\"[^\"]*\""""
statusP = r"?P\d+"
bodyBytesSentP = r"?P\d+"
#以"开始, 除双引号以外的任意字符防止匹配上下个""项目(也可以使用非贪婪匹配*?),#以"结束
#"http://test.myweb.com/myAction.do?method=view&mod_id=&id=1346"
referP = r"""?P\"[^\"]*\""""
#以"开始, 除双引号以外的任意字符防止匹配上下个""项目(也可以使用非贪婪匹配*?),以"结束
#"Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"'
userAgentP = r"""?P\"[^\"]*\""""
#以(开始, 除双引号以外的任意字符防止匹配上下个()项目(也可以使用非贪婪匹配*?),以"结束
#(compatible; Googlebot/2.1; +http://www.google.com/bot.html)"'
userSystems = re.compile(r'$[^\($]*\)')
#以"开始，除双引号以外的任意字符防止匹配上下个""项目(也可以使用非贪婪匹配*?),以"结束
userlius = re.compile(r'[^\)]*\"')
#原理：主要通过空格和-来区分各不同项目，各项目内部写各自的匹配表达式
nginxLogPattern = re.compile(r"(%s)\ -\ -\ (%s)\ (%s)\ (%s)\ (%s)\ (%s)\ (%s)" %(ipP, timeP, requestP, statusP, bodyBytesSentP, referP, userAgentP), re.VERBOSE)
#数据库连接信息
conn=MySQLdb.connect(host='192.168.1.22',user='test',passwd='pass',port=3306,db='python')
cur=conn.cursor()
sql = "INSERT INTO python.test VALUES(%s,%s,%s,%s,%s,%s,%s,%s,%s)"
while True:
    line = logfile.readline()
    if not line:break
    matchs = nginxLogPattern.match(line)
    if matchs != None:
        allGroup = matchs.groups()
        ip = allGroup[0]
        time = allGroup[1]
        request = allGroup[2]
        status = allGroup[3]
        bodyBytesSent = allGroup[4]
        refer = allGroup[5]
        userAgent = allGroup[6]
        Time = time.replace('T',' ')[1:-7]
        if len(userAgent) > 20:
            userinfo = userAgent.split(' ')
            userkel = userinfo[0]
            try:
                usersystem = userSystems.findall(userAgent)
                usersystem = usersystem[0]
                print usersystem
                userliu = userlius.findall(userAgent)
                value = [ip,Time,request,status,bodyBytesSent,refer,userkel,usersystem,userliu[1]]
                conn.commit()
                print value
            except IndexError:
                userinfo = userAgent
                value = [ip,Time,request,status,bodyBytesSent,refer,userinfo,"",""]
        else:
            useraa = userAgent
            value = [ip,Time,request,status,bodyBytesSent,refer,useraa,"",""]
    try:
        result = cur.execute(sql,value)
        #conn.commit()
        print result
    except MySQLdb.Error,e:
        print "Mysql Error %d: %s" % (e.args[0], e.args[1])
conn.commit()
conn.close()

4. データベースに保存されたデータは次のようになります: