コミュニティ 学ぶ ツールライブラリ レジャー
検索
日本語
ホームページ > バックエンド開発 > Python チュートリアル > Python+pandasでnginxのログを解析する例

Python+pandasでnginxのログを解析する例

不言
リリース： 2018-04-28 15:37:26
オリジナル
2245 人が閲覧しました

以下は Python+pandas を使用して nginx のログを分析する例です。非常に参考になるので、皆さんのお役に立てれば幸いです。一緒に見てみましょう

要件

nginxのアクセスログを分析することで、各インターフェイスの応答時間の最大、最小、平均、アクセス時間を取得できます。

実装原則

nginx ログの uriuriupstream_response_time フィールドを pandas データフレームに保存し、グループ化関数とデータ統計関数を通じて実装します。

実装

1. 準備


#创建日志目录，用于存放日志
mkdir /home/test/python/log/log
#创建文件，用于存放从nginx日志中提取的$uri $upstream_response_time字段
touch /home/test/python/log/log.txt
#安装相关模块
conda create -n science numpy scipy matplotlib pandas
#安装生成execl表格的相关模块
pip install xlwt
ログイン後にコピー


2. コードの実装


rree


3. 印刷されたフォームは次のとおりです:

ポイント

1. ログ ファイルが比較的大きい場合は、readlines() または readline() を使用しないでください。これは、すべてのログをメモリに読み込んでメモリがいっぱいになるためです。したがって、ここでは基本的にメモリを占有しない for line in fo 反復メソッドが使用されます。

2. nginx のログを読み取るには、pd.read_table(log_file, sep=' ', iterator=True) を使用できますが、ここで設定した sep は通常分割と一致しないため、最初に nginx を分割してから保存します。パンダ。

3. Pandas は、大きなファイルをチャンクで読み取り、異なるチャンク サイズを使用して読み取り、DataFrame に接続するために pandas.concat を呼び出すための IO ツールを提供します

関連する推奨事項: MySQL データを読み取り、挿入するための


python3 pandas



以上がPython+pandasでnginxのログを解析する例の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

関連ラベル：
nginx ログ
ソース：php.cn
前の記事：ソケットの so_reuseport と so_reuseaddr の違いについて詳しく説明します 次の記事：Python に基づいてマルチプロセス共有変数を開く正しい方法
このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。
著者別の最新記事
最新の問題
function_exists() はカスタム関数を決定できません Function test () {return true;} if (function_exists ('test')) {echo "テストは関数です";
から 2024-04-29 11:01:01
0
3
2235
Google Chromeのモバイル版を表示する方法 こんにちは、先生、Google Chrome をモバイル版に変更するにはどうすればよいですか?
から 2024-04-23 00:22:19
0
11
2377
子ウィンドウは親ウィンドウを操作しますが、出力は応答しません。 最初の 2 つの文は実行可能ですが、最後の文は実装できません。
から 2024-04-19 15:37:47
0
1
1986
親ウィンドウには出力がありません document.onclick = function(){ window.opener.document.write('私は子ウィンドウの出力です');
から 2024-04-18 23:52:34
0
1
1873
CSS マインド マッピングに関するコースウェアはどこにありますか? コースウェア
から 2024-04-16 10:10:18
0
0
1943
関連トピック
詳細>
人気のおすすめ
人気のチュートリアル
詳細>
関連するチュートリアル
人気のおすすめ
最新のコース
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート