独立した IP スペースに変更して以来、Google によってインデックスが付けられている Web サイトがいくつかありますが、そのうちの 1 つが消えてしまいましたが、同じ IP を持つ他のいくつかの Web サイトはまだインデックスに登録されています。サイトのログを確認したところ、次のような Google クローラーに関するいくつかの記録がありました:
[30/Apr/2013:11:10:42 +0800] "GET /robots.txt HTTP/1.0" 404 208 "-" " Mozilla/5.0 (互換性; Googlebot/2.1; +http://www.google.com/bot.html)" 203.208.60.116
[30/Apr/2013:11:10:42 +0800] "GET / HTTP/ 1.0" 200 51140 "-" "SAMSUNG-SGH-E250/1.0 プロファイル/MIDP-2.0 構成/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (互換性; Googlebot-Mobile/2.1) ; +http://www.google.com/bot.html)" 188.40.120.19
[30/Apr/2013:11:45:36 +0800] "GET / HTTP/1.0" 200 51140 "-" "ドコモ/2.0 N905i(c100;TB;W24H16) (互換性; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)" 123.125.71.57
[01/May/2013:14:03] :10 +0800] "GET / HTTP/1.0" 200 51140 "-" "Mozilla/5.0 (Windows NT 6.1; rv:6.0) Gecko/20110814 Firefox/6.0 Google (+https://developers.google.com/+ /web/snippet/)" 66.249.84.57
[01/May/2013:14:03:11 +0800] "GET /favicon.ico HTTP/1.0" 404 209 "-" "Mozilla/5.0 (Windows NT 6.1; rv:6.0) Gecko/20110814 Firefox/6.0 Google (+https://developers.google.com/+/web/snippet/)" 118.183.211.245
[01/May/2013:15:48:35 +0800] "GET /robots.txt HTTP/1.0" 404 208 "-" "Mozilla/5.0 (互換性; Googlebot/2.1; +http://www.google.com/bot.html)" 203.208.60.117
[01/May /2013:15:48:36 +0800] "GET / HTTP/1.0" 200 51140 "-" "Mozilla/5.0 (互換性; Googlebot/2.1; +http://www.google.com/bot.html)" 61.135.190.103
同僚の皆さん、上記の頻繁に表示される 200 51140 は何を意味しますか? 含まれていない理由はありますか? クリックして取り外してください。
また、Google クローラーのレスポンスコードとは何ですか?
robots.txt を作成してルートディレクトリに置きます
具体的な形式は勉強していませんが、多くの SEO 記事にそれが記載されています これについて言えば、見つけるのは難しくありません
200 は http ステータス コードで、通常の戻りを示します
51140 は明確ではありません。独自のサーバー ログの形式の説明を参照してください (バイト数?)