ログを扱う時のルーティン的コマンド

日本語 | English

ちょろっとログを扱うときによくやることの個人的まとめ。
マシンスペックに依存するけどだいたいこんな感じでやってます。

対応ツール

・ エクセル　5万行くらいはいける
・ Sublime text 30万行くらいはいける
・ それ以上はコンソールでいい感じに扱う。数千万行でも戦える。

（故にコンソールでゴリゴリすれば済む）

よく使う中身ちょい見コマンド

# 先頭10行を見る
$ head -n 10 hoge.log

# piyoでgrepしながら tail する。 access_log とかでよくやる。
$ tail -f hoge.log | grep piyo

よく使う集計コマンド

# 複数ファイルをひとまとめに
$ cat *.log >> aaa.log

# 行数を確認
$ cat hoge.log | wc -l

# barでgrep
$ cat hoge.log | grep bar >> aaa.log

# piyoを除外してgrep
$ cat hoge.log | grep -v piyo >> aaa.log

# aaaをbbbに置換
$ sed -e s/aaa/bbb/g >> aaa.log

# 重複行を削除
$ awk '!a[$0]++' hoge.log >> aaa.log

こんな感じで軽い集計は乗り切れる。