日本語 | English
ちょろっとログを扱うときによくやることの個人的まとめ。
マシンスペックに依存するけどだいたいこんな感じでやってます。
対応ツール
・ エクセル 5万行くらい
はいける
・ Sublime text 30万行くらい
はいける
・ それ以上はコンソールでいい感じに扱う。数千万行
でも戦える。
(故にコンソールでゴリゴリすれば済む)
よく使う中身ちょい見コマンド
# 先頭10行を見る $ head -n 10 hoge.log # piyoでgrepしながら tail する。 access_log とかでよくやる。 $ tail -f hoge.log | grep piyo
よく使う集計コマンド
# 複数ファイルをひとまとめに $ cat *.log >> aaa.log # 行数を確認 $ cat hoge.log | wc -l # barでgrep $ cat hoge.log | grep bar >> aaa.log # piyoを除外してgrep $ cat hoge.log | grep -v piyo >> aaa.log # aaaをbbbに置換 $ sed -e s/aaa/bbb/g >> aaa.log # 重複行を削除 $ awk '!a[$0]++' hoge.log >> aaa.log
こんな感じで軽い集計は乗り切れる。