地方エンジニアの学習日記

興味ある技術の雑なメモだったりを書いてくブログ。たまに日記とガジェット紹介。

Fluentd

【Fluentd】copyモジュール

fluentdで複数のシステムへログを転送したいときのTips。copyモジュールを使うという話。 docs.fluentd.org <source> type tail path /var/log/myapp/nginx/access.log ... tag myapp.nginx.access </source> # Output <match myapp.nginx.access> type norikra norikra xxx.xxx.xxx.xxx:xxxxx ... </match> <match myapp.nginx.access> typ</match>…

【Fluentd】rewrite_tag_filterで無限ループする設定

docs.fluentd.org var/log配下のtest.logをtailしてtagをtest.aとする。rewrite_tag_filterでtest.**が来たらtest.bへ書き換える。test.bをstdoutへ出力するみたいな設定を行いたいケース。 そのまま書くと以下のようになるかなと思って書いて実行するも上手…

【Fluentd】ログの配信先を複数に振り分ける

docs.fluentd.org output_copyは1つのログソースを複数のサービスへ送りたいみたいなケースで使えるプラグイン。matchで@type copyを指定したら処理をそれぞれ書くことで複数の送信先を指定することが可能となる。 <source> @type tail tag qiita.a path /var/log/ho</source>…

【Fluentd】プラグインを追加する

$ gem install fluent-plugin-s3 $ fluentd -c sample.conf 別のターミナルで以下のようにすると、 $ echo hello >> input.txt S3のバケットの中身を見ると、データが保存されているのが確認できます。chunk_limit_records 1なので、1ファイルに1レコードの…