2021-03-19

fluentd 設定

single_value

fluent-plugin-file-alternative

https://github.com/tagomoris/fluent-plugin-file-alternative

td-agent 1.1.20 で out_file が format 指定可能になった
single_value
fluent-plugin-file-alternative の代わりに使えるようです。in_tail で format none として読みだしたデータを書き出すのに適しています。ログファイルの1行1行をそのまま集めたい場合ですね
  type tail
  path /path/to/log.%Y%m%d
  format none
  #message_key message
  tag test.access

  type file
  file /path/to/out_file
  format single_value
  #message_key message
key の名前はどちらもデフォルトが message で message_key パラメータで指定可能です。
fluentd / td-agent がいろいろ便利になってた | 1Q77

<filter foo.bar>
  @type record_transformer
  <record>
    message yay, ${record["message"]}
  </record>
</filter>
An input like
{"message":"hello world!"}

https://docs.fluentd.org/filter/record_transformer

Fluentdで集めたログを監視するときに気をつけたいFluentdの設定 | DevelopersIO

https://docs.fluentd.org/output/file

プレースホルダ

Fluentd v0.14 では fluent-plugin-forest が不要な話 - Usual Software Engineer

https://medium.com/@ch1aki/fluentd-v0-14-9-プレースホルダー-b0675ea8b7fe

バッファ

FluentdでバッファつきOutputPluginを使うときのデフォルト値 - たごもりすメモ

fluentdのbuffer周りで注意すべき点 - Qiita

Fluentd v0.14 で buffer chunk が flush されるまでの動きをまとめてみた - reboooot․net

2021-03-19

mysqldump 8 5.7 error

エラーメッセージ
mysqldump コマンドでMySQL上のデータのバックアップを取ろうとしたとき、下記のようなエラーが出た。
mysqldump: Couldn't execute 'SELECT COLUMN_NAME, JSON_EXTRACT(HISTOGRAM, '$."number-of-buckets-specified"') FROM information_schema.COLUMN_STATISTICS WHERE SCHEMA_NAME = '$db_name' AND TABLE_NAME = '$table_name';': Unknown table 'COLUMN_STATISTICS' in information_schema (1109)
原因
MySQL 8以降に付属するmysqldumpでそれ以前のMySQL 5.7とかのサーバに対してダンプを実行したらこの問題が起こるらしい。
https://blog.pinkumohikan.com/entry/mysqldump-disable-column-statistics

2021-03-19

fluent-bit

https://fluentbit.io
https://fluentbit.io/announcements/ Release Notes
https://github.com/fluent/fluent-bit

参考

fluentd or fluentd bits with Bigquery｜keke｜note

Fluent Bitを使って、DockerコンテナのログファイルをTailプラグインで読む - CLOVER🍀

Fluent Bitのご紹介 - クリアコード

Fluent Bitを試してみる。 - Qiita

ローカルで、fluentbitからdatadog/S3へデータを転送できるdockerイメージを作成する - Qiita

ビルド

http://www.campisano.org/wiki/en/Grafana#Setup_the_fluent-bit_agent

設定

レコードにホスト名を追加

[FILTER]
    Name record_modifier
    Match *
    Record hostname ${HOSTNAME}

https://docs.fluentbit.io/manual/pipeline/filters/record-modifier

fluentd


  @type record_transformer
  
    hostname ${hostname}

https://www.fluentd.org/guides/recipes/apache-add-hostname

2021-03-17

fluentd

参考

Fluentdの設定を考えるときはこんなかんじで考えると便利 - Qiita

fluentd の基礎知識 - あらびき日記

in_tail fluentdのin_tailプラグインの動作について理解する | デバッグライフ

out_file fluentdのout_fileプラグインの仕様について - hack in 3 minutes

やりたいこと
簡単にいうと syslog-ng の代わりに使いたい。つまり
アプリサーバのログを転送して、そのままログ保存サーバのファイルシステム(実際はNFSかもしれないし、そうじゃないかもしれない)に保存したい
ログ保存サーバが１台だと不安なので、レプリケーションしておくりたい
Fluentdでログ収集〜 Haikanko OSS化への道(6) - sonots:blog

fluentd(td-agent) の導入 | Raccoon Tech Blog [株式会社ラクーンホールディングス技術戦略部ブログ]

[Fluentd]各サーバログをLogサーバへ収集して定期的にS3に飛ばす – ADACHIN SERVER LABO

大規模システムにおける5つのログ転送パターン - New Relic公式ブログ

fluentd freebsd

https://kaworu.jpn.org/freebsd/fluentd

2021-03-17

正規表現グループコロン

(?:～) パターンのグループ
例）A(?:AB|CD) → AAB、ACDにマッチ
正規表現サンプル集

The better solution:
location ~ ^/phpmyadmin(?:/(.*))?$ {
    alias /home/phpmyadmin/$1;
}
Ensure that server has permissions to /home/phpmyadmin first.
It's all about regular expressions.
First of all, the ^ char means that you want to match from beginning of string and not somewhere in the middle. The $ at the end means matching to the end of the string.
The (?:) means non-capturing group - we don't want it in the capturing results, but we want to simple group some chars. We group it like this, because we want the / char to be a nonsignificant part of the child path, and not a significant part of the parent path.
How can I create a location in nginx that works with AND without a trailing slash? - Server Fault

https://regexr.com/

2021-03-11

mod_dosdetector

https://github.com/stanaka/mod_dosdetector
2013

IPv6のアドレスが不正なアドレスと判定されてしまう · Issue #3 · stanaka/mod_dosdetector · GitHub
IPv6 アドレス扱えない

https://gist.github.com/cvsync/f1d4affa9a5e8f08829d

参考
Apache 2.4 の DoS攻撃対策 mod_dosdetector 設定メモ | あぱーブログ
 https://sys-guard.com/post-16877/

raccoonパッチ https://techblog.raccoon.ne.jp/wp-content/uploads/2018/04/mod_dosdetector.patch

＜DoSIgnoreIpRange＞
＜IncludePath/ExcludePath＞
X-Forwarded-Forに複数IPを含む場合の処理を変更
DoSForwardedがOnでX-Forwarded-Forが存在しない場合の処理を変更
DoS攻撃からサーバーを守る、mod_dosdetector導入事例のご紹介 | Raccoon Tech Blog [株式会社ラクーンホールディングス技術戦略部ブログ]

Apacheのmod_dosdetectorでDoS対策～導入までの道のり ①選定｜ prophet STAFF BLOG

mod_dosdetector 0.2

古いバージョン

https://sourceforge.net/projects/moddosdetector/
2007

参考
簡単Dos攻撃対策 - Qiita

mod_dosdetector-fork

https://github.com/tkyk/mod_dosdetector-fork
2016

リバースプロキシ下で使用できるようになった
Apache 2.4に標準添付されているremoteipモジュールと組み合わせることで、直接IPがとれないバックエンドでも、正しく動作します。
mod_dosdetector-fork バージョン1.1.0（Apache 2.4対応版）をリリースしました - Qiita

remoteipとの組み合わせ

mod_dosdetector_syslog

https://github.com/gure-suzuki/mod_dosdetector_syslog

未検証

2021-03-11

nginx location

正規表現（"~", "~*"）の条件の評価を実施
正規表現の条件を設定ファイルに定義した順番に評価する。一致したら、そこで評価を終了して、そのlocationディレクティブを適応する。
nginx連載5回目: nginxの設定、その3 - locationディレクティブ - インフラエンジニアway - Powered by HEARTBEATS

nginx.conf の location の優先順位を正しく理解する - 無印吉澤