Symfoware

Logstashのインストールと簡単な設定方法

webサーバーやバッチサーバー、色々なサーバーに個別にログファイルが出力されていて
チェックするだけでも大変なので、ログ収集ツールについて調べてみます。

Fluentd、Logstashあたりがが有名だと思いますが、今回はLogstashを試してみます。
Logstash

Debian 8へインストールしてみました。

インストール

ドキュメントを参考にLogstash 2.3をインストールします。
Installing Logstash


OpenJDK 7以上が必要なので、インストールします。



※OpenJDK 8を使用したい場合はこちら。
Debian 8(jessie)にOpenJDK 8をインストールする


1.7.0_111がインストールできました。



次にLogstash本体のインストールですが、aptでインストールすることにしました。

PGPキーを追加してリポジトリを追加。



ここでapt-get updateを実行するとこんなエラーが発生しました。



パッケージのURLにhttpsを使用する場合は、apt-transport-httpsが必要になるようです。
インストールしておきます。



改めて、apt-get updateとLogstashのインストールを行います。



これでLogstashのインストールは完了です。

ドキュメントにある手順で動作確認してみます。
/opt/logstashにインストールされるので、以下のコマンドでサーバーを起動



こんな感じで起動しました。





hello worldと入力すると、hello worldとログに出力されます。




Ctrl + Cでサーバーを終了しました。

設定ファイルの記載方法

aptでインストールした場合、起動用のスクリプトが配置されます。



内容を確認すると、設定ファイルは
/etc/logstash/conf.d/
に配置するのが作法でした。

先ほど手動で試したのと同じ内容の設定ファイルを記載してみます。

・/etc/logstash/conf.d/test.conf

input {
}
output {
}

設定ファイルのチェックはconfigtestで行えます。



最初の設定ファイルのサンプルとして、



ということをやってみます。

「指定のログファイルを監視」はinputのセクションに記載。
「行が追加されたら別のファイルに内容を出力する」はoutputのセクションに記載します。

・/etc/logstash/conf.d/test.conf

input {
    file {
        path => "/var/dev/logstash/log-input"
        start_position => beginning
    }
}
output {
    file {
        path => "/var/dev/logstash/log-output"
    }
}

監視対象のファイルを作成します。
出力先のフォルダにlogstashユーザーに対して書き込み権限がないとエラーになります。



サービスを起動



適当に監視対象のファイルに行を追加します。



すぐにはログファイルに出力されず、バッファリングされるようです。
結果を確認したい場合は、一旦サービスを停止すれば良さそうです。



/var/dev/logstash/log-outputにこんな感じでログが出力されました。
※実際は1行

{
    "message":"test",
    "@version":"1",
    "@timestamp":"2016-08-07T05:45:15.107Z",
    "path":"/var/dev/logstash/log-input",
    "host":"php5"
}

プラグインの追加

データの保存先はElasticsearchを指定するのが王道のようですが、
MariaDBに作成したテーブルに結果を追加する方法を調べてみます。

デフォルトoutputプラグインにはJDBCドライバを使用するものは含まれていないようです。
Output plugins


このプラグインを追加でインストールし、使ってみます。
logstash-output-jdbc

プラグインの追加については、こちらを参考にしました。
Working with plugins


先にログを保存するテーブルをMariaDBに作成しておきます。

CREATE table log (
    id int not null auto_increment primary key,
    host varchar(32) not null,
    timestamp datetime not null,
    message varchar(512) not null
);

続いてLogstashの設定です。プラグインの追加コマンドを実行



無事追加できました。

MariaDBのJDBCドライバをこちらからダウンロード。
※会員登録が必要です。
https://downloads.mariadb.org/connector-java/

mariadb-java-client-1.4.6.jarをダウンロードしました。
/opt/logstash/vendor/jar/jdbcというフォルダを作成し、そこに保存しておきます。




こちらを参考に設定ファイルを編集します。
Example: MariaDB

input {
    file {
        path => "/var/dev/logstash/log-input"
        start_position => beginning
    }
}
output {
    jdbc {
        connection_string => "jdbc:mariadb://localhost/sample?user=root&password=P@ssw0rd"
        statement => [ "INSERT INTO log (host, timestamp, message) VALUES(?, ?, ?)", "host", "@timestamp", "message" ]
    }
    
}

設定ファイルを変更したら、logstashを再起動



監視対象のファイルに1行追加します。



ちゃんとログテーブルにレコードが作成されました。

データベース停止時の挙動

データベースに接続できなかった時どうなるのか気になったので、試してみます。
一旦データベースを停止。




監視対象のファイルに行を追加します。




データベース起動




テーブルの内容を確認したところ、ちゃんとログが追記されていました。

関連記事

• Logstash json形式のログファイルを読み込む(codec)
• Logstash CodeIgniterで出力したログを収集する
• Logstashのインストールと簡単な設定方法
• Debian 8(jessie)にOpenJDK 8をインストールする
• GridDB 画像データのバイナリ(BLOB型)を保存する