Fluentd

#Fluentd トラブル相談 2 - Fluentdの再起動時にEADDRINUSEが発生する

第2回目のFluentdトラブル相談で取り上げるのは、Fluentdでサービスのログを転送する際に発生したトラブルです。

ご相談内容

Fluentdを使って、自社サービスのログを中央のサーバーに収集しています。

困っていることとして、ログ収集サーバーのFluentdを再起動すると、EADDRINUSEというエラーが発生することがあります。 発生頻度は時々で、必ず発生するわけでもありません。また、Fluentdを一旦すべて終了してから再起動すると復旧します。

毎日の運用上、非常に煩わしいので、このエラーがどうして起きているのか調査いただけないでしょうか。

もっと読む

Fluentdのプラグインのメモリリークの特定を支援するプラグインを使う方法

クリアコードではFluentdのサポートサービスを提供しています。

今回は、プラグインのメモリリークの特定を支援するプラグインを開発したので、 どんなことができるのか、またどのように使ったら良いのかを説明します。

もっと読む

#Fluentd トラブル相談 1 - Fluentdが数時間後にENOENTを出力する

クリアコードではFluentdのサポートを受け付けています。 サポートの内容としては、Fluentdのバージョンアップのアドバイスから、 トラブル発生時の原因調査まで様々です。 この新しい連載「Fluentdトラブル相談」では、日々のサポート業務の中から いくつか事例を取り上げて紹介していきます。

今回の記事で取り上げるのは、障害対応からの一事例です。

ご相談内容

サーバーからログを転送するのにFluentdを利用しています。 最近、Fluentdを起動してから数時間すると、突然ENOENTエラーが発生するようになりました。 必ず起きるわけではなく、再現条件もよくわからないので困っています。

この原因と解決方法を調査いただけないでしょうか。

もっと読む

TD Agent v4.2.0をリリース

TD Agent v4.2.0をリリースしました。

クリアコードはFluentdの開発に参加しています。 TD Agent v4.2.0のリリースはクリアコードがメンテナンス作業の一環として行いました。

今回は、v4.2.0の変更点をFluentd BlogのTD Agent v4.2.0 has been released記事をもとに紹介します。

なお変更点の詳細についてはv4.2.0のCHANGELOGを参照してください。

もっと読む

Fluentd実行中にgemが期待通りに読み込まれているか確認する方法 - fluent-plugin-record-modifierで$LOADED_FEATURESを確認

Fluentdを各種プラグインと組み合わせて使う際、指定したgemが期待通りに読み込まれていないという事例に遭遇したことがありました。

今回は、そんなときのために、「Fluentd実行中にgemが期待通りに読み込まれているか確認する方法」を紹介します。

もっと読む

Fluentd v1.13.0をリリースしました

Fluentd v1.13.0をリリースしました。

これまで何度かブログにて言及していますが、クリアコードはFluentdの開発に参加しています。 Fluentd v1.12.1からは、リリースを含めたメンテナンス作業にも関わっています。

今回は、v1.13.0の変更点のうち、使い勝手に関係ありそうな変更をいくつか紹介します。

なお変更点の詳細についてはv1.13.0のCHANGELOGを参照してください。

もっと読む

Fluent Bit入門 - 軽量高速なログ収集ツール

Fluent Bit Logo1

Fluent Bitとは軽量高速なログ収集ツールです。ElasticsearchやApache Kafkaなどの様々なサービスにログデータを転送できます。

全体がCで実装されているのが特徴で、RubyベースのFluentdの兄弟プロジェクトという位置づけです。

この記事では、Fluent Bitに関する基本的な質問に答えて、具体的に使い始めるための最初のステップについて解説します。

  1. "Fluent Bit Logo" by The Fluent Bit Authors, used under Apache License v2.0.

もっと読む

FluentdでLinuxのcapabilityを処理するには

はじめに

クリアコードはFluentdの開発に参加しています。 Fluentdは主にLinux上やWindows Server上でのユーザーが多いです。 Fluentdの使われ方で特に多いのがLinuxで動いているサーバーのログの取得です。 筆者畑ケがFluentdでLinuxのcapabilityを扱えるようにした話をまとめてみます。 FluentdでLinuxのcapabilityを扱う機能はFluentd v1.12.0に入る予定です。

もっと読む

fluent-plugin-kinesisのIRSA対応をした話

はじめに

クリアコードはFluentdの開発に参加しています。 Fluentdのプラグインの中で、AWSのkinesisというサービスに対応するプラグイン(fluent-plugin-kinesis)があります。 このプラグインはEKS(AWSのマネージドk8sサービス)でのPod毎に認証トークンを紐づける仕組み(IRSA)に対応していませんでした。 fluent-plugin-kinesisでIRSAによってサービスへのアクセスをEKS上からできるようにした話を書きます。

もっと読む

libvirtを使ってppc64leの検証環境を立ち上げる話

はじめに

クリアコードはFluentdの開発に参加しています。 Fluentd本体といくつかのプラグインがセットになったtd-agentというパッケージが提供されていますが、 td-agentのversion 4からaarch64(arm64)やppc64le(PowerPC)といった非x86_64環境にもパッケージの提供を開始しました。

もっと読む