Fluentd

Fluentd: in_tailプラグインの基本的な使い方をメンテナーが解説

こんにちは。Fluentdのメンテナーの福田です。

Fluentdは、様々なデータソースからデータを収集し、様々な出力先へ転送することができる便利なフリーソフトウェアです!

Fluentdでは、プラグインを組み合わせることで様々な用途を実現できます。 その中でも、ファイルからログを収集したい場合にはin_tailプラグインがよく使われます。

しかし、ファイルと一言で言っても、その更新のされ方やログローテートのされ方は様々です。 加えて、in_tailプラグインにはとても多くの設定項目があります。

本記事では、

  • まずはこれを把握すれば、大体のケースでin_tailプラグインを問題なく使える!

という点をFluentdメンテナー視点でいくつか解説します。

Fluentdを使ってみたいけど設定がよく分からず使えていない、とか、使っているけど設定にあまり自信がない、という方は、ぜひご覧ください。

もっと読む

Fluentd Update - Fluentdとパッケージの最新動向についてOSC 2024 Online/Springで発表しました

林です。

2024年3月1日・2日に開催されたOpen Source Conference 2024 Online/Springにおいて、「Fluentd Update - Fluentdとパッケージの最新動向について」と題した発表を林・福田の両名で行いました。 1日目のC会場にて実施した発表内容を紹介します。

もっと読む

fluent-package不具合情報 - Windows版で環境によってはFluentdワーカープロセスの起動ができないことがある

クリアコードはFluentdを利用する法人様に向けてFluentdのサポートサービスを提供しています。そのサービス内容の一つとして、Fluentdで何らかの不具合があってお客様に重大な影響が懸念される場合に、(契約形態にも依りますが)プッシュ型で情報をお知らせするサービスも提供しています。

今回、fluent-packageやtd-agentが環境によってはワーカープロセスを起動できない問題があることが発覚しましたので、その情報をククログでも紹介します。

もっと読む

Fluentdを動かしてみよう!

こんにちは。Fluentdのメンテナーの福田です。

Fluentdは、様々なデータソースからデータを読み込み、様々な出力先へ転送することができる便利なフリーソフトウェアです!

今回は、Fluentdに興味がある、触ってみたい、という方向けに、Fluentdを手元で動かす方法を紹介します。 RPMパッケージ、DEBパッケージ、MSI(Microsoft Windows Installer)を使ってパッケージ(Fluent Package)をインストールする方法と、ソースコードから起動する方法の2種類を説明します。

ユーザーとして機能を確かめてみたい、という方や、Fluentdやそのプラグインの開発に興味がある、という方は、ぜひご覧ください。

もっと読む

fluent-package v5への更新【Fluentd.org記事翻訳】

今回の記事は、2023年7月に英語でリリースされたUpgrade to fluent-package v5 1の翻訳記事になります。

  • 2023年8月にリリースされたFluent Package及びFluent Package LTS(Long Term Support)の説明
  • 更新の手順
が含まれています
  1. Written with Apache Licence 2.0 http://www.apache.org/licenses/LICENSE-2.0. Copy rights 2023 Fluentd project. 内容を日本語に翻訳。

もっと読む

利用しているgemと互換性のあるRubyのバージョンを調べる方法

はじめに

パッケージにRubyおよび必要なgemがバンドルされている場合、メジャーアップグレードにともない、バンドルされているRubyの処理系のバージョンも更新されていることがあります。

パッケージにバンドルされているgemのみ使用している場合には問題になりませんが、追加で必要なgemをインストールしている場合には、採用しているgemが新しいパッケージにバンドルされている処理系で動作するのかを知りたいことがあります。

今回は利用しているgemと互換性のあるRubyのバージョンを事前に調べる方法を紹介します。

もっと読む

Fluent Package v5.0.2リリース - in_tailプラグインの重大な不具合の修正

こんにちは。Fluentdのメンテナーの福田です。

2023年11月29日に Fluent Package の最新版となる v5.0.2 をリリースしました。

Fluent Package とは、コミュニティーが提供している Fluentd のパッケージです。 2023年7月28日に、それまでコミュニティーが提供していたパッケージである td-agent v4 の後継として、 Fluent Package v5.0.0 をリリースしました。 今回のリリースは、そのパッチバージョンリリースになります。

この記事では、 Fluent Package について基本的なことを紹介しつつ、 Fluentd の最新動向をメンテナーの観点から説明します。 特に、このリリースでは、in_tailプラグインがエラーなく収集を停止してしまう、という重大な不具合を修正しています。 この不具合の性質と対策について重点的に解説します。

もっと読む

#OSSummit Open Source Summit Japan 2023にてFluent Package LTSについて発表しました

2023年12月5日、Open Source Summit Japan 2023において、「New Chapter of Fluentd, Rebranding and New Release Cycle (LTS)」と題して Fluentdの長期サポートを提供するためのパッケージに関する発表を行いました。 当日の発表内容を改めて紹介します。

もっと読む

Fluentd v1.16.0 と v1.16.1 をリリースしました!

こんにちは。最近Fluentdのメンテナーになった福田です。

2023年4月17日にFluentdの最新版となる v1.16.1 をリリースしました。 2023年3月29日にリリースした v1.16.0 と合わせて、その内容をメンテナーの観点から解説します。

なお v1.16.0 では設定次第でFluentdが起動に失敗するという問題があるので、 v1.16.1 をご利用ください。

もっと読む

Fluentd v1.15.2 と v1.15.3 のリリースについて

クリアコードはFluentdの開発に参加し、リリースを含めたメンテナンス作業を行っています。

2022年11月02日に、Fluentdの最新版となるv1.15.3をリリースしました。 2022年8月22日にリリースしたv1.15.2と合わせて、その主な修正内容をご紹介します。

もっと読む