プレスリリース

株式会社クリアコード > プレスリリース > 代表取締役 須藤功平が次世代データ処理基盤Apache ArrowのPMC chairに就任

代表取締役 須藤功平が次世代データ処理基盤Apache ArrowのPMC chairに就任

クリアコードは、Apache Arrowコンサルティングサポートを提供しています。

2022年3月3日

株式会社クリアコード

株式会社クリアコード(本社:埼玉県所沢市、代表取締役:須藤 功平)は、代表取締役 須藤功平が世界中から開発者が参加しているオープンソースソフトウェア「Apache Arrow」1のPMC(Project Management Committee・プロジェクト管理委員会)chairに就任したことをお知らせします。

Apache Arrowは、大規模データの交換処理を効率化するソフトウェアで次世代データ処理基盤として期待されています。Apache Arrowは10以上のプログラミング言語で利用できるため、異なるプログラミング言語で実装された各種データ処理プロダクトを効率よく連携できます。2016年から開発が進み、2020年7月の1.0.0リリースをきっかけに様々なプロジェクトで採用が進みました。2022年3月現在の最新バージョンは7.0.0です。

Apache Software Foundation2傘下であるApache Arrowプロジェクトは、活発で健全なプロジェクト開発のため、PMC(Project Management Committee・プロジェクト管理委員会)がプロジェクトを管理します。PMC chairはPMCの代表です。

プロフィール

須藤 功平

2022年3月時点でコミット数は3位。日本でApache Arrowを普及させるため、開発するだけでなく各所でApache Arrowについて紹介しています。

【Apache Arrow関連講演事例】

クリアコードのApache Arrowコンサルティングサポート

クリアコードでは、 Apache Arrowによる大規模データ交換の効率化を目指すお客様や、 Apache Arrowをどのように活用したらよいか相談に乗って欲しい、 Apache Arrowを使っていて解決したい点があるお客様に対して、コンサルティングサポートを提供しています。

開発当初からプロジェクトに関わっている須藤をはじめ、FluentdやGroongaといったデータを扱う様々なOSS開発・メンテナンスに関わっている経験豊かなエンジニアが、Apache Arrowの活用だけではなく、実際の運用におけるデータ処理に関する課題や期待をヒアリングしたうえで、データ処理ツールの開発などを含めたコンサルティングサポートを提供します。まずは、お気軽にお問合せください。

Apache Arrowの概要

大容量のストレージ・大量のコンピューターリソースを活用することが可能になった現在では、従来は現実的でなかった大量データを処理できるようになりました。現代のデータ処理システムは複数のデータ処理プロダクトを連携して構築されており、データ量の多い環境においては各モジュール間でのデータ交換を効率化することが必須です。この効率的なデータ交換のために設計されたデータフォーマットが「Apache Arrow」です。たとえば、従来はCSVやJSONを使っていたところをApache Arrowを使うようにすればデータ交換処理に必要なコンピューターリソースは非常に小さくなり、本来のデータ処理にコンピューターリソースを投入できます。

Apache Arrowでデータ交換を高速化

実は、Apache Arrowフォーマットによる高速化はApache Arrowが提供する機能の1つにすぎません。Apache Arrowはメモリー上でデータ処理するために必要な一連の機能を提供します。Apache Arrowフォーマットによるデータ交換の高速化以外にも次のような機能があります。

活用事例

Apache Spark™をはじめApache Arrowを利用して高速化したデータ処理プロダクトが増えています。Apache ArrowのPythonライブラリーであるpyarrowだけでも、2020年8月23日の1日のダウンロード数は約23万件です。

以下にApache Arrowの利用例を紹介します。

クリアコードについて

クリアコードは、 2006年7月にフリーソフトウェア開発者を中心に設立したソフトウェア開発会社です。クリアコードの目的は、単に会社を継続していくことではありません。フリーソフトウェアの開発で学んだことを継続的にビジネス分野に活用していくことで会社を継続し、それと同時に、ビジネスを継続することでフリーソフトウェアへ継続的にコミットメントしていくこと、この両立の実現が当社の目的です。この理念は、我々がフリーソフトウェアの開発で学んだことがベースとなっています。現在、Apache Arrow・Groonga・Fluentdといった様々なソフトウェアのコアメンテナが在籍しています。

参考URL

【コーポレートサイト】https://www.clear-code.com/

【本プレスリリース】https://www.clear-code.com/press-releases/20220303-apache-arrow-pmc-chair.html

【関連サービス】https://www.clear-code.com/services/apache-arrow.html

当リリースに関するお問合せ先

株式会社クリアコード

TEL:04-2907-4726

メール:info@clear-code.com

  1. Apache Arrow, the Apache Arrow project logo are either registered trademarks or trademarks of The Apache Software Foundation in the United States and other countries.(Apache Arrowの商標およびロゴはApache Software Foundationの商標です。) ↩

  2. Apache Software Foundationは、オープンソースソフトウェアプロジェクトを支援するアメリカ合衆国に登録されている非営利団体です。現在支援を行っている傘下のプロジェクトおよび個人の数は、350以上に上ります。傘下のプロジェクトに対して知的財産権利の守り方や財政支援に関するフレームワークを提供し、コミュニティの健全な運営及び、開発推進の支援を行っています。 ↩