Apache Arrowコンサルティングサポートを開始

大規模データの交換を効率化するApache Arrowの活用を支援

株式会社クリアコード（本社：東京都豊島区、代表取締役：須藤 功平）は、2020年7月24日にVersion1.0.0がリリースされたApache Arrowによる大規模データの交換を効率化など、お客様のApache Arrow活用を支援するコンサルティングサポートサービスを開始します。

【Apache Arrowのご紹介】 https://www.clear-code.com/services/apache-arrow.html

Apache Arrowとは

大容量のストレージ・大量のコンピューターリソースを活用することが可能になった現在では、従来は現実的でなかった大量データを処理できるようになりました。現代のデータ処理システムは複数のデータ処理モジュールを連携して構築されており、データ量の多い環境においては各モジュール間での効率的なデータ交換が重要です。この効率的なデータ交換のために設計されたデータフォーマットが「Apache Arrow」です。たとえば、従来はCSVやJSONを使っていたところをApache Arrowを使うようにすればデータ交換処理に必要なコンピューターリソースは非常に小さくなり、本来のデータ処理にコンピューターリソースを投入できます。

また、Apache Arrowフォーマットによる高速化はApache Arrowが提供する機能の1つにすぎません。Apache Arrowはメモリー上でデータ処理するために必要な一連の機能を提供します。Apache Arrowフォーマットによるデータ交換の高速化以外にも次のような機能があります。

• CPU上でSIMD・JITコンパイルを使って高速にデータを処理する機能
• GPU上で高速にデータを処理する機能
• CSVやApache Parquetなど既存のデータフォーマットと相互変換する機能
• 高速なRPC機能

従来はこのような機能は各データ処理プロダクトで個別に実装されていましたが、Apache Arrowは各データ処理プロダクトで共有できる高速な実装を提供します。

Apache Arrowとクリアコードの関わり

クリアコードは2016年より継続的にApache Arrowの開発に参加しています。特に弊社代表の須藤 功平は2020年8月24日時点で2番目に多くコミットした開発者（下図の緑枠）です。

このような実績からクリアコードはApache Arrowについてコンサルティング・ソースコードレベルのサポートを提供します。

また、クリアコードではApache Arrowの最新状況をブログやイベントにて定期的に発信しています。

クリアコードについて

クリアコードは、2006年7月にフリーソフトウェア開発者を中心に設立したソフトウェア開発会社です。

クリアコードの目的は、単に会社を継続していくことではありません。フリーソフトウェアの開発で学んだことを継続的にビジネス分野に活用していくことで会社を継続し、それと同時に、ビジネスを継続することでフリーソフトウェアへ継続的にコミットメントしていくこと、この両立の実現が当社の目的です。この理念は、我々がフリーソフトウェアの開発で学んだことがベースとなっています。

全文検索エンジンGroongaやFluentdをはじめとしたフリーソフトウェア本体の開発、ソースコードレベルのサポート、機能拡張、導入支援を行っています。

当リリースに関するお問い合わせ先

株式会社クリアコード　担当：南
TEL：03-5927-9440
メール：info@clear-code.com

参考URL

【Apache Arrowプロジェクト】 https://arrow.apache.org/
【コーポレートサイト】 https://www.clear-code.com/
【本プレスリリース】 https://www.clear-code.com/press-releases/20200909-apache-arrow.html

Apache Arrow, the Apache Arrow project logo are either registered trademarks or trademarks of The Apache Software Foundation in the United States and other countries.（Apache Arrowの商標およびロゴはApache Software Foundationの商標です。）