Apache Arrow

PostgreSQL Conference Japan 2023 - Apache Arrow Flight SQLでPostgreSQLをもっと速く! #pgcon23j

なんともう2ヶ月前になってしまったのですが、PostgreSQL Conference Japan 2023Apache Arrow Flight SQLでPostgreSQLをもっと速く!という話をしてきた須藤です。

もっと読む

PyArrow 0.14.0から14.0.0にはデータ読み込み時に任意のコードを実行できる脆弱性があるから対応してね! CVE-2023-47248

Apache ArrowのPMCメンバーの須藤です。

2023-11-09にPyArrow 14.0.1がリリースされました。このバージョンでは「Apache Arrowファイル・Apache Parquetファイル読み込み時に任意のPythonコードを実行できる」という脆弱性を修正しています。信頼できないファイルを読み込むような使い方をしている人はすぐに対応してください。自分が作ったファイルを自分で読み込むというように信頼できるファイルのみを読み込んでいる場合はこの脆弱性は問題になりません。

なお、この脆弱性はPyArrowのみで発生し、Apache ArrowのC++実装やRubyバインディングなど他の言語用のライブラリーでは発生しません。

もっと読む

Apache Arrow Flight SQL adapter for PostgreSQL 0.1.0リリース! #ApacheArrow #PostgreSQL

2023年9月14日時点でApache Arrowコミット数1位の須藤です。Apache Arrow本体の開発もがんばっているのですが、それとは別に、PostgreSQLにApache Arrow Flight SQLでアクセスできるようにするPostgreSQLの拡張機能も開発しています。昨日、その拡張機能Apache Arrow Flight SQL adapter for PostgreSQLの最初のバージョン0.1.0をリリースしたので自慢します。

このプロダクトはRubyKaigi 2023の発表の最後の方で少し自慢していたプロダクトです。

もっと読む

2022年のApache ArrowのPMC chairの成果

2022年のApache ArrowのPMC chairだった須藤です。役割を終え、PMC chairが変わったので私のPMC chairの成果をまとめます。

私がApache ArrowのPMC chairになった経緯やPMC chairってなに?そもそもPMCってなに?などは代表取締役の須藤がApache ArrowのPMC chairに就任を参照してください。

もっと読む

RubyKaigi 2022 after event for Fast data processing with Ruby and Apache Arrow #rubykaigi

この記事は9月22日にYouTube Liveで放送した RubyKaigi 2022 after event for Fast data processing with Ruby and Apache Arrow のまとめです。

Apache ArrowのPMC chairである須藤が話し手、たなべさんを聞き手として、Apache Arrowに関する質問に回答をするという趣向の放送でした。

もっと読む

RubyKaigi 2022 - Fast data processing with Ruby and Apache Arrow #rubykaigi

RubyKaigi 2022Fast data processing with Ruby and Apache ArrowというApache Arrowを使ってRubyで高速にデータ処理する話をした須藤です。

なお、クリアコードはシルバースポンサーとしてRubyKaigi 2022を応援しました。

もっと読む

Apache Arrowの最新情報(2022年5月版)

Apache ArrowPMC chair(プロジェクトリーダーみたいな感じ)の須藤です。2022年5月時点のApache Arrowの最新情報を日本語で紹介します。

もっと読む

代表取締役の須藤がApache ArrowのPMC chairに就任

Apache Arrowの開発に参加している代表取締役の須藤です。

もっと読む

db tech showcase 2021 - Apache Arrow Flight – ビッグデータ用高速データ転送フレームワーク #dbts2021

db tech showcase 2021の11月17日(明後日!) 15:30-16:15のセッションで「Apache Arrow Flight – ビッグデータ用高速データ転送フレームワーク」という話をする須藤です。まだ登録できるのでApache Arrow Flightに興味がある人はぜひこのセッションに参加してください!オンライン開催です!セッション中およびセッション後はチャットで私と質疑応答できます!

もっと読む

Apache Arrowデータのメディアタイプ(MIMEタイプ)

Apache Arrowに2番目に多くコミットしている須藤です。Apache Arrowはデータフォーマットも定義しているのですが、2021年6月24日に正式なメディアタイプ(MIMEタイプ)と拡張子が決まったので詳細をまとめます。

もっと読む