4年ぶりにインターンシップを開始することを2月にお知らせしました。そこで予告していた通り、4月からインターンシップを実施します。インターンシップをどのように実施するかを3行で説明すると以下の通りです。

• 目的: インターンがクリアコードで実践している開発方法を体験する
• 内容: クリアコードのメンバーと一緒にフリーソフトウェアを開発する
• 対象: プログラミングが好きでフリーソフトウェアに関心がある16歳以上の方（学生、社会人、休職中などは問わない）

詳細はインターンシップページを確認してください。

現時点で紹介している一緒に開発するフリーソフトウェアは以下の通りです。

• Firefox for AndroidおよびFirefox用アドオン
• Mac OS X版GTK+用immodule（GtkIMCocoa）

1つめはJavaScriptやFirefoxに関連した開発になります。2つめはC、Objective-C、GTK+に関連した開発になります。

今回紹介するフリーソフトウェアはRubyやgroongaに関連した開発になります。

これまで紹介したフリーソフトウェアも含めて、ぜひクリアコードの開発方法を体験しながら開発したいと感じた方はインターンシップページにある方法で応募してください。

GaaS: Groonga as a Service

自分でセットアップしなくてもgroongaを使えたらステキではありませんか？groongaをサービスとして提供する、Groonga as a Service。略してGaaS（ガース）。そんなサービスを実現するためのフリーソフトウェアをインターンシップで開発します¹。

GaaSを使えば、Herokuアドオンとしてgroongaを提供することもできます。夢が広がりますね²。

GaaSの構想は数年前からありましたが、groonga本体の開発などに注力しており未着手です。しかし、GitHub上にリポジトリを作成済みだったり、どんな構成にするのがよいかをスケッチしたりと実現に向けた準備は進めています。

GaaSの機能

GaaSは以下の機能を提供します。

• APIでgroongaサーバーを追加・削除する機能
  • 負荷の増大・縮小に動的に対応できる
  • 追加時は既存のgroongaサーバーと同じデータを持つ
• 同じデータに対して、複数のgroongaサーバーで独立して検索サービスを提供する機能
  • 負荷の増大に対応できる
• 複数のgroongaサーバーがいるときの更新処理はすべてのgroongaサーバーで実行する機能
  • レプリケーション機能
• 認証機能
• groongaサーバー毎に使用可能なリソース量を制限する機能
• groongaサーバーで更新されたデータをリアルタイムでバックアップするAPI

一方、以下の機能は提供しません。

• 同じデータを複数のgroongaサーバーに分散して配置し、分散して1つのクエリを実行する機能
  • シャーディングはできない
  • 分散して検索した結果をマージできない
• データの永続性を保証する機能
  • groongaサーバーを落としたらそのgroongaサーバーが持っていたデータは消える

このことからGaaSは以下のようなケースで有用です。

• るりまサーチのようにドキュメントを全文検索するケース
  • マスターデータが別にあるのでデータの永続性がなくても困らない（作りなおせばよい）
  • 検索数が増えたらgroongaサーバーを追加すれば対応できる
• ブログの全文検索機能
  • マスターデータが別にあるのでデータの永続性がなくても困らない（作りなおせばよい）
  • 検索数が増えたらgroongaサーバーを追加すれば対応できる
• 中規模（数十万レコード）くらいまでのECサイト
  • groongaサーバーを追加して負荷を分散できる
  • groongaはすぐに更新結果を検索に反映できるので、品切れになった商品はすぐにヒットしなくなる
  • バックアップAPIで更新データのバックアップをとっておけば、groongaサーバーがすべて落ちても復旧可能
  • 複数のgroongaサーバーの管理を任せられる

シャーディング機能がないためレコード数（データ量）が多いケースには対応できませんが、レコード数がそれほど多くない場合は運用が楽になるため有用です。

GaaSの実現方法案

GaaSの以下のそれぞれの機能の実現方法案を説明します。まだ作っていないので、実際に作ったらここから大きく方向が変わる可能性があります。

• APIでgroongaサーバーを追加・削除する機能
• 同じデータに対して、複数のgroongaサーバーで独立して検索サービスを提供する機能
• 複数のgroongaサーバーがいるときの更新処理はすべてのgroongaサーバーで実行する機能
• 認証機能
• groongaサーバー毎に使用可能なリソース量を制限する機能
• groongaサーバーで更新されたデータをリアルタイムでバックアップするAPI

APIでgroongaサーバーを追加・削除する機能

まずは、APIでgroongaサーバーを追加・削除する機能の実現方法案を説明します。

簡単のために、groongaサーバーを追加したい時、空いているサーバーはすでにあるとします³。問題は初期データをどうするかです。初期データは指定したURLからHTTPでダウンロードすることにします。こうすることで、GaaS側では初期データを管理する必要がなくなります。また、追加するサーバーは常に最新の初期データを参照できるので、どのgroongaサーバーの初期化処理でも手順が同様になりgroongaサーバーの追加が簡単です。

起動時の流れは以下のようになります。

1. 初期データをHTTPでダウンロード

2. 初期データをgroongaに投入

3. groongaサーバー起動

4. サービス開始

groongaサーバーの削除は、groongaサーバーを終了して関連ファイルを削除するだけです。

APIは作ればよいだけなので省略します。

同じデータに対して、複数のgroongaサーバーで独立して検索サービスを提供する機能

検索サービスを複数のgroongaサーバーで分担して提供する機能の実現方法案を説明します。

groongaはHTTPサーバーとして検索APIを提供できます。そのため、すでにあるHTTP関連の技術を使うことができます。クライアントからのリクエストを複数のgroongaサーバーに振り分ける機能はリバースプロキシを使って実現できるでしょう。

複数のgroongaサーバーがいるときの更新処理はすべてのgroongaサーバーで実行する機能

レプリケーション機能の実現方法案について説明します。

fluent-plugin-groongaを使うことにより、1つのgroongaサーバーで実行した更新処理を他のサーバーでも実行することができます。これによりレプリケーション機能を実現できます。

残る問題は、クライアントからのリクエストが更新リクエストか検索リクエストかを判断する方法です。更新リクエストの場合はfluent-plugin-groongaで処理しなければいけませんが、検索リクエストの場合は別々のgroongaサーバーで処理したいです。これは、以下のような構成にすることで実現可能ではないかと考えています⁴。

まず検索時の構成案を示します。

検索時
                                    +--> fluentd -----> groonga
クライアント --> リバースプロキシ --+--> fluentd -----> groonga
                                    +--> fluentd -----> groonga

検索時は、fluentdは単にデータを中継します。

更新時は、fluentdが更新クエリを全てのgroongaに配布します。以下は、真ん中のfluentdに更新リクエストが飛んだ場合です。同様に、他のfluentdに更新リクエストが飛んだ場合もすべてのgroongaサーバーに変更が反映されます。

更新時
                                         fluentd   +--> groonga
クライアント --> リバースプロキシ -----> fluentd --+--> groonga
                                         fluentd   +--> groonga

認証機能

1つのGaaSシステムで複数のユーザーをホストするためには、他のユーザーのデータが読めないように認証機能が必要です。認証機能はHTTPの仕組みを使えばどうとでもなりそうです。

groongaサーバー毎に使用可能なリソース量を制限する機能

1つのGaaSシステムで複数のユーザーをホストした場合、1人のユーザーがリソースを使いすぎて他のユーザー用のサービスが提供できなくなることは問題です。そのため、groongaサーバー毎に使用可能なリソース量を制限し、制限を超えた場合は自動で再初期化したり、サービスを停止したりするような仕組みが必要です。GodやBluepillなどリソース監視も備えたプロセス監視システムはいくつかあるので、それらを使用すれば実現できるでしょう。あるいは、単に、ulimitとプロセス監視システムの組合せでもよいかもしれません。

groongaサーバーで更新されたデータをリアルタイムでバックアップするAPI

groongaサーバーで更新されたデータをリアルタイムでバックアップするAPIがあれば、初期データを随時更新して、groongaサーバーを追加した時に使う初期データを最新のデータにしておくことができます。

GaaSのレプリケーション機能はfluent-plugin-groongaで実現するので、fluentdのcopy outputプラグインとforward outputプラグイン機能を使ってこの機能を実現できます。

まとめ

groongaをサービスとして提供する仕組みGaaS（Groonga as a Service。ガース。）の構想とそれの実現方法案を紹介しました。

GaaSを一緒に開発しながらクリアコードの開発方法を体験したいという方はインターンシップページを確認の上、応募してください。

他のインターンシップ対象のフリーソフトウェアを再掲します。

• Firefox for AndroidおよびFirefox用アドオン
• Mac OS X版GTK+用immodule（GtkIMCocoa）

1. ここでは「GaaS」という単語をgroongaの機能を提供するサービスおよびそのサービスを実現するソフトウェアの両方を示すものとして使っています。サービスだけを提供するのではなく、サービスを提供するソフトウェアも提供することで、自分の環境にサービスを構築することもできるようにします。データを外部に出したくない場合でも使えるようになります。 ↩

2. groongaをHerokuアドオンとして提供することに（インターンシップとは関係なく）興味のある方はお問い合わせフォームからご連絡ください。一緒に実現させましょう。 ↩

3. Amazon EC2などを使えば追加したい時に動的にサーバーを追加することはできるので、このあたりはそんなに困らないはず。groongaサーバーを設定するためのChefのcookbookを作っていたりします。 ↩

4. 要検討 ↩