ストリーム処理モジュール

CEP(Complex Event Processing)技術を中心としたストリーム処理モジュールでは、ストリームデータの個別のデータに対しフィルタをかけたり、属性情報付加を行うことが可能な上、一連のデータに対して算術演算を実行したりすることが可能です。

cep

データ収集モジュール、データ出力モジュールとはPub/Sub型のイベントキューであるフィードを介してデータを送受信します。
Live Collectionは、計算結果を保持するメモリ上の領域で、これを介してVitria OIのダッシュボードなどにデータを送信します。


機能説明

ストリーム処理モジュールでは、CEPの基本的な機能のほかにストリーム処理に適した機能が追加されています。ここでは、そんな他製品にはない機能を中心に説明をします。

Named Window

DBやファイルのスタティックデータを、Named Windowというメモリ上のスタティックなウィンドウに展開し、フィルタや属性情報付加(Enrichment)を行うために利用します。

下図は、Named Windowを使用して属性情報付加を行っている様子を示しています。顧客ID、購入商品名などを含むイベントに、外部システムに保存されている顧客情報から取得した顧客属性を付加している例です。Named Windowは、メモリ上の領域で、外部のDBやファイルなどに保存されたスタティック情報が取り込まれます。外部データの変更に応じてNamed Windowの内容を更新することも可能です。クエリはイベントとNamed Windowの共通のキー(ここでは顧客ID)を用いてデータの結合(Join)を行います。

named-window

さらに、Named Windowを使用したステートマシーン実装により、重複イベントの削除、指数移動平均の計算などが可能です。

外部サービス呼び出し

ストリーム処理モジュールからサードパーティーのサービスを呼び出すことが可能です。この機能により、例えば、別製品の形態素解析サービスを呼び出し、日本語文のデータを分かち書きした状態で保存することもできます。

パターンマッチ

Vitria OIのストリーム処理モジュールでは、数値属性に対する算術演算だけでなく文字属性に対する推移(パターン)を計算することもできます。例えば、ウェブページのアクセス履歴(ページA → ページB → ページC)といったものを計算することができます。また、指定したパターンと同じパターンが発生したことを検知し、その場合のみデータを保存したり、加工したりといったアクションを実行することも可能になります。

GIS関数

地理情報システム(Geographic Information System, GIS)で使用される地理情報用関数が豊富に用意されています。例えば、2地点間の距離の計算や、ある地点が指定した複雑な形の領域内に含まれるかを計算する関数などが用意されています。

その他の組み込み関数

上記以外にも正規表現を使用した演算や、標準的なものから線形回帰といった統計演算関数も用意されています。


開発環境

ストリーム処理モジュールの開発環境は、モデル駆動型(Model Driven)ツールであり、実装者はビジネスロジックにのみ集中できます。また、実装、テスト、デバッグは全てブラウザ上で実行されるため、開発環境の準備に時間がかかりません。

editor

debug