Asakusa on M3BP

並列分散処理の課題

M3BP
活用の用途と目的

Asakusa Frameworkは、これまでに、メインフレームやホスト、データベースで行われていた長時間をかけて行われていたバッチ処理(データ処理)を高速化するために、HadoopやSparkを実行環境として実現をしてきました。

 

  • 業務バッチ処理での利用
    • 夜間や数日をかけて行われる、会計・物流・製造等の業務の締め処理・原価計算等のバッチ・一括でのコード変換といった業務バッチ処理を高速化する
  • 分析データ加工での利用
    • 分析システムでデータベースに入るデータを、一定程度までデータを処理してからデータベースに投入し、データ分析時の加工処理時間を極限までおさえて、閲覧を高速化する
  • シミュレーションデータの作成
    • 意思決定を行うために、複数のパターンがあるケース(売上の数字・仕入品の価格の変動、など)で、全てのパターンを一度に計算を行う
高速化を阻む障壁

Asakusa Frameworkは、実行環境をMapReduceとSparkを選択して利用することができます。MapReduceはTBやPBに相当するデータ量を、Sparkは数百GBからTBに相当するデータを対象に高速化を可能にしました。

しかし、基幹システム等からの業務データは、数GBから数十GBのデータ容量が中心となっており、MapReduceやSparkでは処理のオーバーヘッドが大きくなるため、高速化に限界がありました。また、導入コストと運用の難易度の高さから、複数ノードで並列分散処理環境の構築を行うことが導入の障壁となっていました。

新たな実行環境

小規模〜中規模のデータ(数GBから数十GB)のデータも含めてより高速化を行うために、フィックスターズ社と共同で並列分散処理の新たな実行環境としてM3 for BPを開発しました。

M3 for BPは、単ノードのコアで並列処理を行う実行環境です。Sparkをノード5台で稼働させたパフォーマンスと比較して、処理速度は2倍・ノード数は1/5で費用対効果で10倍の性能を発揮します。課題となっていた、小規模〜中規模のデータをより高速化し、複数ノードの導入による障壁を解決することができました。

性能比較

Asakusa on M3BP

M3 for BPのアプリケーションの開発はAsakusa Frameworkで行います。Asakusa on M3BPとして、OSSで公開をしています。

Asakusa on M3BPで開発したアプリケーションは、実行環境をMapReduceやSparkを選択した場合でも、コンパイルしなおすだけで利用可能です。データ容量の拡大にあわせて最適な実行環境を選択し、データ処理の高速化を行うことを実現しています。その逆に、Asakusa Frameworkでこれまで開発したアプリケーションを、コンパイルしなおすだけでM3 for BPでも実行することも可能です。

構成イメージ

詳細な技術情報はホワイトペーパーをご覧ください。→ホワイトペーパーはこちらから

Asakusa on M3BP(Asakusa FrameworkのM3 for BPへの対応版)も公開されています。

Asakusa on M3BPの技術情報

M3 for BPはオープンソースとして公開されています。→M3 for BPのGitHub

提供するサービス

ノーチラス・テクノロジーズでは、Asakusa Frameworkと同様に、Asakusa on M3BPを利用するためのサポートを提供します。

提供サービス 概要
Asakusa on M3BPサブスクリプションサポート
  • Asakusa on M3BPを有償サブスクリプションとして提供し、問合せ対応やV-up版の提供を行います。
Proof of concept
  • システム導入を行う前に、 実現性の可否を確かめるための検証を行います。
プロフェッショナルサービス
  • Asakusa Frameworkでの導入を前提に、要件定義やAsakusa DSLでの設計の支援を行います。
  • Asakusa Frameworkでのアプリケーション開発をお客様で実施される場合に、問合せ対応、レビュー等の技術支援を行います。
プロフェッショナルサポート
  • お客様アプリケーションの性能改善に対する技術支援を行います。(プロファイル取得、性能改善アドバイス、アプリケーション修正など)
お問い合わせはこちら