分散バッチアプリケーション開発入門　コース詳細

第1章
Asakusa Framework　 概要

基幹バッチ処理の特徴
Asakusa Framework 概要
Asakusa Framework の特徴
Hadoop の概要
HDFS
YARN
Apache Spark
M³BP
Asakusa Framework のコンポーネント
Asakusa DSL
Asakusa DSL のコンパイルと実行環境の関係
Asakusa DMDL
アプリケーションテスト
外部システム連携
バッチ実行ツール

第2章
Asakusa Framework 　開発環境の準備

Asakusa Framework の開発環境
Asakusa Framework インストール手順
Jinrikisha を使用したインストール
Asakusa Framework 開発環境ディレクトリ構成
Asakusa Framework 開発手順
Shafu (Asakusa Framework Eclipse プラグイン)
Asakusa Framework プロジェクトの準備
バッチアプリケーションの作成
バッチアプリケーションのビルド
デプロイ (配備)
処理データの配置
バッチアプリケーションの実行 (YAESS)
補足 : データフローの可視化

第3章
Asakusa Data Model (DMDL)

バッチアプリケーション開発の流れ
DMDL の概要
DMDLスクリプトの作成
データモデルの種類
レコードモデル
結合モデル
集計モデル
CSV ファイルに対する入出力 (Direct I/O)
DMDL のコンパイル
Java クラスの対応付け
補足：データモデルの属性

第4章
Asakusa DSL

Asakusa DSL とデータフロー
Asakusa DSL の構成
Asakusa DSL の実行
Operator DSL
演算子の分類
演算子の用途と使用例
演算子の実装
フレームワークAPI
演算子のコンパイル
Flow DSL
JobFlow
インポータ記述
エクスポータ記述
フロー記述
FlowPart
BatchDSL
バッチ記述
バッチコンパイル
バッチコンパイルの生成物

第5章
アプリケーションテスト

Asakusa DSLのテスト
演算子のテスト
データフローのテスト
テストデータ作成
TestDriver API
ジョブフローのテスト
テストデータの配置と実行
アプリケーションのデバッグ
テスト実行結果の分析
デバッグ実行

第6章
Asakusa Framework 　ハンズオン演習

バッチアプリケーションの概要説明
バッチアプリケーションの仕様説明
データモデルの作成
演算子の作成
ジョブフローの作成
バッチの作成
コンパイルと実行

補足

Gradle の使用方法と利用例