DCCS(Data Centric Cloud Service)のデータ連携・分析機能では、様々なデータを組み合わせて分析し、起こっている事象(イベント)を認識・発見・予測する機能を提供します。
本サイトは、情報資産「環境品質短期予測」を利用して、データを収集・学習・予測し、予測結果を色分けして地図上にオーバーレイ表示するサンプルアプリケーションとなります。
時間を伴う分析・予測結果では、時空間軸での変化を表示することもできます。
Playボタン()をクリックしてみてください。地図上の空間にオーバーレイ表示された予測結果の24時間分の変化が確認できます。

凡例
 
0~10
 
11~20
 
21~30
 
31~40
 
41~50
 
51~60
 
61~500

※本アプリケーションはDCCSのデータ連携・分析機能の利用イメージを提供するサンプルであり、ここで表示している予測結果の正確性を保証するものではありません。

サンプルアプリケーションについて

このサンプルアプリケーションは、データ連携・分析機能によりデータをアップロードし、学習、予測した結果をWebアプリケーションとして提供する例となります。
バックエンドサーバで動作するプログラムは、情報資産としてDCCS利用者に提供している「環境品質短期予測」のプログラムをカスタマイズして利用しています。
このバックエンドで処理(予測)した結果を、本サイトに埋め込まれたviewerで表示する仕組みとなっています。

図:システム概要
サンプルアプリケーションの構成要素について
モジュール 情報資産の利用 説明
データローダー DCCSのAPIを利用して、データをDCCSのデータベースにアップロードします。
学習処理プログラム DCCSのAPIを利用して、学習処理を行うプログラムです。
予測処理プログラム DCCSのAPIを利用して、予測処理を行うプログラムです。
Webサイト(このページ) Web地図サービスで広く利用されているJavascriptライブラリ:Leafletを利用して、DCCSのAPIで取得したリスクマップを地図上にオーバーレイ表示しています。
処理の流れ
  1. データローダーを用いて、学習に必要なデータをDCCSへアップロードします。
  2. 学習処理プログラムで、事前に学習用データを用いてモデルを学習します。
  3. データローダーを用いて、予測に必要なデータを収集し、DCCSへアップロードします。
  4. 予測処理プログラムで、1のモデルと2のデータを利用して予測します。また併せてリスクマップを生成します。
  5. 閲覧者がブラウザでこのページにアクセスすると、WebサーバはDCCSのAPI経由でリスクマップを取得し、画面に表示します。
  6. 3と4の処理は毎日定期的に実行し、最新データを用いて予測を実施しています。

DCCSを利用したアプリケーション開発について

DCCSのデータ連携・分析機能は、xDataプラットフォームの技術を利用しています。
上記に記載した「データローダー」や「学習処理プログラム」は、データ連携・分析機能として提供されているxDataプラットフォームのAPIを呼び出すプログラムとなっています。
API呼び出しのイメージとして、Pythonで作成したデータローダーのコード例を以下に示します。

# coding:utf-8  
import api_common  
import loader_api  
import requests

'''  
Load sample loader  
'''
def sample_loader():

    # Initial setting  
    ini_info = api_common.init_setting()

    # Register loader parameter setting  
    data_name = ini_info['WEB_API']['data_name']  
    options = ini_info['WEB_API']['options']

    # Collect data  
    # (loader specific data get)

    # 1 record  
    one_record_dic = {}
    one_record_dic['location'] = {}
    one_record_dic['start_datetime'] = '2019-09-13 00:00:00+09'  
    one_record_dic['end_datetime'] = '2019-09-13 00:30:00+09'  
    one_record_dic['city'] = 'tokyo'  
    one_record_dic['co2'] = '1.23'  
    one_record_dic['location']['type'] = "Point"
    one_record_dic['location']['coordinates'] = [139.6, 35.6]
    record_list.append(one_record_dic)

    # 2 record  
    one_record_dic['start_datetime'] = '2019-09-14 00:00:00+09'
    one_record_dic['end_datetime'] = '2019-09-14 00:30:00+09'
    one_record_dic['city'] = 'chiba'
    one_record_dic['co2'] = '2.34'
    one_record_dic['location']['type'] = "Point"
    one_record_dic['location']['coordinates'] = [139.6, 35.6]
    record_list.append(one_record_dic)

    # Initialize record  
    record_size = len(record_list)
    res_init_json = loader_api.init_record(data_name, record_size)

    # Add record  
    response_api = loader_api.add_record(record_list, res_init_json, data_name, options)

    return

'''  
main function  
'''  
if __name__ == '__main__':

    # Load sample_loader  
    sample_loader()

              

APIはJSON-RPC 2.0に準拠していますので、Pythonに限らず様々な言語で開発することが可能です。
APIについては、xDataプラットフォームの利用情報にて情報が提供されていますのでご参照ください。

情報資産には、このデータローダーや学習・予測処理のサンプルプログラムが含まれています。
情報資産をベースにまたは参考にしてAPIを呼び出すプログラムを作成し、ユーザーの環境(自身で管理するサーバや商用クラウド環境等)で実行させることで、本ページのようなアプリケーションを独自に開発することができます。

情報資産について

情報資産は、データ連携分析の予測モデルやデータセット、処理プログラムなどを応用分野ごとに整理しパッケージ化した、アプリケーション開発のためのサンプルです。
本サイトでは、様々な環境観測データを元に、それらの時空間的な相関パターンから短期的な大気質(AQI:Air Quality Index)ランクを学習・予測するサンプルアプリケーションである「環境品質短期予測」を利用しています。
なお、情報資産「環境品質短期予測」はDCCSの利用申請をすることで提供されます。

環境品質短期予測についての情報は、xDataプラットフォームの 情報資産カタログ を参照してください。

自分で学習・予測したい方へ

NICT総合テストベッドでは、多様なデータとそれを活用する機能をAPIとしてユーザーに提供し、それらのデータや機能を活用したアプリケーションやサービスの開発を可能とすることを目的としたテストベッドであるDCCS(Data Centric Cloud Service)を運用しています。
本アプリケーションで用いている技術「環境品質短期予測」を自らのサイトやアプリケーションでも活用したい方や、学習や予測処理を伴う新しいサービスの創成に興味のある方は、総合テストベッドの利用をご検討ください。
総合テストベッドおよびDCCSの利用申請につきましては、こちらのページよりご確認いただけます。