3.1 データソースの基本操作

3.1.1 簡単な紹介

データを作成する主な目的はデータセットを作成することですが、データセットの作成はデータソースに依存しており、データソースは名称のとおりデータのソースです。

データのソースが様々です。データのソースによって、データソースをファイルデータソース、データベースとビッグデータ・エンジン・データソース、サードパーティのインタフェース・データソースという3つの種類に区分します。現在のDataVizは、20種類以上の一般的なデータソースをサポートします。

下図の通り。

001.png

  • ファイル•データソースは、ExcelデータソースとCSVデータソースという2種類のデータソースを含みます;

  • データベース•データソースは、MySQL、Oracle、SQLServer、PostgreSQL、Gbase、Informix、達夢、神通、DB2、H2という10種類のデータソースを含みます;

  • ビッグデータ・データソースは、Kylin、Cloudera Impala、Hive、memsql、MongoDB、Phoenixという6種類のデータソースを含みます;

  • サードパーティのインタフェース•データソースは、ODataデータソースとRestデータソースという2種類のデータソースを含みます。

データソースはユーザリソースで、同じユーザに属するデータソースは、このユーザの任意のプロジェクトで使用できますが、ユーザ間で使用することはできません。

3.1.1.1 ファイル•データソース

ファイル•データソースは、データを格納するファイルをアップロードする必要があります。データソース内のデータを更新するには、ファイルに格納されているデータを変更した後、データファイルを再アップロードする必要があります。また、ファイル•データソースは一定のフォーマットに従う必要があり、複雑すぎるデータ•フォーマットは解析できません。

(1) Excelデータソース

Excelデータソースは、複数のSheetページをサポートしており、それぞれのSheetページは1つのテーブルに解析されます; Sheetページの1行目はテーブルヘッダで、テーブルヘッダ内の各セルの内容は空白にすることはできません。テーブルヘッダはテーブル内のフィールド名に解析されます; フィールドのデータ型は、各列のフィールド・セルのフォーマットと正規表現に基づいて解析されるため、excelにある各列のセル・フォーマットの一貫性が必要です。標準的なフォーマットは下図の通り。

002.png

フィールド•フォーマットがまとまっていない場合、excelにはセル•フォーマットを時間型に設定していますが、DataVizが現在の列のすべてのセルを走査して列のデータ型を最終的に決定するため、時間型のフォーマット以外のセルが存在していることを確認した場合、この列のデータ型は最終的に文字列型に決定される。 これによって、時間に関する計算関数を利用して計算することはできます。

003.png

(2) CSVデータソース

CSVデータソースには、各列の内容を二重引用符("")で囲む必要があります。各行のデータにある各列の内容は、半角カンマ(,)で区切られ、1行目はテーブルヘッダとして、ヘッダにある列の内容は空白にすることはできません。テーブルヘッダは列名に解析されます。具体的なフォーマットは下図の通り。

004.png

3.1.1.2 データベースおよびビッグデータ・エンジン・データソース

データベースとビッグデータ・エンジン・データソースは、JDBCに基づいてドッキングと実装を完成します。そのため、JDBCをサポートしているが、製品にリストされていないデータベース製品については、製品開発チームに技術的なドッキングを依頼することができます。

プライベート・デプロイメント版のユーザは、DataVizに内蔵されているImaplaとPhoenixデータソースについて、次の点にご注意ください。

(1)Impala自体は中国語のメタデータをサポートしていないため、hiveで読み取るには、internalConfig.properties にある次の内容を追加する必要があります。

```
internal.hiveHost=master  
internal.hivePort=10000
```

(2)Phoenixデータソース

DataVizの位置するサーバのhostsファイルに設定内容を追加します。PhoenixサービスのZookeeperのhostnameがmasterである場合、次の内容を追加します。

    ```
    X.X.X.X    master
    ```

DataVizを置き換えるguava-xxx.jarのバージョン範囲は12~16です。

データベースschemaを有効にするには、hbaseサービスの設定ファイルのhbase-site.xmlおよびdatavizサービスのphoenixクライアントjarファイルにあるhbase-defualt.xmlに次の設定内容を追加する必要があります。

    ```
    <property>
        <name>phoenix.schema.isNamespaceMappingEnabled</name>
        <value>true</value>
    </property>
    <property>
        <name>phoenix.schema.mapSystemTablesToNamespace</name>
        <value>true</value>
    </property>
    ```

3.1.1.3 サードパーティのインタフェース・データソース

サードパーティのインタフェース・データソースは、現在ODataとRestデータソースをサポートしており、そして、OAuth2.0の権限認証もサポートします。インタフェース•データソースから取得したデータは、メモリー•データベースに格納されます。データの更新時間の間隔は30分です。プライベート・デプロイメント版のユーザは、設定ファイルのinternalConfig.propertiesで設定することが可能です。最小の間隔単位は1分で、リアルタイム更新が必要な場合、0に設定することができます。 設定内容は次の通り。

internal.oDataInterval=30

(1) ODataデータソース

ODataデータソース•インタフェースを、データ返信フォーマットを指定するRestにすることが可能です。インタフェースによって返信されるデータはJson形式で、そして、valueキーワードをデータリスト名にする必要があります。具体的なフォーマットは次の通り。

{
    "value": [{
        "orderId": "2016010313265448",
        "orderDate": "2016-01-03",
        "category": "食べ物",
        "goods": "パン",
        "count": 2,
        "cost": 2.8,
        "payment": 8.8,
        "buyer": "徐さん",
        "province": "江西省",
        "city": "南昌市"
    }, {
        "orderId": "2016011352714789",
        "orderDate": "2016-01-13",
        "category": "洋服",
        "goods": "男性Tシャツ",
        "count": 1,
        "cost": 41.0,
        "payment": 180.0,
        "buyer": "胡さん",
        "province": "遼寧省",
        "city": "大連市"
    }]
}

(2) Restデータソース

Restデータソース•インタフェースは、リスト•データを直接に返信し、インタフェースによって返信されたデータはJson形式です。具体的なフォーマットは次の通り。

[{
    "orderId": "2016010313265448",
    "orderDate": "2016-01-03",
    "category": "食べ物",
    "goods": "パン",
    "count": 2,
    "cost": 2.8,
    "payment": 8.8,
    "buyer": "徐さん",
    "province": "江西省",
    "city": "南昌市"
}, {
    "orderId": "2016011352714789",
    "orderDate": "2016-01-13",
    "category": "洋服",
    "goods": "男性Tシャツ",
    "count": 1,
    "cost": 41.0,
    "payment": 180.0,
    "buyer": "胡さん",
    "province": "遼寧省",
    "city": "大連市"
}]

3.1.2 データソース管理

プロジェクト・リソース画面で、「データ作成」ボタンをクリックすると、データソース管理画面が表示されます。画面は次の通り。

005.png

3.1.2.1 データソース作成

データソースを作成するために、上部にある「データソース」をクリックすると、データソースのタイプ選択画面が表示されます。

006.png

(1)ファイルを選択した場合、次のポップアップが表示されます。

007.png

サーバのリソース使用量を考慮し、現在、ファイルデータソースは最大20Mファイルのアップロードをサポートします。

プライベート・デプロイメント版のユーザは、ファイルのサイズを変更するには、Datavizバックグラウンド•サービスのdataviz-chartdata.jarにあるdatasourceType.yaml設定ファイルを次のように修正する必要があります。

008.png

ファイルをアップロードした後、「確定」をクリックして保存します。

(2)データベースを選択した場合、次のポップアップが表示されます。

009.png

データソース情報を入力した後、「リックをテスト」ボタンをクリックして、データソースが正常に接続されているかどうかをテストした後、「確定」をクリックして保存します。

複数のデータベースを結合して使用する必要がある場合、「クロススキーマ」のチェックに入れてから、必要なデータベースをチェックして選択してください。これによって、データセット作成画面では、選択されたデータベース内のテーブルが正常に表示されます。

(3)サードパーティのODataとRestデータソースを選択した場合、次のポップアップが表示されます。

017.png

リクエストするアドレスを入力し、認証方法を選択して認証情報を入力し後、確定をクリックして保存します。

データソースが正常に保存された後、データセット作成画面が直接に表示されます。

010.png

3.1.2.2 データソースの編集

データソース管理画面では、データソースにカーソルを当てて、「編集」ボタンをクリックすると、データソース編集画面が表示されます。データソース編集画面では、データソースの情報を修正できます。下図の通り。

011.png

ExcelデータソースとCSVデータソースの場合、データ•ファイルを編集して再アップロードし、データソースのデータを更新することが可能です。

3.1.2.3 データソースの削除

データソース管理画面では、データソースにカーソルを当てて、「削除」ボタンをクリックして、単一のデータソースを削除することが可能です。下図の通り。

012.png

画面の右上隅にある「削除」アイコンをクリックして、複数のデータソースを選択してから、画面の下部にある「削除」ボタンをクリックして、一括削除することが可能です。

013.png

データソースがデータセットに使用されている場合、削除できないため、「削除できない」メッセージが表示されます。

3.1.2.4 データソース名の変更

データソース管理画面では、データソースにカーソルを当てて、「名称の変更」ボタンをクリックして、データソース名を変更することが可能です。下図の通り。

014.png

3.1.2.5 ファイルのデータソースのエクスポート

データソース管理画面では、ファイルのデータソースにカーソルを当てて、「エクスポート」をクリックして、データソースのデータをエクスポートすることが可能です。下図の通り。

015.png

3.1.2.6 データセット移行

データソース管理画面では、データソースにカーソルを当てて、「データセット移行」ボタンをクリックして、このデータソースにあるデータセットを移行させること可能です。移行時に、プロジェクトとデータセット別に選択することが可能です。下図の通り。

016.png

【注意】データ•セットを移行させる場合、2つのデータソースのテーブル構造が完全に一致していることを確保する必要があります。テーブル構造は、テーブル名、フィールド名、フィールド種類などを含みます。

results matching ""

    No results matching ""