その他 JTUG

話題のKNIME(ナイム)を使ってみた～Tableauとの相性はいかに～

株式会社アゼスト　齋藤
データエンジニアとして、Tableauダッシュボード作成から、データ整理まで幅広く担当しております。
最近は、お客様と一緒にデータ取得方法の整理から、運用に使うデータソース整備の取り組むことが多くなっております。

みなさんこんにちは。データプリパレーションには皆様苦労されていると思います。今回、データ分析プラットフォームツールとカテゴライズされているKNIME(ナイム)を使って、KNIME x Tableauのコンビネーションでデータプリパレーションとビジュアライズの組み合わせを試してみたので、ご紹介します。

KNIMEとは？

①データ分析、操作、およびビジュアル化のためのオープンソースのツールです。つまり無料！
②グラフィカルインターフェイスに基いてます。
③さまざまな拡張機能(統計解析、機械学習機能やクラウドサービスとの連携等)を提供します。

加工処理や分析処理の部品(ノード)をドラッグ&ドロップしながらワークフローを作成していくことができます。今回はデータプレパレーションを試してみます。

KNIME x Tableauの構成

Amazon S3上にjson形式で日々蓄積されるトラフィックデータをTableauでモニタリングできるようなビジネスシーンを想定して、以下のような構成でプリパレーションの自動化を試みてみます。

KNIMEを使ってみた

加工のステップとしては、以下の5つです。

①AWSのS3からjsonデータを複数読み込み
②json形式から行列形式に変換
③ちょっと加工してパブリッシュ

こんな感じでワークフローを作ってみました。

緑の〇で囲まれた箇所（JSON Reader）では、S3のパスを指定するだけでOKです。

赤の〇で囲まれた箇所のデータを覗いてみます。右クリックでロードした全てのデータを参照することができます。全てのノードの状態が同じように確認できるので、期待通りの処理が行えているかを一つ一つ確認できるのが非常に嬉しいです。さて、ここからTableauで可視化できるように行列形式に変換します。尚、String型の日付はファイル名に含まれる日付を変数化して付与してみました。

最後に青〇で囲まれたノードの状態です。プレパレーションが完了したこの形式ならVizに取り掛かれますね。

単純なデータですが、Viz作ってみました。

月別の合計トラフィックをサマリー、日別、時間帯別の波形が確認できました。それぞれ、ピーク時間とそうでないところに激しく差があることが読み取れるので、リソースを状況に応じて変動できるとコスト最適化につながりそうです。

良かったところまとめ

使ってみて特に感動した機能を5つご紹介すると・・・

①各ノードを通過後のデータが都度見れる

　ノード前後で数値検証できるのでロジックの検証もでき便利でした。さらに、処理後の状態でワークフローを保存しておけば、KNIMEを一度閉じても、次に起動したらデータが残っていて見れるので前回処理した結果を見ることができました。重たい処理を改良する際など、再度実行する待ち時間待ち時間を減らすのにも役立ちそうです。

②ノード(部品)をフリーワードで検索できる

　「group」や「join」と打ち込むと、ノードを検索してくれるので、部品の名前を覚えていなくても、行いたい操作のノードが見つかる。※ちなみにノードの種類は1000位あるみたいです。

③速い

　これは体感してみないとわからないと思うのですが、とにかく速かったです。各ノードの処理進捗が%で見えるので、あとどれくらいかかりそうかわかって良かったです。

④幅広いデータソースと接続可能

　今回はAmazon S3のjsonファイルを読み込みましたが、各種ファイルのみならず、AWSRedshiftをはじめとする各種データベースや、GoogleAnalyticsと接続するためのノードも用意されていました。

⑤Tableauとの相性はばっちり！

　Hyper形式、tde形式それぞれでTableau Server / Tableau Onlineそれぞれにデータを直接パブリッシュできるので、運用面でもメリットが大きそうです。

AZESTの紹介

最後にちょっとだけ営業です。
今回ご紹介させていただいたKNIMEのセミナーを実施いたします。
下記のような方には是非参加をお勧めします。

  • 社内にETLがあるが使うのが面倒。
  • Tableauの計算フィールドだけだとデータ変換が難しい。
  • 自動化ができず、追加データが来ると重複作業をしている。

日時：2021年12月16日（木）18:00～19:00
こちらのQRコードから登録ください。

QR コード 自動的に生成された説明

アゼストは、サービスデザイン思考を軸に、画像、動画、データなどを直感的に分かりやすく提供し、デバイスやプラットフォームを基に、ユーザーにとって最適なビジネスツールを提供する会社です。お客様のビジネス戦略に基づいて、デバイスアプリケーションやサービスのコンサルティング、サービス統合開発、アプリケーション開発、データ分析の事業を展開しております。クラウドサービスに関しては、アマゾンウェブサービスを利用したサービスのプロトタイプ開発、プラットフォーム構築などに取り組んでいます。

また、Tableau のリセラーパートナーとして、Tableauを販売しています。また、販売だけでTableauの導入から支援までの幅広いサービスを提供しております。詳しくは弊社ホームページをご覧ください。

お気軽にお問い合わせ下さいませ。
https://www.azest.co.jp/

Language »