Microsoft Azure SQL Data Warehouseの概要
Microsoft Azure SQL Data Warehouseは、クラウドで提供されるフルマネージドサービスです。柔軟に、性能とストレージをスケールアップ&スケールダウンさせることができます。
リソースは、ストレージとコンピューティングに分かれており、どちらも必要に応じて日次で増やしたり減らしたりすることができます。
管理画面のサンプル
管理ポータルのUXイメージは次の図。
DWUっという表記があるので、Azure SQL DatabaseのDTUと似たようなイメージで、性能を相対表記する単位を用意し、それでリソース制御する予定。
DWU(Data Warehouse Unit)
DWUは、データのスキャンとデータのロード、テーブル複製の組み合わせで性能測定されている。1B行をスキャンすると、100DWUで297秒、1600DWUで19秒っとほぼ数字通りスケールはする模様。
一時停止機能(Pause)
一時停止機能が用意されている。
データウェアハウスなので、格納するデータは当然膨大となる。使用しない時には削除しておきたいところだけど、削除すると再格納に時間がかかりすぎて無駄。
そこで、一時停止機能。
この機能を使用すると、データの再ロードや再格納が不要でデータを保管しておける。
一時停止中は、クラウドストレージは最少コストで済む。
PowerShell/Rest API経由で自動処理できるようになっているので、スケジュール処理することが可能。
料金体系
気になる料金体系は、性能種別でストレージ単価も変動する仕組みを採用している。
SQL Serverとの互換性
SQL Serverとの互換性はばっちりで、ユーザー定義関数やストアドプロシージャ、テーブルパーティショニング、照合順序、カラムストア(インデックスなど)技術にも対応している。
Polybase/T-SQL経由で非構造型データのクエリ発行
リレーショナルデータベースでもHadoopでも、T-SQLクエリを発行可能。
Polybaseは、マイクロソフトのMPP(Massively Parallel Processing)製品を統合するテクノロジーで、HadoopとSQL Server間をクエリで総合に連携させることができます。
T-SQLのクエリサンプル
まず、データを取得するときの認証情報として、証明書を作成します。
データソースを指定します。
まとめ
いろんなシステムと連携させましょう!