Apache Drillを2ヶ月程使ってみて覚えた内容のメモ(Drillbit Clusterとか)

前回：Apache Drillを使ってみたのでメモ（インストールや基本操作など）

Drillbit Cluster: 概要

Installing Drill on the Cluster - Apache Drill

Drill クラスタを構築する場合、各ノードでDrillbitというJavaプロセスを立ち上げる
分散されたDataNode上でDrillbitというサービスが動作する
dillbitの管理はApache ZooKeeperが行っている
実行時に指定する「zk」は Apache ZooKeeperの事。不要なら「zk=local」指定でいい
Drillの接続先にはHBASEやMongo,MySQL,Postgres等も選べる Storage Plugin Registration - Apache Drill
最終的に振り分けられるフラグメント数は、設定の「planner.slice_target」や「planner.width.max_per_query」「planner.width.max_per_node」などによって決定される：MapRDB テーブルのスキャン時に起動される minor fragment 数を決定する要因

ZooKeeper: インストール

# cd /usr/local/lib/
# wget http://ftp.jaist.ac.jp/pub/apache/zookeeper/zookeeper-3.4.11/zookeeper-3.4.11.tar.gz
# tar zxvf zookeeper-3.4.11.tar.gz -C /usr/local/sbin/
# cd /usr/local/sbin/zookeeper-3.4.11
# mv conf/zoo_sample.cfg conf/zoo.cfg
# sed -ri "s/^#maxClientCnxns=60/maxClientCnxns=20/" conf/zoo.cfg

Drillbit: 設定ファイルなど

# cat apache-drill-1.12.0/conf/drill-override.conf | tail -n 4
drill.exec: {
  cluster-id: "drillbits",
  zk.connect: "[ZooKeeperのIP]:2181"
}

Drillbit: 基本操作

1 2	# apache-drill-1.12.0/bin/drillbit.sh Usage: drillbit.sh [--config\|--site <site-dir>] (start\|stop\|status\|restart\|run) [args]

Webインターフェイス：Starting the Web Console
レポートもWeb側に出るので基本そっち見た方が良い
ポートの競合か何かの理由？により、バージョンによって一部の使用ポートが変更されたらしいので、バージョンが古い場合はポート番号を要確認

SQLのメモ

drillbitの一覧

1	select * from sys.drillbits;

接続中のdrillbitの確認

1	select hostname from sys.drillbits where `current` = true;

sqllineから設定値変更

1
2
3

alter system set `planner.slice_target` = 110000;

SELECT * FROM sys.options where name = 'planner.slice_target';

Drill commands cheat sheet | Open Knowledge Base

型が混在するjsonを扱う時は、UNION型を使う：UNION 型: データ型が混在するカラムのサポート

1	alter session set `exec.enable_union_type` = true;

正規表現はILIKEを使う：Is there a REGEXP_LIKE equivalent function in Apache Drill? - Stack Overflow

1	select * from members where ILIKE((age), '^[0-9]$')

カラム名が予約語と被る事が結構多かった（たまたま？）ので、被る場合はバッククォートで囲む：Reserved Keywords - Apache Drill

1 2	// 例：filterというカラムをwhere句で絞る select * from dfs.`xxxxxxx.csv` as tbl where tbl.`filter` = 'hoge'

Drillbit Cluster: 概要

ZooKeeper: インストール

Drillbit: 設定ファイルなど

Drillbit: 基本操作

SQLのメモ

[PR]