分散データベース「HBase」の安定運用を目指して

preferred

2011-05-09 10:47:18

1年経ってiPhone4の電池がヘタってきた、太田です。

指数関数的にエントリ数が少なくなってきた本ブログですがw、景気付けのためにエントリを投稿したいと思います!本日はHBaseについてです。

Linux と Hadoop と HBase と ZooKeeper に詳しいあなた!あなたがターゲットです。

HBaseとは?

HBaseとは、HDFS (Hadoop Distributed File System)上に構築された分散データベースです。大量の非常に細かいデータをリアルタイムに読み書き出来るのが特徴です。最近ではFacebook Messageの基盤技術として使用された事で注目を集めています。

保存されたデータはHDFS上に保存され、HDFSの仕組みによってレプリケーションされるため安全にデータを保持することが出来ます。

また、MapReduceとも非常に相性が良く、保存されたデータに対してバッチ処理を行なうことが出来ます。リアルタイムにデータを入出力しながら、分散でバッチ処理も出来るようになります。

これを検証するために、弊社ではTwitterのデータをリアルタイムにストリーミングで保存しながら解析するシステムを作ってみました。が、HBaseは色々と敷居が高くハマりどころも多かったので、そこで色々と試している結果をblogで紹介したいと思います。

OSのセットアップ

HBaseのセットアップの前に、OS (Linux) の設定を正しく行なうことが重要です。

最大ファイルディスクリプタ数

HBaseのノードでは1プロセスから大量のファイル/ソケットをopenする可能性が有るため、最大ファイルディスクリプタ数を上げておく必要があります。/etc/security/limits.confに以下の記述を追加して下さい。

root soft nofile 65536
root hard nofile 65536
* soft nofile 65536
* hard nofile 65536

一旦ログアウトして再度ログインし、ulimit -nコマンドで65536と表示されていればokです。

カーネルパラメータ

以下のパラメータを指定します。kernel.panic* 系でカーネルパニックが有った際に、マシンが自動リブートされるようにします。

vm.swappiness = 0で、メモリがスワップアウトされにくくします。HBaseの各ノードは大量のメモリを消費しますので、それらがディスクに追い出されにくい様にします。

net.* で、ネットワーク関連のバッファを増やしています。

kernel.panic_on_oops = 1
kernel.panic = 1
vm.swappiness = 0
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216

ネットワークドライバのアップデート

大量のデータを転送するジョブを走らせると、以下のようにパケットドロップが大量に発生するという問題が起こりました。ifconfigで、droppedパケットが出ていないか確認します。

[root@hdp10 ~]# /sbin/ifconfig
eth0      Link encap:Ethernet  HWaddr 90:FB:A6:DD:2D:90
          inet addr:192.168.0.60  Bcast:192.168.0.255  Mask:255.255.255.0
          inet6 addr: fe80::92fb:a6ff:fedd:2d90/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:661312053 errors:0 dropped:14045 overruns:0 frame:0
          TX packets:760148388 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:913845944363 (851.0 GiB)  TX bytes:1043952570747 (972.2 GiB)
          Interrupt:169 Memory:b1a00000-b1a20000

余りに数が多くて不可思議な場合は、ネットワークドライバのアップデートで解消される可能性が有ります。

今回は、ネットワークドライバにe1000eを使用していたので、そちらをアップデートしました。こちらのblogが参考になります。

ntpdのセットアップ

ntpdをセットアップし、ノードの時刻が常に正しくなっているようにして下さい。

HBase本体は時刻がズレていても動作は正しく行えるように書かれているはずですが、不可解なバグの原因やログの検証時にかなり不便なので必ず設定して下さい。

Javaのセットアップ

なるべく新しめのJDKを使用します。必ず Oracle 純正の JDK を使用してください。 OpenJDK, GCJ は避けるようにします。

Hadoopのセットアップ

Hadoopのセットアップを行います。今回はCDH3u0 (Cloudera Distribution for Hadoop, Update 0)を使用しました。HadoopのバージョンとHBaseのバージョンはかなりシビアに合わせないといけないので、CDHを利用するのがおすすめです。

dfs.datanode.max.xceiversの設定

hdfs-site.xmlで、dfs.datanode.max.xceiversの値を増加させます。datanodeには、region serverから大量のコネクションを張られる可能性が有るために、この設定が必要です。

  <property>
    <name>dfs.datanode.max.xcievers</name>
    <value>3072</value>
  </property>

ZooKeeperの設定

ZooKeeper専用ノードの検討

HBaseを入出力に使用するMapReduceジョブを動作させると、必ずZooKeeperへのコネクションがはられます。これが失敗すると、何も始まりません。

始め、ノードをけちってTaskTracker/DataNodeと同居させていたのですが、I/O負荷が上がるとOSのレスポンスが悪くなり、ZooKeeperへのコネクションが同時に切断されまくるという問題が起こりました。

安定稼働には、負荷の低いノードに同居させるか、専用ノードを用意するのがベターです。

maxClientCnxnsの設定

zoo.cfgで、maxClientCnxnsを設定します。こちらは、1ノードからのZooKeeperの最大コネクション数の設定です。デフォルトでは10に設定されています。

つまり、デフォルトでは1ノードから10並列以上繋げない事になります。MapReduceを使用した際には簡単に上限を超えてしまいますので、少し大きめの値を指定しておきます。

# max number of client connections from the same node
maxClientCnxns=128

zoo.cfgの全ノードへの設置

zoo.cfgを全ノードの/etc/zookeeper/zoo.cfgに配備します。

HBaseのセットアップ

ついにHBaseのセットアップです。

RegionServerへのメモリの割当

RegionServerへは出来る限りメモリを割り当てます。ただし、MapReduceを行う場合には、タスクが使用するメモリも計算にいれておく必要があります。もし必要以上にメモリを食ってしまうと、OSのOOM KillerによってデーモンがKillされてしまう場合があります。

メモリの設定はhbase-env.shで行います。

# The maximum amount of heap to use, in MB. Default is 1000.
export HBASE_HEAPSIZE=16384

MSLABの有効化

最近までのHBaseには、(特に大量のメモリを割り当てている場合)非常に時間のかかるGCが走ってRegion Serverが停止したように見えてしまう問題がありました。

これを解決するために、mslabという仕組みが導入されたのでそちらを有効化します。hbase-site.xmlに以下の設定を追加します。

  <property>
    <name>hbase.hregion.memstore.mslab.enabled</name>
    <value>true</value>
  </property>
  <property>
    <name>hbase.hregion.memstore.mslab.chunksize</name>
    <value>2097152</value>
  </property>

mslabについては、こちらの記事を参考にして下さい。

/etc/hbase/conf/を全台に配置

/etc/hbase/conf/以下のファイルを全台に配置します。

HBaseを利用したMapReduceプログラムのポイント

HBaseを利用したMapReduceプログラムは、以下のようになります。TableMapReduceUtilを使用して InputFormat, OutputFormat を設定します。

zoo.cfg, /etc/hbase/conf/をクラスパスに追加

/etc/zookeeper/zoo.cfg, /etc/hbase/conf/をクラスパスに追加する事で、zookeeper/hbaseの設定ファイルを見つけてくれるようです。

意味不明なシステムなので、明示的にconf.addResourceで追加した方が良いかもしれません。

hbase.client.scanner.cachingの設定

ここで、hbase.client.scanner.cachingというパラメーターが非常に重要になります。

conf.set("hbase.client.scanner.caching", "1024");

HBaseを入力にしたMapReduceでは、Scannerを用いてキーバリューペアにシーケンシャルにアクセスします。この時、デフォルトでは1ペア毎にRPCリクエストを発行してペアを取得します。

hbase.client.scanner.cachingを1024にすると、1回のリクエスト1024個のペアをバッチで取ってくるため、非常に高速化されます。

手動リージョンスプリット

MapReduceプログラムを走らせていると、他のMapTaskと比較して100倍程度の時間がかかるTaskが有りました。このおかげでジョブの実行時間が非常に伸びてしまいます。

この場合は、そのタスクの担当しているリージョンを特定し、手動でsplitすることで細かいサイズに分けることが出来ます。何故、100倍もサイズが偏るのかはまだ謎です。

$ hbase shell
hbase(main):001:0> split "twitter,43264430598914048,1302178394984.bb056008b2c069ad88ace728bcf0d757."
0 row(s) in 0.7930 seconds

肥大化したリージョンの特定方法は、時間の掛かっているタスクのログを心の目で見るか、JRubyでスクリプトを書いてみて特定します。

まとめ

HBaseは容量・用法に合わせて正しくセットアップしましょう。リアルタイムにデータを入れながら大規模データを解析出来るのは非常に嬉しいのですが、その反面、運用ノウハウはまだまだ必要そうです。

他にも使用されている方がいらっしゃいましたら、是非是非、フィードバックお待ちしています。

5 Responses to “分散データベース「HBase」の安定運用を目指して”

  1. Todd Lipcon Says:

    こんにちは、太田さん!

    このが書くのは有難う御座います!

    Setting hbase.hregion.memstore.mslab.chunksize to 16MB may be too large if you have more than a few regions on the server. The default is only 2MB.

    -Todd

  2. 太田 一樹 Says:

    Hi, Todd

    Thanks for the comment! Setting 16MB here is we need to deal with slightly large object (like 4M). I think we cannot put the row larger than hbase.hregion.memstore.mslab.chunksize, isn’t it?

  3. 太田 一樹 Says:

    Anyway, I changed the value of hbase.hregion.memstore.mslab.chunksize and hbase.hregion.memstore.mslab.max.allocation. Thanks!

  4. Todd Lipcon Says:

    If your cell size is greater than the max.allocation tuning parameter, then it will bypsas MSLAB anyway. MSLAB is only used for small cells (<256K by default)

    -Todd

  5. 太田 一樹 Says:

    I checked the code, and confirmed I misunderstood max.allocation. thx for the comment!!!

Leave a Reply