Hbase at FaceBook

Hbase at FaceBook
参加したかったが、結局いけなかった。。。

とりあえず、集めた内容。
すげぇ〜人力とぅぎゃったー！

とりあえず、ひっぱてきた内容は下記。


TWITTER@ID つぶやき内容

                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        • -

http://twitter.com/#/@doryokujin Facebook のメッセージング。大規模なデータセットだが、ほとんどがcold data。エラスティック性や高可用性が求められる。データセンター間のコンシステンシーや障害の特定は必要。一方でデータセンター間のネットワークの分断などは考慮しなくて良かった
http://twitter.com/#/@Guutara 個別の問題対応ではなく、大きな範囲の問題に、対応できる、フレームワークを、作成する事にした。チャレンジは、Facebook Messages。巨大なデータセット、大半は、動かないデータ。高可用性。データセンターないの強い一貫性。などなど
http://twitter.com/#/@doryokujin HBase、Cassandra、MySQLを検討した。HBaseの書き込みパフォーマンスはスゴイ、読み込みもgood。また、MRやBulk Importやシャーディングなど素晴らしい特徴を備えていた
http://twitter.com/#/@neofact 分散型：コモディティサーバによるクラスタ。列指向、多次元ソート。高可用性、ノード一大壊れても影響なし。高性能、ログケー式で書き込みのスループットが高い、ランダム読み込みも速い。データはパーシステンス。
http://twitter.com/#/@hageru3sei HBaseとは。分散型、列指向、多次元でソートされている、高可用性、高いパフォーマンス、永続性
http://twitter.com/#/@Guutara Append 、 HA Namenode 、結構、出してるんだよねぇ。。
http://twitter.com/#/@hageru3sei データベース層、ストレージ層、協調サービス（Zookeeper）
http://twitter.com/#/@tagomoris 一番デカいクラスタは3000ノード、40PB
http://twitter.com/#/@tagomoris Facebookでも15人*1年が史上最大の開発規模。開発タスクを細分化するのって大事だね
http://twitter.com/#/@tyupon 組織が肥大化すると動きが遅くなる。昔は組織が大きくないとできなかったことが、今では少人数でできる。組織を大きくする理由はすでになくなった。 RT @tagomoris Facebookでも15人*1年が史上最大の開発規模。開発タスクを細分化するのって大事
http://twitter.com/#/@doryokujin PumaはリアルタイムMapReduceシステム。MapはPTail。ログストリームはNシャードに分割される。現在はアプリケーションレベルで場バケッティング可能。ReduceはHBase。
http://twitter.com/#/@doryokujin 3.ODS Operational Data Store 全てのマシンのシステムメトリクス（CPU、メモリ）、アプリケーションメトリクス（Web、DB、Caches）、Facebookメトリクス（利用状況、収益）全ての統計情報を処理
http://twitter.com/#/@repeatdly pTailについてのまともな資料ってこれだけだったのか？ > http://gigaom.com/cloud/how-facebook-is-powering-real-time-analytics/
http://twitter.com/#/@neofact OperationalDataStore (ODS) MySQLではスケール静来、数十億の計測点似対する数百万のユニークな時系列
http://twitter.com/#/@hageru3sei ODS - Operational Data store / システムメートリックス(CPU、Memory、IO、ネットワーク)。アプリケーションメートリックス(WEB、DB、キャッシュ)。Facebookメートリックス(利用状況、収益)
http://twitter.com/#/@ryu_kobayashi 現在、MySQLは行単位のACIDでしか使用してないのか
http://twitter.com/#/@neofact HbaseをMySQLと同居して使用している。使い分け、MySQLでは行単位のACID属性のみを使用、DB手前にはインメモリキャッシュ、Hbaseはディクショナリとリストの保存。
http://twitter.com/#/@frsyuki fluentのプラグインでも実装はできるけど、耐障害性的にHDFSか何かを間に挟むのは良いな。
http://twitter.com/#/@neofact データベースティアのサイズは　IOPSによって決まるHbaseはシーケンシャル書き込みだけ。
http://twitter.com/#/@hageru3sei HBaseはMySQLの増強版という観点で考える。データベースティアのサイズはIOPによって決まる
http://twitter.com/#/@neofact MySQLサーバは３００GB　HDDとFlashMemory(おそらくFusion-ioですね）　
http://twitter.com/#/@neofact hbase サーバは２TBのHDDを搭載している。
http://twitter.com/#/@kosei 組織が肥大化すると動きが遅くなる。昔は組織が大きくないとできなかったことが、今では少人数でできる。組織を大きくする理由はすでになくなった。 RT @tagomoris Facebookでも15人*1年が史上最大の開発規模。開発タスクを細分化するのって大事
http://twitter.com/#/@motokazu 15人のエンジニアが、１年以上、２５人のインフラエンジニアが従事。FBで、最大のプロジェクト。FaceBook MEssages
http://twitter.com/#/@tagomoris scribeのログデータのpersistencyは優秀ですよ実際。あと再送もかなりちゃんとハンドルしてくれる
http://twitter.com/#/@tagomoris Facebookでも15人*1年が史上最大の開発規模。開発タスクを細分化するのって大事だね
http://twitter.com/#/@neofact CaassandraやMySQL Shadingを得れば内でHbaseを選んだ理由を教えて欲しい。
http://twitter.com/#/@hageru3sei ROOTのscribeサーバのスペックは教えてくれないw ただとてもいいとの事w
http://twitter.com/#/@repeatdly Cassandraに詳しい人が少ないFacebook?
http://twitter.com/#/@neofact 3つめのの理由はHDFSに詳しい人がいるから、でした。
http://twitter.com/#/@tagomoris ぶっちゃけログ解析のデータ前処理をMRでやってるとソート処理が(本来的に)いらないから、オーバーヘッドでしかないんだよね
http://twitter.com/#/@neofact 後ろに楽天タリヤさん、左にKVS　OKUYAMAの開発者の方、前にHPさんのHadoopエバンジェリスト、右にVTJさんのCTOという豪華すぎる席で質問タイムが続く。
http://twitter.com/#/@doryokujin RT @tagomoris 同感です。実際にバリアーフェイズを取っ払うとパフォーマンスがアップしたという報告も出ています。→ http://bit.ly/dbT5FT
http://twitter.com/#/@okachimachiorz1 http://bit.ly/iDhe5M RT @akyam1: 私も同じくメモしきれませんでした… @tatsuya6502 様、ぜひ可能でしたらどこかに公開して頂けるか何らかの手段で共有して頂けると幸いです。。 RT @akasukuf
http://twitter.com/#/@repeatdly Facebookの中の人「Cassandra？もう使ってないよ」
http://twitter.com/#/@hageru3sei １つのサーバ20個のディスクを持っている
http://twitter.com/#/@Guutara ラック間が、10G。
http://twitter.com/#/@okachimachiorz1 http://bit.ly/iDhe5M RT @akyam1: 私も同じくメモしきれませんでした… @tatsuya6502 様、ぜひ可能でしたらどこかに公開して頂けるか何らかの手段で共有して頂けると幸いです。。 RT @akasukuf
http://twitter.com/#/@tagomoris さっきの質問を聞いた結果「おれもう今のログ解析システムをいじるのやめてfacebookからのツールの公開を待とうかな……」
http://twitter.com/#/@doryokujin PumaはリアルタイムMapReduceシステム。MapはPTail。ログストリームはNシャードに分割される。現在はアプリケーションレベルで場バケッティング可能。ReduceはHBase。
http://twitter.com/#/@okachimachiorz1 FBはHbaseを魔改造しているわけではなく、より上位に適切なフレームワークを実装して、用途別にちゃんと使い分けている、ということですね。

http://borthakur.com/ftp/RealtimeHadoopSigmod2011.pdf
https://www.ideals.illinois.edu/bitstream/handle/2142/14819/breaking.pdf?sequence=2

下記に公開して頂いた模様。
Tokyo HBase Meetup - Realtime Big Data at Facebook with Hadoop and HBase (ja)

http://www.slideshare.net/tatsuya6502/tokyo-hbase-meetup-realtime-big-data-at-facebook-ja