ビットコイン・インスティテュート

マイニングやmonitorblocksなどのための、ビットコインのバイナリデータのプロトコル

1件のメッセージ BitcoinTalk ジェフ・ガージック 2011年2月15日 — 2011年2月15日
  1. URL

URL:http://yyz.us/bitcoin/pushpool-0.4.tar.gz
リポジトリ:https://github.com/jgarzik/pushpool

  1. 問題

最近のslashdotでの紹介と、それに続く新しい利用者の流入で、マイニングに使われるgetworkのネットワークプロトコルに、無理が出てきている。特にプールでそうだ。マイナーは、HTTPのJSON-RPCで5秒から10秒に一度、仕事を取りに来る。このやり方には、サーバーに余計な負荷をかける、目立つ非効率がいくつかある。

  • HTTP/1.1の持続的な接続が、あまり使われていない。bitcoindが対応していないせいかもしれない。その結果、どのマイナーも、5秒から10秒ごとに、同じホストへ新しいTCP接続を張る。
  • getworkのデータはわずか256バイトだが、HTTPのヘッダーと、JSONのためにバイナリを16進数にする変換とで、送る量は倍以上に膨らむ
  • 公式のビットコインクライアントのRPCサーバーの実装は、実質的に単一スレッドのループだ。クライアントAの要求が終わるか、30秒でタイムアウトするまで(-rpctimeoutを参照)、クライアントB、C、Dの要求は待たされ、相手にされない。この作りは、複数のスレッドやコンピューターからTCPの要求が高い頻度で来ることに耐えられない。

何人かの人、とりわけプールの運営者が、この問題の解決を強く望んでいる。加えて、今のgetworkのポーリング方式に代わる将来の方式として、プッシュマイニング(下を参照)が議論されてきた。

  1. 解決策の設計の目標

実演用のプールサーバー(getworkのプロキシサーバーとも言える)を書いた。最近話題になったpoold.py (http://bitcointalk.org/index.php?topic=3078.0)と似た働きをする。大勢のマイナーがプールサーバーにつなぎ、プールサーバーが、getworkのJSON-RPCの要求を公式のビットコインクライアントに取り次ぐ。この実演用のサーバーは、次の目標を満たすように設計した、新しいバイナリのプロトコルを実装している。

  • TCP接続を持続させ、マイナーが切断と再接続を繰り返すのをなくす
  • よくある使い方で、ネットワークの効率がよい。getworkにパケット一つ、返すデータにパケット一つ。
  • 似た使い方(monitorblocks、monitortx)でも、ネットワークの効率がよい。クライアントがつないだあと、リアルタイムの出来事が届くのを受け身で待つ使い方だ
  • 今あるマイナーのクライアントの流れを変えずに使える。ネットワークプロトコルの変更がマイナーに与える影響を小さくする
  • 「プッシュマイニング」に対応する。サーバーが、求められなくても(つまり、マイナーが先にgetworkメッセージを送らなくても)新しい仕事をマイナーに届ける

これは、JSON-RPCのAPIを置き換えるつもりのものではない。特定の使い方について補うものだ。そう、bitcoindは三つのネットワークのポートで待ち受けることになる。P2Pネットワーク、JSON-RPC、バイナリのRPCだ(ただし今と同じく、動作に必須なのはP2Pだけで、サーバーはいつでも任意だ)。

  1. まずプロトコルの例から:今のgetworkのマイニング

プロトコルそのものの細かいところは、上のURL(pushpool-0.1.1.tar.gz)のubbp.hとprotocol.hにある。手ごろな入り口として、例を一つ挙げる。

  • TCP接続は、メッセージに区切られる。各メッセージには64ビットのヘッダーがあり、8ビットのopcodeと24ビットの長さの欄を持つ。
  • マイナーのクライアントがTCPサーバーにつなぎ、LOGINメッセージを出す。中身は、圧縮したJSONのログインのデータと、(データ+共有の秘密)のsha256ハッシュだ。
  • サーバーがOP_LOGIN_RESPメッセージで応える。圧縮したJSONで、オプションと対応している機能を示す
  • クライアントがOP_GETWORKメッセージ(8バイト)を出す
  • サーバーがOP_WORKメッセージ(264バイト)で応える
  • クライアントが、CPUかGPUを使ってプルーフ・オブ・ワークの解を探す…
  • クライアントがOP_GETWORKメッセージ(8バイト)を出す
  • サーバーがOP_WORKメッセージ(264バイト)で応える
  • …

上の例は、今あるgetworkのJSON-RPCのマイナーのクライアントの流れに、わざと合わせてある。マイナーのクライアントは、OP_LOGINとOP_GETWORKの要求を続けて送り、TCP接続を閉じることで、状態を持たない動作もできる。状態を持たない動作は勧めないが、対応はしている。今あるマイニングのクライアントを、できるだけ幅広く受け入れるためだ。

  1. 明日のマイニング:プッシュマイニング

ブロックやトランザクションが届いたら、すぐに新しい仕事に取りかかるのが望ましい。サーバーから見ると、これは典型的なデータの一斉配信の問題で、サーバーはN個の違う仕事をN人のマイナーに配りたい。そこで「プッシュマイニング」だ。サーバーが新しい仕事を、自分のほうからマイナーのクライアントに送り届ける。

この新しいネットワークプロトコルは、次の例のとおり、プッシュマイニングに対応している。

  • クライアントがサーバーにつなぎ、「send_me_work」のフラグを立てたLOGINメッセージを出す
  • サーバーがOP_LOGIN_RESPメッセージで応える
  • サーバーがOP_WORKメッセージを送る
  • サーバーがOP_WORKメッセージを送る
  • サーバーがOP_WORKメッセージを送る
  • …
  1. 似た使い方:monitorblocks

ギャビン・アンドレセンのgithubに、とても役に立つ機能のパッチがある。新しいブロックを受け取ったとき(monitorblocks)や、ウォレットに新しいトランザクションが来たとき(monitortx)に、bitcoindが指定のURLへHTTPのPOSTを送る。つまり、monitorblocksはビットコインのネットワークをリアルタイムで見張り、monitortxは手元のウォレットをリアルタイムで見張る。この種の機能は、出来事が起きたときにデータを送り届ける。ウェブサイトの運営者が、ある操作が終わったかどうかをJSON-RPCで何度も問い合わせずに済む。

ビットコインのネットワークの新しいブロックを見張るのは、ごく簡単なデータの一斉配信の問題で、このバイナリのネットワークプロトコルなら楽に対応できる。

  • クライアントがサーバーにつなぎ、「send_me_blocks」のフラグを立てたLOGINメッセージを出す
  • サーバーがOP_LOGIN_RESPメッセージで応える
  • サーバーがOP_BLOCKメッセージを送る
  • サーバーがOP_BLOCKメッセージを送る
  • サーバーがOP_BLOCKメッセージを送る
    …

monitortxはもっと込み入っている。トランザクションを選ぶ条件を指定できるからだ。しかし、この新しいプロトコルはJSONに対応しているので、柔軟さは問題にならない。

  1. 進め方の計画(これはまだ粗い草案だ)

並行して進みかねないプッシュマイニングの取り組みを一つにまとめる必要があるので、次の手順で進めることを考えている。

  • 新しいプロトコルに対応するプールサーバー(プロキシサーバー)を書く(済み)
  • 今あるマイナーのクライアント(cpuminerやoclminerが手ごろそうだ)を改造して、新しいプロトコルに対応させる。誰かやってくれないか?
  • 繰り返し直し、テストし、意見をもらう。これをひたすら繰り返す
  • みんなが納得したら、公式のbitcoindに実装する
  • 上のどの作業とも並行して、公式のbitcoindのrpc.cppを、もっと賢いhttpdの実装に更新する

意見を聞かせてほしい…GPUのマイナーを改造してこれに対応させてくれる人が、名乗り出てくれるといいのだが。

付録1:FAQ

Q. なぜ新しいプロトコルを作るのか。なぜGoogleのprotocol buffersやXDRを使わないのか。

A. protobufもXDRも、ここで示したUBBPのような、土台になるパケット化の形式が要る。つまり、選択肢はUBBP+protobufかUBBP+JSONになる。ビットコインのコミュニティがJSONを受け入れていることから、後者を選んだ。実のところ、JSONはprotobufより柔軟だ。もっと動的なデータ構造を表せるからだ。

Q. なぜgetworkの目立つ問題に手を付けなかったのか。

A. ネットワークの効率がよいプロトコルだけに絞った。getworkの実装の選び方は、この作業の範囲の外だ。

Q. このコードのリリースの状態と品質は?

A. ええと、コンパイルできて動く…が、これにつなぐクライアントがまだない。テストに使うマイナーのクライアントがなければ、何の役にも立たない…