Skip to content

右側をチャンクごとに読む MultibufferProductPlan を入れる - #38

Merged
JunNishimura merged 4 commits into
mainfrom
feat/multibuffer-product
Nov 9, 2026
Merged

JunNishimura merged 4 commits into
mainfrom
feat/multibuffer-product

Conversation

@JunNishimura

Copy link
Copy Markdown
Owner

概要

2 つのプランの積を、右側をいくつかのブロックのチャンクにまとめてバッファに載せたまま読む MultibufferProductPlan を追加した。SimpleDB の ChunkScan / MultibufferProductScan / MultibufferProductPlan に相当する。#37 の BestFactor でチャンクの大きさを決める。

素の ProductPlan は左のレコードごとに右を読み直すが、こちらは右のチャンクごとに左を読み直す。右がチャンク 1 つに収まれば、左も右も 1 回ずつ読むだけで済む。この PR ではまだ planner からは使わない。

  • query
    • TableFileName:テーブル名からファイル名を作る処理を公開関数に切り出した。TableScan もこれを使う
  • multibuffer
    • ChunkScan:1 つのファイルのブロック範囲 [start, end] をまとめてピンし、その中のレコードを順に読む。読み取り専用で、Close で全部のピンを外す
    • MultibufferProductScan:左のスキャンと右のテーブルを受け取り、チャンクごとに ProductScan(左, チャンク) を組み直す。チャンクの大きさは作った時点の空きバッファ数から BestFactor で決める
  • plan
    • MultibufferProductPlan:左を MaterializePlan で包み、右を一時テーブルにコピーしてから MultibufferProductScan を開く

設計上の判断

  • テーブルのファイル名は query.TableFileName で作る。 SimpleDB の MultibufferProductScan は tblname + ".tbl" と、TableScan と同じ処理をもう一度書いている。拡張子を変えたときに片方だけ直し忘れると、ChunkScan が別のファイルを読むことになるので、1 か所にまとめた。
  • BlocksAccessed のチャンク数は、スキャンと同じ BestFactor で数える。 式は 右のコスト + materialize した左 × ceil(コピーのブロック数 ÷ BestFactor(空き, コピーのブロック数))。SimpleDB は、スキャンでは bestFactor を使うのに、見積もりでは「右のブロック数 ÷ 空きバッファ数」の整数除算でチャンク数を出している。そのため、右が空きより小さいと 0 チャンクになり、左を読むコストが消える。
  • チャンクを切り替えるときは、古いチャンクだけを閉じて ProductScan を組み直す。 ProductScan.Close は左まで閉じてしまうため。古いチャンクを閉じてから次をピンするのは、チャンクの大きさを「チャンクを 1 つもピンしていないときの空き」で決めているから。
  • 右をコピーするのは、左を開いた後、スキャンを作る前。 スキャンがチャンクの大きさを決める時点で、ピンされているのを左の 1 バッファだけにするため。
  • ChunkScan は、レコードの上にいないときや閉じた後に読まれると ErrNoCurrentRecord を返す。 TableScan に合わせた。閉じた後でもパニックしない。

既知の制限

  • BlocksAccessed もチャンクの大きさも、呼んだ時点の空きバッファ数で変わる。プランを見積もった時点と開いた時点とで値がずれることがある。
  • 左が最初から表のスキャンでも materialize するので、コピーのぶんだけ余分に読み書きする(SimpleDB と同じ)。
  • 組はチャンク単位の順に出てくるので、素の ProductScan とは並びが違う。積は順番を約束しないので、正しさの問題ではない。
  • MultibufferProductPlan はまだどの planner からも使われない。

テスト

  • ChunkScan:範囲内のブロックだけを順に読む、途中の空ブロックを飛ばす、空ブロック 1 つ、最初から読み直す、作るとピンが範囲のブロック数だけ増える、閉じると全部外れる、最後のブロックが最初より前なら拒む、値の読み取り(int・varchar・定数)、レコードの上にいないときの ErrNoCurrentRecord、HasField
  • MultibufferProductScan:1 チャンクに収まる、4 ブロックと 3 ブロックのチャンクに分かれる(組の並びでチャンクの切れ目が見える)、左が空、右が空、2 つ目のチャンクまで読んでから最初に戻す、作ると最初のチャンクがピンされる、閉じると左とチャンクのバッファが全部空きに戻る、両側の値の読み取り、HasField
  • MultibufferProductPlan:同じ名前のフィールドで ErrDuplicateField、2 つの表の積、開いて閉じるとバッファが全部空きに戻る、BlocksAccessed(コピーが 1 ブロックと 10 ブロックの 2 ケース。どちらも SimpleDB の式とは答えが分かれる)、RecordsOutput / DistinctValues / Schema
  • Red でスタブのまま通っていたケースと、スタブが nil を返して先に止まっていたケースは、Green の後に実装を 1 か所ずつ壊して、対応するケースが落ちることを確かめた
    • ChunkScan:最後のブロックで尽きても true を返す、HasField が常に true
    • MultibufferProductScan:最後のチャンクが尽きても true を返す、HasField が常に true
    • MultibufferProductPlan:右をコピーしない、コピー先への書き込みスキャンを閉じない
  • 次の経路はテストで確かめていない:ピンや Open が途中で失敗したときの後始末、古いチャンクを閉じてから次をピンする順番(逆にしても、テストのプールの大きさでは落ちない)
  • golangci-lint は手元に入っていないため、ローカルでは実行していない

🤖 Generated with Claude Code

JunNishimura and others added 4 commits November 5, 2026 00:25
チャンクをブロック番号でピンするスキャンが TableScan と同じファイルを読むよう、拡張子を付ける処理を 1 か所にまとめる。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…ding them all pinned

マルチバッファ積が右側をチャンクごとに何度も読み直す間、ディスクを読まずに済むようにするため。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…a table read a chunk at a time

右側をチャンクごとにバッファへ載せたまま左を読み直すことで、左のレコードごとに右を読み直す素の積よりブロックアクセスを減らすため。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
… of another, reading the right a chunk at a time

チャンク数の見積もりは、SimpleDB の「右のブロック数 ÷ 空き」ではなく、スキャンが実際に使う BestFactor で数える。
右が空きより小さいと 0 チャンクになり、左を読むコストが消えてしまうため。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
@JunNishimura
JunNishimura merged commit 0da9e3c into main Nov 9, 2026
3 of 4 checks passed
@JunNishimura
JunNishimura deleted the feat/multibuffer-product branch November 9, 2026 16:38
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant