Skip to content

ソートとマージで結合する MergeJoinPlan を入れる - #36

Merged
JunNishimura merged 3 commits into
mainfrom
feat/merge-join
Oct 31, 2026
Merged

JunNishimura merged 3 commits into
mainfrom
feat/merge-join

Conversation

@JunNishimura

Copy link
Copy Markdown
Owner

概要

2 つのプランを、それぞれのフィールドの値が等しい行どうしで結合する MergeJoinPlan を追加した。両側を結合フィールドでソートしてから、並べて進めて組を作る。SimpleDB の MergeJoinScan / MergeJoinPlan と、SortScan の savePosition / restorePosition に相当する。#34 の SortPlan の上に作っている。

これで materialization の計画(一時テーブル #33、ソート #34、グループ化 #35、マージ結合)がそろう。この PR でもまだ planner からは使わない。

  • materialize
    • SortScan.SavePosition / RestorePosition(SortPosition):ソートスキャンの位置を保存して戻す。マージソートで並べ替える SortPlan を入れる #34 で後回しにした分
    • MergeJoinScan:左(任意のスキャン)と右(SortScan)を、どちらも結合フィールドの順に並んだ状態で受け取り、値の小さい側を進めながら、同じ値の組を返す。左の行が直前と同じ値なら、右をその値の最初の行に戻して組み直す
  • plan
    • MergeJoinPlan:両側を SortPlan で包み、MergeJoinScan で読む
    • SortPlan.openSortScan:Open の中身を、*materialize.SortScan を返す非公開メソッドに移した。マージ結合の右側を、位置を戻せる SortScan として開くため

設計上の判断

  • SortPosition は、各 run の record id に加えて、どの run が現在の行か、各 run に行が残っているかも保存する。 SimpleDB は record id しか保存しないので、戻した後も「現在の run」と「行が残っているか」が古いまま残る。そのため、たとえば右の最後の値で右が尽きた後に左の同じ値の行が来ると、戻しても右を読めない(テストの「右の最後の値で尽きた後に戻す」ケース)。
  • 行が残っていない run の record id は保存しない。 空の run は一度も行の上にいたことがないので、CurrentRecordID が失敗する。
  • MergeJoinScan.MoveBeforeFirstRecord で、直前の結合値を忘れる。 SimpleDB は忘れないので、結合値が 1 種類しかないデータを読み直すと、右の最初の行が古い結合値と一致し、左がまだ行の上にいないのに組を返してしまう。
  • ないフィールドは NewMergeJoinPlan で拒む。 結合フィールドがその側にないと ErrFieldNotFound、両側が同じ名前のフィールドを持つと ErrDuplicateField を返す(ProductPlan / IndexJoinPlan と同じ)。
  • 見積もりは SimpleDB と同じ式。 BlocksAccessed は 2 つのソートの値の和、RecordsOutput は「左の行数 × 右の行数 ÷ 2 つの結合フィールドの distinct の大きいほう」、DistinctValues はそのフィールドを持つ側の値。

既知の制限

  • BlocksAccessed は、SortPlan と同じくソートの前処理(run への分割とマージ)を含まない。そのため、ソートしないプラン(積やインデックス結合)とコストで比べると、マージ結合は実際より安く見える。planner に組み込むときに、前処理のコストの扱いを決める必要がある。
  • RecordsOutput は、結合フィールドの distinct が 0 の側があると 0 で割る。今のプランはどれも 1 以上を返すので、確かめていない。
  • 結合は 1 つのフィールドどうしの等号だけ。
  • MergeJoinPlan はまだどの planner からも使われない。

テスト

  • SortScan の位置の保存と復元:途中で保存して最後まで読んでから戻す、両方の run が尽きた後に戻す、保存時の現在の run が 1 本目で最後に読んだのが 2 本目、保存時に 1 本目が尽きていた、空の run がある
  • MergeJoinScan:1 対 1、片側にしかない値を飛ばす、多対多、右の最後の値で尽きた後に戻す、戻した後に次の値へ進む、右が 2 本の run、左が空、右が空、結合値が 1 種類のデータの読み直し、HasField
  • MergeJoinPlan:名前の重なるフィールド・ない結合フィールドでのエラー、順番がばらばらの 2 つの表の結合(1 対 1、多対多、共通の値なし)、BlocksAccessed / RecordsOutput / DistinctValues / Schema
  • Red でスタブが nil を返して先に止まっていたケースや、スタブのままで通っていたケースは、Green の後に実装を 1 か所ずつ壊して、対応するケースが落ちることを確かめた
    • SortScan:「行が残っているか」を戻さない、戻した後の現在の run を 2 本目にする、尽きていた run も「行が残っている」にする、尽きた run にも record id を聞く
    • MergeJoinScan:左が同じ値のとき右を戻さない、読み直すときに結合値をリセットしない、値の大きい側を進める、HasField で右を見ない・常に true
    • MergeJoinPlan:左をソートしない、RecordsOutput で min で割る、DistinctValues で左だけを見る
  • 検証の途中で、SortScan の位置のテストの 1 件が、現在の run が古いまま残る誤りを捕まえていないことに気づき、最後に読む行が 2 本目の run から来るように直した

🤖 Generated with Claude Code

JunNishimura and others added 3 commits October 31, 2026 17:19
…ith which run it reads from and which have run out

マージ結合が、右の同じ結合値の行を左の行ごとに読み直すのに使う。
record id だけでは、戻した後にどの run から読むかと、尽きた run がどれかが古いまま残るので、一緒に保存する。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…ame value in a field of each

両側を結合値の順に並べて進め、左の同じ値の行ごとに右をその値の先頭に戻して組み直す。
読み直すときは直前の結合値を忘れ、左が行の上にいないまま組を返さないようにする。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…ting both and merging them

両側を結合フィールドでソートし、MergeJoinScan で読む。右は位置を戻すので SortScan として開く。
コストはソートと同じく前処理を含めないため、実際より安く見える。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
@JunNishimura
JunNishimura merged commit 2f5d12e into main Oct 31, 2026
2 checks passed
@JunNishimura
JunNishimura deleted the feat/merge-join branch October 31, 2026 10:06
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant