Repository navigation
ソートとマージで結合する MergeJoinPlan を入れる - #36
Merged
Merged
Conversation
…ith which run it reads from and which have run out マージ結合が、右の同じ結合値の行を左の行ごとに読み直すのに使う。 record id だけでは、戻した後にどの run から読むかと、尽きた run がどれかが古いまま残るので、一緒に保存する。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…ame value in a field of each 両側を結合値の順に並べて進め、左の同じ値の行ごとに右をその値の先頭に戻して組み直す。 読み直すときは直前の結合値を忘れ、左が行の上にいないまま組を返さないようにする。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…ting both and merging them 両側を結合フィールドでソートし、MergeJoinScan で読む。右は位置を戻すので SortScan として開く。 コストはソートと同じく前処理を含めないため、実際より安く見える。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
概要
2 つのプランを、それぞれのフィールドの値が等しい行どうしで結合する
MergeJoinPlanを追加した。両側を結合フィールドでソートしてから、並べて進めて組を作る。SimpleDB のMergeJoinScan/MergeJoinPlanと、SortScanのsavePosition/restorePositionに相当する。#34 のSortPlanの上に作っている。これで materialization の計画(一時テーブル #33、ソート #34、グループ化 #35、マージ結合)がそろう。この PR でもまだ planner からは使わない。
materializeSortScan.SavePosition/RestorePosition(SortPosition):ソートスキャンの位置を保存して戻す。マージソートで並べ替える SortPlan を入れる #34 で後回しにした分MergeJoinScan:左(任意のスキャン)と右(SortScan)を、どちらも結合フィールドの順に並んだ状態で受け取り、値の小さい側を進めながら、同じ値の組を返す。左の行が直前と同じ値なら、右をその値の最初の行に戻して組み直すplanMergeJoinPlan:両側をSortPlanで包み、MergeJoinScanで読むSortPlan.openSortScan:Openの中身を、*materialize.SortScanを返す非公開メソッドに移した。マージ結合の右側を、位置を戻せるSortScanとして開くため設計上の判断
SortPositionは、各 run の record id に加えて、どの run が現在の行か、各 run に行が残っているかも保存する。 SimpleDB は record id しか保存しないので、戻した後も「現在の run」と「行が残っているか」が古いまま残る。そのため、たとえば右の最後の値で右が尽きた後に左の同じ値の行が来ると、戻しても右を読めない(テストの「右の最後の値で尽きた後に戻す」ケース)。CurrentRecordIDが失敗する。MergeJoinScan.MoveBeforeFirstRecordで、直前の結合値を忘れる。 SimpleDB は忘れないので、結合値が 1 種類しかないデータを読み直すと、右の最初の行が古い結合値と一致し、左がまだ行の上にいないのに組を返してしまう。NewMergeJoinPlanで拒む。 結合フィールドがその側にないとErrFieldNotFound、両側が同じ名前のフィールドを持つとErrDuplicateFieldを返す(ProductPlan/IndexJoinPlanと同じ)。BlocksAccessedは 2 つのソートの値の和、RecordsOutputは「左の行数 × 右の行数 ÷ 2 つの結合フィールドの distinct の大きいほう」、DistinctValuesはそのフィールドを持つ側の値。既知の制限
BlocksAccessedは、SortPlanと同じくソートの前処理(run への分割とマージ)を含まない。そのため、ソートしないプラン(積やインデックス結合)とコストで比べると、マージ結合は実際より安く見える。planner に組み込むときに、前処理のコストの扱いを決める必要がある。RecordsOutputは、結合フィールドの distinct が 0 の側があると 0 で割る。今のプランはどれも 1 以上を返すので、確かめていない。MergeJoinPlanはまだどの planner からも使われない。テスト
SortScanの位置の保存と復元:途中で保存して最後まで読んでから戻す、両方の run が尽きた後に戻す、保存時の現在の run が 1 本目で最後に読んだのが 2 本目、保存時に 1 本目が尽きていた、空の run があるMergeJoinScan:1 対 1、片側にしかない値を飛ばす、多対多、右の最後の値で尽きた後に戻す、戻した後に次の値へ進む、右が 2 本の run、左が空、右が空、結合値が 1 種類のデータの読み直し、HasFieldMergeJoinPlan:名前の重なるフィールド・ない結合フィールドでのエラー、順番がばらばらの 2 つの表の結合(1 対 1、多対多、共通の値なし)、BlocksAccessed/RecordsOutput/DistinctValues/SchemaSortScan:「行が残っているか」を戻さない、戻した後の現在の run を 2 本目にする、尽きていた run も「行が残っている」にする、尽きた run にも record id を聞くMergeJoinScan:左が同じ値のとき右を戻さない、読み直すときに結合値をリセットしない、値の大きい側を進める、HasFieldで右を見ない・常に trueMergeJoinPlan:左をソートしない、RecordsOutputで min で割る、DistinctValuesで左だけを見るSortScanの位置のテストの 1 件が、現在の run が古いまま残る誤りを捕まえていないことに気づき、最後に読む行が 2 本目の run から来るように直した🤖 Generated with Claude Code