Skip to content

マージソートで並べ替える SortPlan を入れる - #34

Merged
JunNishimura merged 3 commits into
mainfrom
feat/sort
Oct 30, 2026
Merged

JunNishimura merged 3 commits into
mainfrom
feat/sort

Conversation

@JunNishimura

Copy link
Copy Markdown
Owner

概要

プランの行をフィールドの並びの順に読む SortPlan を、マージソートで実装した。SimpleDB の RecordComparator / SortScan / SortPlan に相当する。#33 の一時テーブルの上に作っている。

この PR ではまだ planner からは使わない(order by もない)。次以降の PR で、グループ化(GroupByPlan)とマージ結合(MergeJoinPlan)がこれを使う。

  • materialize
    • RecordComparator:フィールドの並びで 2 つのスキャンの現在の行を比べる(最初のフィールドで決まらなければ次のフィールド、の順)
    • SortScan:ソート済みの run を 1〜2 本開き、読みながらマージして順に返す
  • plan
    • SortPlan:Open で、入力を run に分け、run が 2 本以下になるまで 2 本ずつマージして一時テーブルに書き、最後の 2 本を SortScan で返す
    • copyRecord:MaterializePlan の copyRecords から 1 行を写す部分を切り出し、run の書き出しとマージでも使う

設計上の判断

  • SortPlan.BlocksAccessed はソート済みの行を 1 回読むコスト(MaterializePlan と同じ値)だけで、前処理(run への分割とマージ)を含めない。 SimpleDB と同じ。前処理は Open の 1 回だけで、BlocksAccessed は上の演算子が読み直すたびのコストを表すため(一時テーブルと MaterializePlan を入れる #33 の MaterializePlan と同じ考え方)。加えて、マージの回数は run の数で決まり、run の数は行の並び方で 1 本から行数まで変わるので、統計からは見積もれない。
  • 最後のマージは書き出さず、SortScan が読みながら行う。 最後のマージの結果を一時テーブルに書いて読み直す分(2B)が省ける。
  • 入力が 0 行でも、空の run を 1 本作る。 SimpleDB は 0 行だと run が 0 本になり、SortScan が runs.get(0) で落ちる。SortScan は run が 1〜2 本でなければエラーを返す。
  • SortScan.HasField は 1 本目の run に聞く。 SimpleDB は現在の run に聞くので、行を読む前に聞くと nil を参照する。どの run も入力と同じスキーマなので、1 本目で答えられる。
  • 比べて同じ行は、前の run の行を先にする。 SortScan と、2 本の run のマージの両方で同じ規則にした。
  • SortScan の位置の保存と復元(savePosition / restorePosition)はこの PR に入れない。 マージ結合でしか使わないので、マージ結合の PR で入れる。SimpleDB の実装は record id しか保存しないため、復元した後に「現在の run」と「各 run に行が残っているか」が古いまま残る。そこで、マージ結合の PR ではこれらも一緒に保存する。

既知の制限

  • SortPlan はまだどの planner からも使われない。order by も解析しない。
  • ソートするフィールドがプランのスキーマにあるかは、NewSortPlan では確かめない。ないフィールドを指定すると、Open で行を比べるときにエラーになる。
  • 2 本ずつしかマージしない(k = 2)。バッファの数に合わせて、より多くの run を一度にマージすることはしない。
  • run とマージ結果の一時テーブルは、読み終えても消さず、次の起動時にまとめて消す(一時テーブルと MaterializePlan を入れる #33 と同じ)。

テスト

  • RecordComparator:最初のフィールドで決まる場合、同じなら次のフィールドで決まる場合、フィールドの並び順が効くこと、すべて同じなら 0、指定していないフィールドは見ないこと、int と varchar を比べると ErrConstantTypeMismatch
  • SortScan:run 1 本、2 本のマージ、片方が先に尽きる場合、2 本に同じ id がある場合、先頭の run が空の場合、空の run 1 本、読み直し、name も一緒に読めること、run が 0 本・3 本ならエラー、HasField
  • SortPlan:すでに順に並んだ表(run 1 本)、逆順の 20 行(run 20 本から 4 回マージ)、順番がばらばらで重複のある表、空の表、name でのソート(name10 が name2 より前になる、文字列の順)、BlocksAccessed / RecordsOutput / DistinctValues / Schema
  • Red でスタブが nil を返して先に止まっていたケースや、0 を返すスタブで通っていたケースは、Green の後に実装を 1 か所ずつ壊して、対応するケースが落ちることを確かめた
    • RecordComparator:全フィールドが同じときに -1 を返す、指定していないフィールドも比べる
    • SortScan:比べる向きを逆にする、2 本目の run を見ない、読み直しで run を巻き戻さない、HasField が常に false / true、GetString を常に 1 本目から読む、同じ値の 2 本目の行を飛ばす
    • SortPlan:順序が崩れても run を切らない、マージを 1 回でやめる、空の入力で run を作らない

🤖 Generated with Claude Code

JunNishimura and others added 3 commits October 30, 2026 21:09
…elds

ソートの run の分割とマージ、マージ結合で、2 つのスキャンの現在の行の前後を決めるのに使う。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…, merging them as it goes

ソートの最後のマージを読み出しながら行い、結果を一時テーブルに書き直さずに済ませる。
入力が 0 行でも run は 1 本あるとし、run の本数が 1〜2 本でなければエラーにする。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…s by merge sort

グループ化とマージ結合が、入力を並べ替えてから読めるようにする。
コストはソート済みの行を一度読む分だけとし、run の数は行の並びで決まり見積もれないため前処理は含めない。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
@JunNishimura JunNishimura self-assigned this Oct 30, 2026
@JunNishimura
JunNishimura merged commit d4482e6 into main Oct 30, 2026
1 of 2 checks passed
@JunNishimura
JunNishimura deleted the feat/sort branch October 30, 2026 14:43
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant