Skip to content

一時テーブルと MaterializePlan を入れる - #33

Merged
JunNishimura merged 3 commits into
mainfrom
feat/temp-table
Oct 29, 2026
Merged

JunNishimura merged 3 commits into
mainfrom
feat/temp-table

Conversation

@JunNishimura

Copy link
Copy Markdown
Owner

概要

ソート・グループ化・マージ結合(materialization)の土台として、演算子が入力を書き出して読み直すための一時テーブルと、プランの行を一時テーブルに書き出して読む MaterializePlan を追加した。SimpleDB の TempTable / MaterializePlan に相当する。

この PR ではまだ planner からは使わない。ソート(SortPlan)、グループ化(GroupByPlan)、マージ結合(MergeJoinPlan)を次以降の PR で、この上に作る。

  • materialize(新しいパッケージ)
    • TempTable:カタログに載らない一時テーブル。他のテーブルと重ならない名前を付け、Open で query.UpdateScan を返す
  • file_manager
    • TempFilePrefix:一時テーブルのファイル名の接頭辞(#temp)
    • NewFileManager:起動時に、この接頭辞で始まるファイルを消す
  • plan
    • MaterializePlan:Open で下のプランを最後まで読んで一時テーブルに写し、一時テーブルのスキャンを返す

設計上の判断

  • 一時テーブルの名前は #temp + 連番。 SimpleDB は temp + 連番で、起動時に temp で始まるファイルを消すが、それだとユーザーが作った temp_x のようなテーブルも消える。_ は識別子の先頭に使えるので、_temp でも同じことが起きる。# は字句解析器が識別子の一部にしないので、SQL からこの名前のテーブルは作れず、ユーザーのテーブルと重ならない。
  • 接頭辞は file_manager に置く。 起動時に消すのは FileManager で、file_manager は materialize を import できない(循環する)ため。materialize はこの定数を参照する。
  • 起動時に一時ファイルを消してから、DB が新しいかを判定する。 一時ファイルしかないディレクトリを「既存の DB」とみなすと、カタログを作らずに空のログでリカバリしてしまう。GoSQL 自身の動きではこの状態にならない(一時テーブルを作る前に必ずログができている)が、判定を消した後のファイルで行えば、この状態でも新しい DB として正しく始まる。
  • 連番はすべてのトランザクションで共有する(atomic.Int64)。 一時テーブルはすべて同じディレクトリに置くため。
  • MaterializePlan.BlocksAccessed は一時テーブルを読むブロック数だけ(SimpleDB と同じ)。 書き出しは Open の 1 回だけで、BlocksAccessed は上の演算子が何度も読み直すときのコストを表すため。他の数値は下のプランのものを返す。
  • Open は下のプランを読み終えたら閉じる。 返すスキャンは一時テーブルだけを持つ。途中で失敗したら、開いたスキャンを閉じてからエラーを返す。

既知の制限

  • 一時テーブルへの書き込みもログに残る。一時テーブルはリカバリで戻す必要がないので無駄だが、ミニマムな実装として今は区別しない。
  • クエリが終わっても一時テーブルのファイルは消さず、次の起動時にまとめて消す(SimpleDB と同じ)。
  • MaterializePlan はまだどの planner からも使われない。

テスト

  • TempTable:2 つ作ると名前が違うこと、名前が SQL でテーブル名として書けないこと(select id from <名前> がパースエラーになる)、作ったときのスキーマのレイアウトを持つこと、書いた行を別のスキャンで読み戻せること
    • 名前のテストは、Red ではスタブの空の名前で止まっていたので、Green の後に接頭辞を一時的に _temp にして落ちることを確かめた
  • NewFileManager / IsNew:一時ファイルを消して他のファイルを残すこと、一時ファイルしかないディレクトリを新しい DB と報告すること
  • MaterializePlan:Open で全行を id と name とも読めること、開いた後に元のテーブルを全件消しても読めること(一時テーブルに写していることの確認)、BlocksAccessed(0 行・1 ブロックちょうど・1 行あふれる場合)、RecordsOutput / DistinctValues / Schema
    • BlocksAccessed の 0 行のケースはスタブでも通っていたので、Green の後に式を records/rpb + 1 に壊して落ちることを確かめた

🤖 Generated with Claude Code

JunNishimura and others added 3 commits October 29, 2026 00:26
…and read it back from

ソートやグループ化が入力を一度書き出して読み直すための一時テーブル。
名前は字句解析器が識別子にしない '#' で始め、ユーザーのテーブルと衝突しないようにする。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…database is opened

一時テーブルはクエリの間しか使わないため、起動時に残っているものは停止前に消せなかった残骸。
接頭辞を file_manager に置き、materialize からも同じ定義を参照する。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…ng them from there

ソートやグループ化が入力を何度も読み直すとき、元のプランを毎回計算し直さずに済むようにする。
コストは一時テーブルを読む分だけとし、書き出しは Open 時の一度きりなので含めない。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
@JunNishimura
JunNishimura merged commit 38ba859 into main Oct 29, 2026
2 checks passed
@JunNishimura
JunNishimura deleted the feat/temp-table branch October 29, 2026 14:32
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant