Skip to content

HeuristicQueryPlanner を入れ、server のクエリを結合順を選んで計画する - #40

Merged
JunNishimura merged 8 commits into
mainfrom
feat/heuristic-planner
Nov 14, 2026
Merged

JunNishimura merged 8 commits into
mainfrom
feat/heuristic-planner

Conversation

@JunNishimura

Copy link
Copy Markdown
Owner

概要

query optimization の本体として、SimpleDB の HeuristicQueryPlanner / TablePlanner に相当するプランナを追加し、server のクエリプランナをこれに差し替えた。#39 で入れた SelectSubPred / JoinSubPred をここで使う。

これまでの IndexQueryPlanner は、from 句に書かれた順にテーブルをつなぎ、where 句全体を最後に 1 つの select で検査していた。HeuristicQueryPlanner は、結合の順序を経験則で 1 テーブルずつ選び、where 句の各項を、そのフィールドが最初に揃う位置(テーブルを読む位置か、結合する位置)で検査する。

  • plan
    • tablePlanner(非公開):from 句の名前 1 つについて、単独で読む計画(makeSelectPlan)、計画済みのものに結合する計画(makeJoinPlan)、計画済みのものと product を取る計画(makeProductPlan)を作る
    • HeuristicQueryPlanner:返すレコードが最も少ないテーブルから始め、結合項でつながるテーブルを優先し、その中で返すレコードが最も少ないものを 1 つずつ加える。つながるテーブルがなければ、product の結果が最も少ないものを加える
    • cheapestIndexSelect:定数と等置されたインデックスを選ぶ処理を、IndexQueryPlanner.chooseIndex と共有するために切り出した
    • parseViewDefinition:ビュー定義のパースを Basic / Index / Heuristic の 3 つのプランナで共有するためにまとめた
  • server
    • Open が作るプランナを IndexQueryPlanner から HeuristicQueryPlanner に差し替えた

設計上の判断

  • ビューは「インデックスのないテーブル」として扱う。 ビュー定義をこのプランナで再帰的に計画し、その計画を tablePlanner に持たせる。インデックスがないので全件読みと product による結合になるが、項の配り方はテーブルと同じ。
  • どのテーブルにもないフィールドを含む項は、計画時に recordmanager.ErrFieldNotFound で拒否する。 全体の select がないので、そのような項を置ける場所がない。黙って捨てると、その項で落とすはずだったレコードが結果に残ってしまう。
  • インデックス結合と product のどちらにするかは、既存の cheaperJoin で BlocksAccessed を比べて決める。 同点ならインデックス結合を選ぶ。SimpleDB はインデックス結合ができれば常にそれを使う。
  • product の右側は makeSelectPlan で読む(インデックスが使えれば使う)。 SimpleDB は全件読みに select を被せる。product は右側を左側のチャンクごとに読み直すので、先に絞るほど読む量が減る。
  • 返すレコード数が同点なら、from 句で先に書かれたテーブルを選ぶ。 同じクエリの計画が実行ごとに変わらないようにするため。インデックスを選ぶ時も、同点ならフィールド名の順で先のものを選ぶ。
  • tablePlanner は非公開にした。 HeuristicQueryPlanner の内部の部品で、ほかのパッケージから使う場面がないため。

既知の制限

  • インデックス結合の見積もりで、インデックスで絞った項をもう一度数えている(SimpleDB と同じ)。 インデックス結合の上には joinPred の select を被せる。IndexJoinPlan は oid = id の分だけ件数を絞った見積もりを返すが、その上の SelectPlan も同じ oid = id で、もう一度 RecordsOutput を割ってしまう。結果は正しいが、見積もりは実際より小さくなる。結合順の選び方が影響を受ける場合があるが、今回はこのままにした。
  • TestDBPlannerJoinsThroughIndexes は、統計値に頼って通っている。 テーブルが小さいため統計値の件数が 0 件のままで、インデックス結合と product の見積もりがどちらも 1 ブロックになり、同点でインデックス結合が選ばれる。server の設定では test が 50 件ほどになると product の方が安くなり、このテストは落ちる。この前提はテストのコメントに書いた。
  • golangci-lint は手元に入っていないため、ローカルでは実行していない。

テスト

  • TestTablePlannerMakeSelectPlan:インデックスの有無、定数項と他の項の混在、他のテーブルとの項は検査しない、項がなければ select を被せない
  • TestTablePlannerMakeProductPlan:右側を定数項で絞る(インデックスの有無の両方)、計画済みのものが左側に来る multibuffer product になる
  • TestTablePlannerMakeJoinPlan:200 件ではインデックス結合、20 件では product の方が読むブロックが少なく product を選ぶ、インデックスがなければ product、結合項がなければ計画なし
  • TestHeuristicQueryPlannerCreatePlan:定数項、結合項、結合項なしの product、どのテーブルにもないフィールドでの ErrFieldNotFound
  • TestHeuristicQueryPlannerCreatePlanViews:ビューの項がインデックスまで届く、ビューとテーブルの結合、ビューにないフィールドでの ErrFieldNotFound
  • TestHeuristicQueryPlannerCreatePlanOrder:返すレコードが少ないテーブルから始める、定数項で絞った後の件数で比べる、同点なら from 句の順、結合できるテーブルを product より先に加える、結合候補のうち少ないものを先に、product の候補のうち少ないものを先に
  • TestDBPlannerRefusesUnknownFields(server):server のプランナが差し替わったことを、ErrFieldNotFound が返ることで確かめる
  • 各タスクの Green の後、実装を 1 か所ずつ壊して、対応するケースが落ちることを確かめた。product の候補同士を比べない変異だけはどのケースも落ちなかったので、それを確かめるケースを足した
  • TestDBClose が、ほかのテストが閉じずに残したファイルを GC が閉じるタイミングによって不定に落ちていたので、Open したディレクトリの下のファイルだけを数えるように直した(cde0bf0)。server のテストを 20 回流して落ちないこと、DB.Close を空にすると落ちることを確かめた

🤖 Generated with Claude Code

JunNishimura and others added 8 commits November 14, 2026 20:50
… terms its records answer

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…de every record of one more table

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…hrough an index where that reads less

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…ving back the fewest records first

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…y planner

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
… it as one more table

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
ほかのテストが閉じずに残した DB のファイルは GC の finalizer がいつでも閉じるため、
プロセス全体の fd 数で比べると TestDBClose が不定に落ちていた。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…ables are joined in

where 句の項を読む位置ごとに置くので、どのテーブルにもないフィールドの項は計画の時点で拒否される。
インデックス経由の結合のテストは、統計値が 0 件で見積もりが同点になることに頼っているので、その前提をコメントに残した。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
@JunNishimura
JunNishimura merged commit e93bfd7 into main Nov 14, 2026
2 checks passed
@JunNishimura
JunNishimura deleted the feat/heuristic-planner branch November 14, 2026 15:25
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant