Repository navigation
HeuristicQueryPlanner を入れ、server のクエリを結合順を選んで計画する - #40
Merged
Merged
Conversation
… terms its records answer Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…de every record of one more table Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…hrough an index where that reads less Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…ving back the fewest records first Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…y planner Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
… it as one more table Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
ほかのテストが閉じずに残した DB のファイルは GC の finalizer がいつでも閉じるため、 プロセス全体の fd 数で比べると TestDBClose が不定に落ちていた。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…ables are joined in where 句の項を読む位置ごとに置くので、どのテーブルにもないフィールドの項は計画の時点で拒否される。 インデックス経由の結合のテストは、統計値が 0 件で見積もりが同点になることに頼っているので、その前提をコメントに残した。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
概要
query optimization の本体として、SimpleDB の
HeuristicQueryPlanner/TablePlannerに相当するプランナを追加し、server のクエリプランナをこれに差し替えた。#39 で入れたSelectSubPred/JoinSubPredをここで使う。これまでの
IndexQueryPlannerは、from 句に書かれた順にテーブルをつなぎ、where 句全体を最後に 1 つの select で検査していた。HeuristicQueryPlannerは、結合の順序を経験則で 1 テーブルずつ選び、where 句の各項を、そのフィールドが最初に揃う位置(テーブルを読む位置か、結合する位置)で検査する。plantablePlanner(非公開):from 句の名前 1 つについて、単独で読む計画(makeSelectPlan)、計画済みのものに結合する計画(makeJoinPlan)、計画済みのものと product を取る計画(makeProductPlan)を作るHeuristicQueryPlanner:返すレコードが最も少ないテーブルから始め、結合項でつながるテーブルを優先し、その中で返すレコードが最も少ないものを 1 つずつ加える。つながるテーブルがなければ、product の結果が最も少ないものを加えるcheapestIndexSelect:定数と等置されたインデックスを選ぶ処理を、IndexQueryPlanner.chooseIndexと共有するために切り出したparseViewDefinition:ビュー定義のパースを Basic / Index / Heuristic の 3 つのプランナで共有するためにまとめたserverOpenが作るプランナをIndexQueryPlannerからHeuristicQueryPlannerに差し替えた設計上の判断
tablePlannerに持たせる。インデックスがないので全件読みと product による結合になるが、項の配り方はテーブルと同じ。recordmanager.ErrFieldNotFoundで拒否する。 全体の select がないので、そのような項を置ける場所がない。黙って捨てると、その項で落とすはずだったレコードが結果に残ってしまう。cheaperJoinでBlocksAccessedを比べて決める。 同点ならインデックス結合を選ぶ。SimpleDB はインデックス結合ができれば常にそれを使う。makeSelectPlanで読む(インデックスが使えれば使う)。 SimpleDB は全件読みに select を被せる。product は右側を左側のチャンクごとに読み直すので、先に絞るほど読む量が減る。tablePlannerは非公開にした。HeuristicQueryPlannerの内部の部品で、ほかのパッケージから使う場面がないため。既知の制限
joinPredの select を被せる。IndexJoinPlanはoid = idの分だけ件数を絞った見積もりを返すが、その上のSelectPlanも同じoid = idで、もう一度RecordsOutputを割ってしまう。結果は正しいが、見積もりは実際より小さくなる。結合順の選び方が影響を受ける場合があるが、今回はこのままにした。TestDBPlannerJoinsThroughIndexesは、統計値に頼って通っている。 テーブルが小さいため統計値の件数が 0 件のままで、インデックス結合と product の見積もりがどちらも 1 ブロックになり、同点でインデックス結合が選ばれる。server の設定では test が 50 件ほどになると product の方が安くなり、このテストは落ちる。この前提はテストのコメントに書いた。golangci-lintは手元に入っていないため、ローカルでは実行していない。テスト
TestTablePlannerMakeSelectPlan:インデックスの有無、定数項と他の項の混在、他のテーブルとの項は検査しない、項がなければ select を被せないTestTablePlannerMakeProductPlan:右側を定数項で絞る(インデックスの有無の両方)、計画済みのものが左側に来る multibuffer product になるTestTablePlannerMakeJoinPlan:200 件ではインデックス結合、20 件では product の方が読むブロックが少なく product を選ぶ、インデックスがなければ product、結合項がなければ計画なしTestHeuristicQueryPlannerCreatePlan:定数項、結合項、結合項なしの product、どのテーブルにもないフィールドでのErrFieldNotFoundTestHeuristicQueryPlannerCreatePlanViews:ビューの項がインデックスまで届く、ビューとテーブルの結合、ビューにないフィールドでのErrFieldNotFoundTestHeuristicQueryPlannerCreatePlanOrder:返すレコードが少ないテーブルから始める、定数項で絞った後の件数で比べる、同点なら from 句の順、結合できるテーブルを product より先に加える、結合候補のうち少ないものを先に、product の候補のうち少ないものを先にTestDBPlannerRefusesUnknownFields(server):server のプランナが差し替わったことを、ErrFieldNotFoundが返ることで確かめるTestDBCloseが、ほかのテストが閉じずに残したファイルを GC が閉じるタイミングによって不定に落ちていたので、Open したディレクトリの下のファイルだけを数えるように直した(cde0bf0)。server のテストを 20 回流して落ちないこと、DB.Closeを空にすると落ちることを確かめた🤖 Generated with Claude Code