Repository navigation
右側をチャンクごとに読む MultibufferProductPlan を入れる - #38
Merged
Merged
Conversation
チャンクをブロック番号でピンするスキャンが TableScan と同じファイルを読むよう、拡張子を付ける処理を 1 か所にまとめる。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…ding them all pinned マルチバッファ積が右側をチャンクごとに何度も読み直す間、ディスクを読まずに済むようにするため。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…a table read a chunk at a time 右側をチャンクごとにバッファへ載せたまま左を読み直すことで、左のレコードごとに右を読み直す素の積よりブロックアクセスを減らすため。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
… of another, reading the right a chunk at a time チャンク数の見積もりは、SimpleDB の「右のブロック数 ÷ 空き」ではなく、スキャンが実際に使う BestFactor で数える。 右が空きより小さいと 0 チャンクになり、左を読むコストが消えてしまうため。 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
概要
2 つのプランの積を、右側をいくつかのブロックのチャンクにまとめてバッファに載せたまま読む
MultibufferProductPlanを追加した。SimpleDB のChunkScan/MultibufferProductScan/MultibufferProductPlanに相当する。#37 のBestFactorでチャンクの大きさを決める。素の
ProductPlanは左のレコードごとに右を読み直すが、こちらは右のチャンクごとに左を読み直す。右がチャンク 1 つに収まれば、左も右も 1 回ずつ読むだけで済む。この PR ではまだ planner からは使わない。queryTableFileName:テーブル名からファイル名を作る処理を公開関数に切り出した。TableScanもこれを使うmultibufferChunkScan:1 つのファイルのブロック範囲 [start, end] をまとめてピンし、その中のレコードを順に読む。読み取り専用で、Closeで全部のピンを外すMultibufferProductScan:左のスキャンと右のテーブルを受け取り、チャンクごとにProductScan(左, チャンク)を組み直す。チャンクの大きさは作った時点の空きバッファ数からBestFactorで決めるplanMultibufferProductPlan:左をMaterializePlanで包み、右を一時テーブルにコピーしてからMultibufferProductScanを開く設計上の判断
query.TableFileNameで作る。 SimpleDB のMultibufferProductScanはtblname + ".tbl"と、TableScanと同じ処理をもう一度書いている。拡張子を変えたときに片方だけ直し忘れると、ChunkScanが別のファイルを読むことになるので、1 か所にまとめた。BlocksAccessedのチャンク数は、スキャンと同じBestFactorで数える。 式は右のコスト + materialize した左 × ceil(コピーのブロック数 ÷ BestFactor(空き, コピーのブロック数))。SimpleDB は、スキャンではbestFactorを使うのに、見積もりでは「右のブロック数 ÷ 空きバッファ数」の整数除算でチャンク数を出している。そのため、右が空きより小さいと 0 チャンクになり、左を読むコストが消える。ProductScanを組み直す。ProductScan.Closeは左まで閉じてしまうため。古いチャンクを閉じてから次をピンするのは、チャンクの大きさを「チャンクを 1 つもピンしていないときの空き」で決めているから。ChunkScanは、レコードの上にいないときや閉じた後に読まれるとErrNoCurrentRecordを返す。TableScanに合わせた。閉じた後でもパニックしない。既知の制限
BlocksAccessedもチャンクの大きさも、呼んだ時点の空きバッファ数で変わる。プランを見積もった時点と開いた時点とで値がずれることがある。ProductScanとは並びが違う。積は順番を約束しないので、正しさの問題ではない。MultibufferProductPlanはまだどの planner からも使われない。テスト
ChunkScan:範囲内のブロックだけを順に読む、途中の空ブロックを飛ばす、空ブロック 1 つ、最初から読み直す、作るとピンが範囲のブロック数だけ増える、閉じると全部外れる、最後のブロックが最初より前なら拒む、値の読み取り(int・varchar・定数)、レコードの上にいないときのErrNoCurrentRecord、HasFieldMultibufferProductScan:1 チャンクに収まる、4 ブロックと 3 ブロックのチャンクに分かれる(組の並びでチャンクの切れ目が見える)、左が空、右が空、2 つ目のチャンクまで読んでから最初に戻す、作ると最初のチャンクがピンされる、閉じると左とチャンクのバッファが全部空きに戻る、両側の値の読み取り、HasFieldMultibufferProductPlan:同じ名前のフィールドでErrDuplicateField、2 つの表の積、開いて閉じるとバッファが全部空きに戻る、BlocksAccessed(コピーが 1 ブロックと 10 ブロックの 2 ケース。どちらも SimpleDB の式とは答えが分かれる)、RecordsOutput/DistinctValues/SchemaChunkScan:最後のブロックで尽きても true を返す、HasFieldが常に trueMultibufferProductScan:最後のチャンクが尽きても true を返す、HasFieldが常に trueMultibufferProductPlan:右をコピーしない、コピー先への書き込みスキャンを閉じないOpenが途中で失敗したときの後始末、古いチャンクを閉じてから次をピンする順番(逆にしても、テストのプールの大きさでは落ちない)golangci-lintは手元に入っていないため、ローカルでは実行していない🤖 Generated with Claude Code