Skip to content

グループ化と集約を行う GroupByPlan を入れる - #35

Merged
JunNishimura merged 4 commits into
mainfrom
feat/group-by
Oct 31, 2026
Merged

JunNishimura merged 4 commits into
mainfrom
feat/group-by

Conversation

@JunNishimura

Copy link
Copy Markdown
Owner

概要

プランの行をフィールドの値でグループに分け、グループごとに count / max を求める GroupByPlan を追加した。SimpleDB の AggregationFn / CountFn / MaxFn / GroupValue / GroupByScan / GroupByPlan に相当する。#34 の SortPlan の上に作っている。

この PR ではまだ planner からは使わない(group by も集約関数も解析しない)。

  • materialize
    • AggregationFn:グループの行を 1 行ずつ受け取って値を求める集約関数のインターフェース。グループの最初の行で ProcessFirst、続く行で ProcessNext を呼ぶ
    • CountFn(countof<field>)、MaxFn(maxof<field>)
    • GroupValue:グループ化するフィールドについて、行が持つ値の組
    • GroupByScan:グループ化するフィールドでソート済みの入力を 1 回読み、グループごとに 1 行を返す
  • plan
    • GroupByPlan:入力を SortPlan でグループ化するフィールドの順に並べ、GroupByScan で読む

設計上の判断

  • 集約結果のフィールドの型は、各集約関数が決める(AggregationFn.AddFieldTo)。 SimpleDB の GroupByPlan は、集約結果のフィールドをすべて int としてスキーマに足すので、varchar の max が int になる。CountFn は int、MaxFn は元のフィールドと同じ型と長さにした。
  • ないフィールドは NewGroupByPlan で拒む。 グループ化するフィールドと max のフィールドが入力にないと ErrFieldNotFound を返す。ProjectPlan と同じく、プランを組む段階でわかるようにするため。
  • GroupValue は map ではなく、フィールド名と値の 2 つの slice で持つ。 Constant は == で比べられるので、slices.Equal でグループの境目を判定できる。Go の map は == で比べられない。
  • GroupByPlan.DistinctValues は、グループ化するフィールドなら入力の値、それ以外(集約結果)ならグループ数を返す。 SimpleDB は「入力のスキーマにあるか」で分けるので、グループ化していない入力のフィールドにも入力の値を返してしまう。
  • RecordsOutput は、グループ化するフィールドごとの distinct の積(SimpleDB と同じ)。 フィールドがなければ 1。BlocksAccessed は SortPlan と同じく、ソート済みの行を 1 回読むコストだけ。
  • GroupByScan.GetValue は、グループの上にいなければ ErrNoCurrentRecord、グループ化も集約もしていないフィールドなら ErrFieldNotFound を返す。

既知の制限

  • 集約関数は値を持つ(状態がある)ので、同じ GroupByPlan から 2 つのスキャンを同時に開くと、互いの値を上書きする。今は 1 つのプランを 1 回だけ開く使い方しかないので、そのままにした。
  • 空の入力をフィールドなしでグループ化すると、0 行を返す。SQL の select count(x) from t は空の表でも count 0 の 1 行を返すが、それには合わせていない(SimpleDB と同じ)。
  • 集約関数は count と max だけ。
  • GroupByPlan はまだどの planner からも使われない。

テスト

  • CountFn / MaxFn:フィールド名、1 行・複数行のグループの値、次のグループで値をやり直すこと、int と varchar の max、max で型の違う値を比べると ErrConstantTypeMismatch、AddFieldTo の型と長さ、ないフィールドの max は ErrFieldNotFound
  • GroupValue:グループ化するフィールドの値を返すこと、グループ化していないフィールドは持たないこと、Equals(同じ値、1 つのフィールドだけ違う値、グループ化していないフィールドだけ違う値)
  • GroupByScan:3 つのグループ、1 つのグループ、0 行、グループ化するフィールドなし(全体で 1 グループ)、読み直し、知らないフィールドで ErrFieldNotFound、移動の前に読むと ErrNoCurrentRecord、HasField
  • GroupByPlan:ないフィールドで ErrFieldNotFound、順番がばらばらの表をグループ化(ソートされること)、フィールドなし、空の表、BlocksAccessed / RecordsOutput / DistinctValues / Schema
  • Red でスタブが nil を返して先に止まっていたケースや、スタブのままで通っていたケースは、Green の後に実装を 1 か所ずつ壊して、対応するケースが落ちることを確かめた
    • CountFn / MaxFn:次のグループで値をやり直さない
    • GroupValue:グループ化していないフィールドも持つと答える、最後のフィールドを比べない
    • GroupByScan:グループの境目を見ない、最後のグループを返さない、読み直しで入力を巻き戻さない、HasField が常に true、知らないフィールドで別のエラーを返す
    • GroupByPlan:入力をソートしない、グループ数を distinct の和にする、集約フィールドの DistinctValues に入力の値を返す

🤖 Generated with Claude Code

JunNishimura and others added 4 commits October 31, 2026 00:33
…value a field holds in it

グループ化で使う集約関数。グループの最初の行で値をやり直し、続く行で更新する形にする。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
… by groups on

グループ化で、行が直前のグループに属するかを判定し、グループのフィールドの値を返すのに使う。
Constant は == で比べられるので、map ではなく slice で持って slices.Equal で比べる。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
… the values of its aggregation functions

ソート済みの入力では同じグループの行が隣り合うので、入力を一度読むだけでグループごとの集約値を出せる。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…with the values of its aggregation functions

入力をグループのフィールドでソートしてから GroupByScan で読む。
集約結果のフィールドの型は各集約関数が決め、varchar の max が int にならないようにする。

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
@JunNishimura JunNishimura self-assigned this Oct 31, 2026
@JunNishimura
JunNishimura merged commit 614a688 into main Oct 31, 2026
2 checks passed
@JunNishimura
JunNishimura deleted the feat/group-by branch October 31, 2026 07:10
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant