Repository navigation
Conversation
🤖 Webitel Code ReviewДодано механізм валідації кастомних виразів сортування через новий інтерфейс CustomSorter для запобігання SQL-ін'єкціям у GetOrderBy. Оновлено виклики GetOrderBy та обробку помилок валідації параметрів сортування в кількох сторах. 📋 Walkthrough (7 файл(и/ів))
Знахідки
🔗 Cross-repo callers змінених символів (10)
Index-grounded review across the Webitel codebase. Знахідки можуть бути неточними — перевіряйте перед застосуванням. |
5fc5bc5 to
aaac02e
Compare
| err = s.multiDeleteWithoutResult(ctx, sort, limit, filters) | ||
| } else { | ||
| res, err = s.multiDelete(ctx, sort, limit, filters) | ||
| res, err = s.multiDelete(ctx, sort, sort, filters) |
There was a problem hiding this comment.
Передаємо правильну змінну limit замість повторного sort
| res, err = s.multiDelete(ctx, sort, sort, filters) | |
| res, err = s.multiDelete(ctx, sort, limit, filters) |
aaac02e to
589d332
Compare
| err = s.multiDeleteWithoutResult(ctx, sort, limit, filters) | ||
| } else { | ||
| res, err = s.multiDelete(ctx, sort, limit, filters) | ||
| res, err = s.multiDelete(ctx, sort, sort, filters) |
There was a problem hiding this comment.
Виправлено передачу аргументу limit замість повторного sort
| res, err = s.multiDelete(ctx, sort, sort, filters) | |
| res, err = s.multiDelete(ctx, sort, limit, filters) |
589d332 to
78c5f64
Compare
| parsedFields := strings.Join(fields, ", ") | ||
|
|
||
|
|
||
| order, err := GetOrderBy(model.QuickReply{}.EntityName(), search.Sort) |
There was a problem hiding this comment.
Передати екземпляр model.QuickReply{} третім аргументом для перевірки сортування.
| order, err := GetOrderBy(model.QuickReply{}.EntityName(), search.Sort) | |
| order, err := GetOrderBy(model.QuickReply{}.EntityName(), search.Sort, model.QuickReply{}) |
| } | ||
|
|
||
| return GetOrderBy("cc_member", sort) | ||
| order, err := GetOrderBy("cc_member", sort) |
There was a problem hiding this comment.
Передати екземпляр model.Member{} третім аргументом.
| order, err := GetOrderBy("cc_member", sort) | |
| order, err := GetOrderBy("cc_member", sort, model.Member{}) |
|
|
||
| if search.Sort != "" { | ||
| sort = GetOrderBy(model.Member{}.EntityName(), search.Sort) | ||
| if sort, err = GetOrderBy(model.Member{}.EntityName(), search.Sort); err != nil { |
There was a problem hiding this comment.
Передати екземпляр model.Member{} третім аргументом.
| if sort, err = GetOrderBy(model.Member{}.EntityName(), search.Sort); err != nil { | |
| if sort, err = GetOrderBy(model.Member{}.EntityName(), search.Sort, model.Member{}); err != nil { |
78c5f64 to
6ce7b9b
Compare
| return "", nil | ||
| } | ||
|
|
||
| if isRawOrder(s) { |
There was a problem hiding this comment.
думаю, проблема в тому, що через цю перевірку зараз ідуть і клієнтський sort, і наші внутрішні вирази. звідси і дублі сирого SQL у CustomSorts(), і регресія: в активних дзвінках rewriteCallSort перетворює +from / -to на coalesce(...), у model.Call нема CustomSorts, тож сортування по from/to (WTEL-9468) тепер падає з 500
пропоную розділити:
- від клієнта приймати лише
[+-]field, будь-який сирий вираз — 400 (поле і так квотиться черезQuoteIdentifier, а перевірка поAllowFields()— як бонус); - внутрішні вирази (
DefaultOrder, сорт форм аудиту по команді, from/to в дзвінках) передавати вBuildвже готовим order, без валідації.
тоді CustomSorts і isRawOrder взагалі не потрібні. що скажеш?
There was a problem hiding this comment.
від клієнта приймати лише [+-]field, будь-який сирий вираз — 400
well, першочергово я так і робив, бо не хотів сильно зачіпати обробку на рівні доступу до бази, але обробка запитів до бази була єдиним централізованим місцем, де це все можна відловити
якщо робити так, щоб відловлювати клієнтські запити, то це на рівні delivery або app/control треба додавати метод на кожен Get ендпоінт вручну на перевірку, чи філд входить до дозволених для сорту + це потрібно не забувати додавати на нові ендпоінти і так як в go немає махенізму якогось явного аспект орієнтованого програмування, то це потрібно реалізовувати явними викликами методів
але я погоджуюся, що так простіше в плані реалізації і викликає менше проблем описаних нижче в коментах і якщо додавання такої перевірки ок в усі методи List в сервісі engine, то мені не важко так переписати
There was a problem hiding this comment.
по ендпоінтах розносити не треба, перевірка все ж лишається централізовано в Build / GetOrderBy, як у тебе..
різниця лише в тому, що саме ми там валідуємо:
req.Sortвід клієнта - лише[+-]field, деfieldє вAllowFields(), інакшеErrInvalidSortField. тоді йisRawOrderне потрібенDefaultOrder()- це наш код, тожBuildбере його без перевірки, колиreq.Sortпорожній- from/to в дзвінках - клієнт шле
+from, це звичайне поле. а підміну поля на вираз може віддавати сама сутність (умовноSortExpr(field)наmodel.Call, приклад нижче), іBuildпідставляє її вже після валідації - сорт форм аудиту по команді - окремим order, який стор передає поруч з
req, а не черезsearch.Sort
тоді нові ендпоінти захищені автоматично, бо все одно йдуть через Build, і сирий SQL у моделях дублювати не треба
лише тут знову таки потрібно узгодити з фронтом.. бо якщо вони сортують по полю, якого нема в AllowFields() , то біда
приблизно так:
// list_query.go
type SortMapper interface {
SortExpr(field string) (string, bool)
}
func GetOrderBy(t, s string, e Entity) (string, error) {
s = strings.TrimSpace(s)
if s == "" {
return "", nil
}
dir, field := orderBy(s)
nulls := "NULLS LAST"
if strings.EqualFold(dir, "desc") {
nulls = "NULLS FIRST"
}
if m, ok := e.(SortMapper); ok {
if expr, ok := m.SortExpr(field); ok {
return fmt.Sprintf("order by %s %s %s", expr, dir, nulls), nil
}
}
if !slices.Contains(e.AllowFields(), field) {
return "", fmt.Errorf("%w: %q", ErrInvalidSortField, s)
}
return lookupOrderBy(t, field, dir, nulls), nil // те, що зараз з cc_is_lookup
}
func Build(req *model.ListRequest, schema, where string, e Entity, args map[string]any) (string, error) {
// ...
order := defaultOrderBy(e) // стара GetOrderBy як є, бо DefaultOrder - наш код
if req.Sort != "" {
var err error
if order, err = GetOrderBy(e.EntityName(), req.Sort, e); err != nil {
return "", err
}
}
// ...
}// model/call.go
func (Call) SortExpr(field string) (string, bool) {
switch field {
case "from":
return `coalesce(nullif(("from"::text)::json->>'number', ''), ("from"::text)::json->>'name')`, true
case "to":
return `coalesce(nullif(("to"::text)::json->>'number', ''), ("to"::text)::json->>'name')`, true
}
return "", false
}тоді rewriteCallSort у сторі вже не потрібен, а клієнт так і шле +from
по суті це той самий підхід, що й sorting у webitel/webitel.go#457.. тому можна буде використати ту ж лібу, щоб це було одним підходом
|
|
||
| customSorter, ok := e[0].(CustomSorter) | ||
| if !ok { | ||
| return "", fmt.Errorf("%w custom not allowed", ErrInvalidSortField, e[0]) |
There was a problem hiding this comment.
| return "", fmt.Errorf("%w custom not allowed", ErrInvalidSortField, e[0]) | |
| return "", fmt.Errorf("%w: %q", ErrInvalidSortField, s) |
| func GetOrderBy(t, s string) string { | ||
| var ErrInvalidSortField = errors.New("invalid sort field") | ||
|
|
||
| func GetOrderBy(t, s string, e ...Entity) (string, error) { |
There was a problem hiding this comment.
додай, будь ласка, табличний тест на GetOrderBy: пейлоад з задачі ((case when (1=1) then (select 1 from pg_sleep(3)) else 1 end)), -created_at', звичайні +name / -id, порожній
|
|
||
| func (AuditForm) CustomSorts() []string { | ||
| return []string{ | ||
| "case when team_ids && array(select a.team_id from call_center.cc_agent a where a.user_id = :TeamUserID::int8 and a.team_id notnull) then 0 else 1 end asc,name asc", |
There was a problem hiding this comment.
це дубль з store/sqlstore/cc_audit_form.go, і порівнюється він посимвольно: хтось поправить пробіл там, і список форм з TeamFilter почне віддавати помилку.
якщо внутрішній сорт не йтиме через валідацію (коментар), цей метод і такий самий в OnlineSkills можна прибрати
| return GetOrderBy("cc_member", sort) | ||
| order, err := GetOrderBy("cc_member", sort) | ||
| if err != nil { | ||
| return "order by created_at desc" |
There was a problem hiding this comment.
тут невалідний sort неявно стає created_at desc, а в MultiDelete на той самий sort — 400. може, і тут повертати помилку (getMemberSortClause -> (string, error))? бо інакше клієнт не дізнається, що його сортування проігнорували
| code = http.StatusBadRequest | ||
| } | ||
| } else if errors.Is(err, ErrInvalidSortField) { | ||
| code = 400 |
There was a problem hiding this comment.
http.StatusBadRequest, як вище?
і цей мапінг спрацює лише там, де викликають extractCodeFromErr. у GetHistory (саме ендпоінт з задачі), GetActive і ще в чималій частині сторів помилка ListQuery* загортається в NewInternalError, тож невалідний sort там буде 500, а не 400. може, валідувати sort до запиту і одразу повертати BadRequest?
| return "", nil | ||
| } | ||
|
|
||
| if isRawOrder(s) { |
There was a problem hiding this comment.
по ендпоінтах розносити не треба, перевірка все ж лишається централізовано в Build / GetOrderBy, як у тебе..
різниця лише в тому, що саме ми там валідуємо:
req.Sortвід клієнта - лише[+-]field, деfieldє вAllowFields(), інакшеErrInvalidSortField. тоді йisRawOrderне потрібенDefaultOrder()- це наш код, тожBuildбере його без перевірки, колиreq.Sortпорожній- from/to в дзвінках - клієнт шле
+from, це звичайне поле. а підміну поля на вираз може віддавати сама сутність (умовноSortExpr(field)наmodel.Call, приклад нижче), іBuildпідставляє її вже після валідації - сорт форм аудиту по команді - окремим order, який стор передає поруч з
req, а не черезsearch.Sort
тоді нові ендпоінти захищені автоматично, бо все одно йдуть через Build, і сирий SQL у моделях дублювати не треба
лише тут знову таки потрібно узгодити з фронтом.. бо якщо вони сортують по полю, якого нема в AllowFields() , то біда
приблизно так:
// list_query.go
type SortMapper interface {
SortExpr(field string) (string, bool)
}
func GetOrderBy(t, s string, e Entity) (string, error) {
s = strings.TrimSpace(s)
if s == "" {
return "", nil
}
dir, field := orderBy(s)
nulls := "NULLS LAST"
if strings.EqualFold(dir, "desc") {
nulls = "NULLS FIRST"
}
if m, ok := e.(SortMapper); ok {
if expr, ok := m.SortExpr(field); ok {
return fmt.Sprintf("order by %s %s %s", expr, dir, nulls), nil
}
}
if !slices.Contains(e.AllowFields(), field) {
return "", fmt.Errorf("%w: %q", ErrInvalidSortField, s)
}
return lookupOrderBy(t, field, dir, nulls), nil // те, що зараз з cc_is_lookup
}
func Build(req *model.ListRequest, schema, where string, e Entity, args map[string]any) (string, error) {
// ...
order := defaultOrderBy(e) // стара GetOrderBy як є, бо DefaultOrder - наш код
if req.Sort != "" {
var err error
if order, err = GetOrderBy(e.EntityName(), req.Sort, e); err != nil {
return "", err
}
}
// ...
}// model/call.go
func (Call) SortExpr(field string) (string, bool) {
switch field {
case "from":
return `coalesce(nullif(("from"::text)::json->>'number', ''), ("from"::text)::json->>'name')`, true
case "to":
return `coalesce(nullif(("to"::text)::json->>'number', ''), ("to"::text)::json->>'name')`, true
}
return "", false
}тоді rewriteCallSort у сторі вже не потрібен, а клієнт так і шле +from
по суті це той самий підхід, що й sorting у webitel/webitel.go#457.. тому можна буде використати ту ж лібу, щоб це було одним підходом
| // TODO filter | ||
| func Build(req *model.ListRequest, schema string, where string, e Entity, args map[string]interface{}) string { | ||
| func Build(req *model.ListRequest, schema string, where string, e Entity, args map[string]any) (string, error) { | ||
| s := GetFields(req.Fields, e) |
There was a problem hiding this comment.
тут fields з ріквесту проходять через GetFields і AllowFields(), а в scheme_variables_store.go невідоме поле йде в SELECT як є
пропоную це теж в рамках цього PR зробити..
injections