Repository navigation
assistant: рекалибрирай MIN_SCHEMA_SCORE и topK за корпуса без trap-ове #318
Description
Последващо от само-ревюто на PR #223.
MIN_SCHEMA_SCORE = 0.35 и topK = 6 (apps/web/app/lib/assistant/rag.ts) са настройвани срещу корпус от ~37 чънка, от които 12 бяха кратки императивни trap-правила — текстът, косинусово най-близък до типичните парични въпроси. След #223 корпусът е 25 по-дълги чънка (10 канонични заявки + 15 таблични описания), а trap-овете се инжектират безусловно вместо да се извличат.
Риск: гранични въпроси, които преди минаваха флора през trap чънк, сега може да върнат нула оцелели — ходът тихо пада към пълния статичен речник (безопасно, но RAG grounding-ът е изключен без никакъв сигнал). Собственият коментар на флора предупреждава, че частичното grounding е строго по-слабо от fallback-а — калибрирането трябва да се провери наново в новия режим, не да се предполага.
Предложени стъпки:
- Измери емпирично bge-m3 косинус скоровете за десетина типични български въпроса срещу v2 корпуса; определи флора от това разпределение.
- Помисли за логване на броя съвпадения преди/след флора на route-а (сегашният
catch/празен път е невидим оперативно), за да е наблюдаема честотата на fallback-а преди и след настройката.
Реф: PR #223.
Activity
[-]assistant: recalibrate MIN_SCHEMA_SCORE and topK for the trap-less schema corpus[/-][+]assistant: рекалибрирай MIN_SCHEMA_SCORE и topK за корпуса без trap-ове[/+]feat(assistant): направи RAG fallback-а наблюдаем — статистика на ret…
fix(assistant): закали статистиката на retrieval-а по бележките от ре…
feat(assistant): направи RAG fallback-а наблюдаем — статистика на ret…
fix(assistant): закали статистиката на retrieval-а по бележките от ре…
nedda76 commentedon Aug 19, 2026
Разширение на обхвата (от ревютата на #320/#321): рекалибрацията да покрие и
MIN_ENTITY_SCORE(флорът наsemantic_search, добавен в #319), не само схема флора — и да прецени ОТДЕЛНИ стойности за entity срещу schema, вместо споделените 0.35: entity корпусът (кратки имена на субекти) и схема корпусът (дълги query/table текстове) скорират различно под bge-m3 cosine. Entity стойността да се завърже с golden-eval преди активирането на entity indexer-а (Фаза 2), за да не реже легитимни парафразни попадения.feat(assistant): направи RAG fallback-а наблюдаем — статистика на ret…
fix(assistant): закали статистиката на retrieval-а по бележките от ре…
feat(assistant): направи RAG fallback-а наблюдаем — статистика на ret…
fix(assistant): закали статистиката на retrieval-а по бележките от ре…
fix(assistant): обезвреди async stats sink, закови returnMetadata, оп…
feat(assistant): направи RAG fallback-а наблюдаем — статистика на ret…
fix(assistant): закали статистиката на retrieval-а по бележките от ре…
fix(assistant): обезвреди async stats sink, закови returnMetadata, оп…
feat(assistant): направи RAG fallback-а наблюдаем — статистика на ret…
fix(assistant): закали статистиката на retrieval-а по бележките от ре…
fix(assistant): обезвреди async stats sink, закови returnMetadata, оп…
feat(assistant): направи RAG fallback-а наблюдаем — статистика на ret…
fix(assistant): закали статистиката на retrieval-а по бележките от ре…
fix(assistant): обезвреди async stats sink, закови returnMetadata, оп…
feat(assistant): направи RAG fallback-а наблюдаем — статистика на ret…
fix(assistant): закали статистиката на retrieval-а по бележките от ре…
fix(assistant): обезвреди async stats sink, закови returnMetadata, оп…