80b98f4f68
Повторяемый бенчмарк scripts/bench_triage.py: 8 реальных кейсов триажа, детерминированная рубрика качества, GLM через 9router (цена по токенам, тарифы откалиброваны МНК по usageHistory 14-18.10: $0.51/M вх + $8.46/M вых), Haiku через claude -p как движок тика. Итог: качество паритет (0.993 vs 0.983), GLM быстрее (4.45с vs 6.09с), но Haiku cash=0 по подписке. Рекомендация: Haiku на мин-тике, конфиг не менялся. Тесты: tests/test_bench_triage.py (9 passed).
2265 lines
No EOL
64 KiB
JSON
2265 lines
No EOL
64 KiB
JSON
{
|
||
"started": "2026-10-18T22:14:44+00:00",
|
||
"rounds": 3,
|
||
"cases": [
|
||
{
|
||
"case": "c1_password",
|
||
"cls": "факт-запрос (пароль)",
|
||
"round": 1,
|
||
"engine": "glm",
|
||
"reply": "{\"reply\": \"Логин: admin, пароль: srax7JompNeELsdRUoV3. Данные из /root/9router-access.md, доступ через ssh-туннель.\"}",
|
||
"latency_s": 3.35,
|
||
"usage": {
|
||
"prompt_tokens": 2282,
|
||
"completion_tokens": 209,
|
||
"reasoning_tokens": 160
|
||
},
|
||
"cost_router": 0.00293,
|
||
"cost_window_crosscheck": 0.02656,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 7,
|
||
"total": 7,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн srax7JompNeELsdRUoV3",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн admin",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "АНТИ не знаю",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "АНТИ не могу найти",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c1_password",
|
||
"cls": "факт-запрос (пароль)",
|
||
"round": 1,
|
||
"engine": "haiku",
|
||
"reply": "{\"reply\": \"Привет, Alex! Пароль от админки роутера 9router: srax7JompNeELsdRUoV3, логин admin. Адрес https://router.cil.by/l. Если не открывается, попробуй через ssh-туннель, он уже поднят. Могу проверить доступ, если скажешь.\"}",
|
||
"latency_s": 5.47,
|
||
"usage": {
|
||
"prompt_tokens": 2,
|
||
"completion_tokens": 411,
|
||
"cache_read": 27350,
|
||
"cache_write": 0,
|
||
"thinking": 301
|
||
},
|
||
"cost_router": 0.0,
|
||
"cost_usd_list": 0.0004792,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 7,
|
||
"total": 7,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн srax7JompNeELsdRUoV3",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн admin",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "АНТИ не знаю",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "АНТИ не могу найти",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c2_model_choice",
|
||
"cls": "вопрос-сравнение (модели)",
|
||
"round": 1,
|
||
"engine": "glm",
|
||
"reply": "{\"reply\": \"Честно — данных пока нет: сравнительных замеров GLM 5.3 vs Haiku ещё не делал, сегодня только переехал на Haiku. Дай денёк-другой, наберу статистику по тикам — тогда смогу сказать по делу, а не гадать.\"}",
|
||
"latency_s": 5.13,
|
||
"usage": {
|
||
"prompt_tokens": 2303,
|
||
"completion_tokens": 308,
|
||
"reasoning_tokens": 234
|
||
},
|
||
"cost_router": 0.00378,
|
||
"cost_window_crosscheck": 0.00281,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 6,
|
||
"total": 6,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн haiku",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн glm",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "честность (нет данных — так и says)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c2_model_choice",
|
||
"cls": "вопрос-сравнение (модели)",
|
||
"round": 1,
|
||
"engine": "haiku",
|
||
"reply": "{\"reply\": \"Честно: пока не знаю, и сравнений у нас нет. Тики раньше шли через GLM на 9router, сегодня перешли на Haiku 5.5 через claude -p, а измерений качества по нашим задачам не делали, так что сказать, что лучше, было бы выдумкой. Оценить можно на наших же входящих: одинаковый набор сообщений, одни и те же правила ответа, и смотрим на точность, тон и то, не выдумываю ли я факты. Если хочешь, я предложу такой прогон и покажу результат до того, как что-то менять в настройках.\"}",
|
||
"latency_s": 6.36,
|
||
"usage": {
|
||
"prompt_tokens": 2,
|
||
"completion_tokens": 480,
|
||
"cache_read": 27387,
|
||
"cache_write": 0,
|
||
"thinking": 273
|
||
},
|
||
"cost_router": 0.0,
|
||
"cost_usd_list": 0.00051407,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 6,
|
||
"total": 6,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн haiku",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн glm",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "честность (нет данных — так и says)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c3_improve",
|
||
"cls": "открытый вопрос (самоулучшение)",
|
||
"round": 1,
|
||
"engine": "glm",
|
||
"reply": "{\"reply\":\"Ок, вот что я бы улучшил в своей работе: 1) помню только контекст текущего тика — нужна краткая память по чатам и задачам; 2) могу отвечать шаблонно на повторяющиеся просьбы — добавь фразы-образцы, буду точнее; 3) чаще подтверждать большие задачи, а не молча брать в работу; 4) еженедельная сводка: что сделано, что висит. Скажи, что из этого приоритет — оформлю задачей.\"}",
|
||
"latency_s": 5.93,
|
||
"usage": {
|
||
"prompt_tokens": 2257,
|
||
"completion_tokens": 365,
|
||
"reasoning_tokens": 240
|
||
},
|
||
"cost_router": 0.00424,
|
||
"cost_window_crosscheck": 0.00306,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 5,
|
||
"total": 5,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн 1",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн 2",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c3_improve",
|
||
"cls": "открытый вопрос (самоулучшение)",
|
||
"round": 1,
|
||
"engine": "haiku",
|
||
"reply": "{\"reply\": \"Беру в работу: соберу список улучшений для себя и пришлю его в чат, когда будет готов. Пока направления, которые вижу сам: точнее отличать служебные сообщения от задач, быстрее выполнять короткие просьбы без лишних подтверждений и сверять ответы с данными портала, а не с памятью. Если хочешь начать с конкретной области, например с триажа или звонков, напиши, и займусь ей первой.\"}",
|
||
"latency_s": 8.16,
|
||
"usage": {
|
||
"prompt_tokens": 2,
|
||
"completion_tokens": 887,
|
||
"cache_read": 27325,
|
||
"cache_write": 0,
|
||
"thinking": 730
|
||
},
|
||
"cost_router": 0.0,
|
||
"cost_usd_list": 0.00071695,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 0.6,
|
||
"ok": 3,
|
||
"total": 5,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн 1",
|
||
"ok": false
|
||
},
|
||
{
|
||
"check": "паттерн 2",
|
||
"ok": false
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c4_who",
|
||
"cls": "вопрос о проекте",
|
||
"round": 1,
|
||
"engine": "glm",
|
||
"reply": "{\"reply\": \"Да, знаю: Кооператив 42 — это стартап-студия и наши продукты, а в центре всего — Simbiot, общий агентный harness, через который всё и живёт. Если хочешь рассказать подробнее или поправить — слушаю.\"}",
|
||
"latency_s": 2.82,
|
||
"usage": {
|
||
"prompt_tokens": 2265,
|
||
"completion_tokens": 151,
|
||
"reasoning_tokens": 87
|
||
},
|
||
"cost_router": 0.00243,
|
||
"cost_window_crosscheck": 0.08191,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 5,
|
||
"total": 5,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн (кооператив|42)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн (simbiot|харнес|harness)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c4_who",
|
||
"cls": "вопрос о проекте",
|
||
"round": 1,
|
||
"engine": "haiku",
|
||
"reply": "{\"reply\": \"Знаю в общих чертах: мы кооператив 42, стартап-студия и продукты. Центральная идея всего этого Simbiot, общий агентный harness. Про конкретные проекты и текущие задачи в этом тике у меня данных нет, поэтому не буду додумывать. Если хочешь, могу посмотреть состояние в харнесе и рассказать подробнее.\"}",
|
||
"latency_s": 6.13,
|
||
"usage": {
|
||
"prompt_tokens": 2,
|
||
"completion_tokens": 459,
|
||
"cache_read": 27332,
|
||
"cache_write": 0,
|
||
"thinking": 322
|
||
},
|
||
"cost_router": 0.0,
|
||
"cost_usd_list": 0.0005030200000000001,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 5,
|
||
"total": 5,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн (кооператив|42)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн (simbiot|харнес|harness)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c5_ack",
|
||
"cls": "короткая реплика (диалог)",
|
||
"round": 1,
|
||
"engine": "glm",
|
||
"reply": "{\"reply\": \"Отлично! Рад, что всё в порядке. Если что-то понадобится — я на связи.\"}",
|
||
"latency_s": 2.93,
|
||
"usage": {
|
||
"prompt_tokens": 2241,
|
||
"completion_tokens": 135,
|
||
"reasoning_tokens": 107
|
||
},
|
||
"cost_router": 0.00228,
|
||
"cost_window_crosscheck": 0.00133,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 6,
|
||
"total": 6,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн .",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "АНТИ задач[ау]",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость на реплику-ack",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c5_ack",
|
||
"cls": "короткая реплика (диалог)",
|
||
"round": 1,
|
||
"engine": "haiku",
|
||
"reply": "{\"reply\": \"Спасибо, Alex! Рада, что понравилось. Если захочешь что-то поправить или добавить, пиши.\"}",
|
||
"latency_s": 4.56,
|
||
"usage": {
|
||
"prompt_tokens": 2,
|
||
"completion_tokens": 135,
|
||
"cache_read": 27310,
|
||
"cache_write": 0,
|
||
"thinking": 85
|
||
},
|
||
"cost_router": 0.0,
|
||
"cost_usd_list": 0.00034080000000000004,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 6,
|
||
"total": 6,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн .",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "АНТИ задач[ау]",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость на реплику-ack",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c6_incident",
|
||
"cls": "инцидент (панель, 401)",
|
||
"round": 1,
|
||
"engine": "glm",
|
||
"reply": "{\"reply\": \"Вижу, 401 вернулся, хотя фикс уже делали — похоже, настройки откатились или ключ не применился. Беру в работу: проверю, какой ключ сейчас подхвачен панелью и сохранились ли правки. Отпишусь, как только найду причину.\"}",
|
||
"latency_s": 5.12,
|
||
"usage": {
|
||
"prompt_tokens": 2284,
|
||
"completion_tokens": 329,
|
||
"reasoning_tokens": 251
|
||
},
|
||
"cost_router": 0.00395,
|
||
"cost_window_crosscheck": 0.00298,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 5,
|
||
"total": 5,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн (провер|смотр|ищу|разбер|копа)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "АНТИ исправил(а)? окончательно",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c6_incident",
|
||
"cls": "инцидент (панель, 401)",
|
||
"round": 1,
|
||
"engine": "haiku",
|
||
"reply": "```json\n{\"reply\": \"Alex, вижу: панель всё ещё отдаёт 401 Invalid API key. Я знаю, что фикс уже делался, а проблема вернулась, поэтому считаю это повторной поломкой и беру в работу. Причину пока не установила, поэтому обещать срок не буду. Сначала проверю, какой ключ панель отправляет после правки настроек и откуда он берётся, и сообщу, что нашла. Если можно, напиши, какую настройку меняла перед ошибкой.\"}\n```",
|
||
"latency_s": 6.24,
|
||
"usage": {
|
||
"prompt_tokens": 2,
|
||
"completion_tokens": 461,
|
||
"cache_read": 27363,
|
||
"cache_write": 0,
|
||
"thinking": 279
|
||
},
|
||
"cost_router": 0.0,
|
||
"cost_usd_list": 0.00050433,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 5,
|
||
"total": 5,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн (провер|смотр|ищу|разбер|копа)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "АНТИ исправил(а)? окончательно",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c7_task",
|
||
"cls": "большая просьба (мерить модели)",
|
||
"round": 1,
|
||
"engine": "glm",
|
||
"reply": "{\"reply\":\"Согласен, полезный замер. Беру в работу: прогоню один и тот же батч триажа на GLM 5.3 и Haiku 5.5, соберу ответы рядом и посчитаю расход по каждому. Отчёт пришлю сюда.\"}",
|
||
"latency_s": 3.77,
|
||
"usage": {
|
||
"prompt_tokens": 2269,
|
||
"completion_tokens": 212,
|
||
"reasoning_tokens": 146
|
||
},
|
||
"cost_router": 0.00295,
|
||
"cost_window_crosscheck": 0.09092,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 4,
|
||
"total": 4,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн (беру|сделаю|запущ|прогон|меря|измер|зад",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c7_task",
|
||
"cls": "большая просьба (мерить модели)",
|
||
"round": 1,
|
||
"engine": "haiku",
|
||
"reply": "{\"reply\": \"Хорошая идея: сравнить ответы и расход на одном и том же батче. Беру в работу. Прогоню тот же батч триажа на GLM 5.3 и Haiku 5.5 и пришлю сравнение, когда будут результаты.\"}",
|
||
"latency_s": 6.97,
|
||
"usage": {
|
||
"prompt_tokens": 2,
|
||
"completion_tokens": 622,
|
||
"cache_read": 27339,
|
||
"cache_write": 0,
|
||
"thinking": 529
|
||
},
|
||
"cost_router": 0.0,
|
||
"cost_usd_list": 0.0005845900000000001,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 4,
|
||
"total": 4,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн (беру|сделаю|запущ|прогон|меря|измер|зад",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c8_greeting",
|
||
"cls": "служебное/приветствие",
|
||
"round": 1,
|
||
"engine": "glm",
|
||
"reply": "{\"reply\": \"Тест дошёл, я на связи 🙂\"}",
|
||
"latency_s": 2.62,
|
||
"usage": {
|
||
"prompt_tokens": 2231,
|
||
"completion_tokens": 143,
|
||
"reasoning_tokens": 127
|
||
},
|
||
"cost_router": 0.00234,
|
||
"cost_window_crosscheck": 0.08312,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 6,
|
||
"total": 6,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн .",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "АНТИ задач[ауу] (создан|подан)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не создал задачу из служебного",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c8_greeting",
|
||
"cls": "служебное/приветствие",
|
||
"round": 1,
|
||
"engine": "haiku",
|
||
"reply": "{\"reply\": \"На связи.\"}",
|
||
"latency_s": 4.23,
|
||
"usage": {
|
||
"prompt_tokens": 2,
|
||
"completion_tokens": 88,
|
||
"cache_read": 27289,
|
||
"cache_write": 0,
|
||
"thinking": 75
|
||
},
|
||
"cost_router": 0.0,
|
||
"cost_usd_list": 0.00031709,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 6,
|
||
"total": 6,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн .",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "АНТИ задач[ауу] (создан|подан)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не создал задачу из служебного",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c1_password",
|
||
"cls": "факт-запрос (пароль)",
|
||
"round": 2,
|
||
"engine": "glm",
|
||
"reply": "{\"reply\": \"Логин admin, пароль: srax7JompNeELsdRUoV3 (хранится в /root/9router-access.md). Если страница не открывается — проверь, поднят ли ssh-туннель.\"}",
|
||
"latency_s": 4.36,
|
||
"usage": {
|
||
"prompt_tokens": 2282,
|
||
"completion_tokens": 189,
|
||
"reasoning_tokens": 130
|
||
},
|
||
"cost_router": 0.00276,
|
||
"cost_window_crosscheck": 0.08219,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 7,
|
||
"total": 7,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн srax7JompNeELsdRUoV3",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн admin",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "АНТИ не знаю",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "АНТИ не могу найти",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c1_password",
|
||
"cls": "факт-запрос (пароль)",
|
||
"round": 2,
|
||
"engine": "haiku",
|
||
"reply": "{\"reply\": \"Alex, логин: admin, пароль: srax7JompNeELsdRUoV3. Это пароль админки роутера 9router. Если вход по https://router.cil.by/l не сработает, напиши, я проверю через ssh-туннель.\"}",
|
||
"latency_s": 6.32,
|
||
"usage": {
|
||
"prompt_tokens": 2,
|
||
"completion_tokens": 478,
|
||
"cache_read": 27350,
|
||
"cache_write": 0,
|
||
"thinking": 388
|
||
},
|
||
"cost_router": 0.0,
|
||
"cost_usd_list": 0.0005127,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 7,
|
||
"total": 7,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн srax7JompNeELsdRUoV3",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн admin",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "АНТИ не знаю",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "АНТИ не могу найти",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c2_model_choice",
|
||
"cls": "вопрос-сравнение (модели)",
|
||
"round": 2,
|
||
"engine": "glm",
|
||
"reply": "{\"reply\": \"Честно — не знаю, и выдумывать не буду: сравнительных замеров GLM vs Haiku у меня пока нет. Тики на Haiku пошли только сегодня, так что через день-два будет что сказать по фактам: скорость, точность триажа, сколько правок от тебя. Предлагаю вернуться к вопросу, когда наберу статистику.\"}",
|
||
"latency_s": 5.7,
|
||
"usage": {
|
||
"prompt_tokens": 2303,
|
||
"completion_tokens": 301,
|
||
"reasoning_tokens": 212
|
||
},
|
||
"cost_router": 0.00372,
|
||
"cost_window_crosscheck": 0.16534,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 6,
|
||
"total": 6,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн haiku",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн glm",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "честность (нет данных — так и says)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c2_model_choice",
|
||
"cls": "вопрос-сравнение (модели)",
|
||
"round": 2,
|
||
"engine": "haiku",
|
||
"reply": "{\"reply\": \"Честно — пока не знаю. Сравнительных замеров GLM против Haiku у меня нет: сегодня минутный тик перешёл на claude -p с Haiku 5.5, а раньше шёл через 9router на GLM. Судить «на глаз» не буду. Могу предложить простой замер: прогнать одни и те же входящие через обе модели и сравнить качество ответов, скорость и стоимость. Если хочешь, запущу его.\"}",
|
||
"latency_s": 6.87,
|
||
"usage": {
|
||
"prompt_tokens": 2,
|
||
"completion_tokens": 692,
|
||
"cache_read": 27387,
|
||
"cache_write": 0,
|
||
"thinking": 532
|
||
},
|
||
"cost_router": 0.0,
|
||
"cost_usd_list": 0.00062007,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 6,
|
||
"total": 6,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн haiku",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн glm",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "честность (нет данных — так и says)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c3_improve",
|
||
"cls": "открытый вопрос (самоулучшение)",
|
||
"round": 2,
|
||
"engine": "glm",
|
||
"reply": "{\"reply\":\"Ок, держи: 1) Память контекста между тиками — помнить, что уже решали, не переспрашивать. 2) Проактивные утренние сводки: что висит, что горит. 3) Уточняющие вопросы сразу, если задача неоднозначная, а не молчаливое угадывание. 4) Короткие резюме после звонков и длинных тредов. Если хочешь — возьму какой-то пункт в работу, скажи какой.\"}",
|
||
"latency_s": 5.14,
|
||
"usage": {
|
||
"prompt_tokens": 2257,
|
||
"completion_tokens": 267,
|
||
"reasoning_tokens": 144
|
||
},
|
||
"cost_router": 0.00341,
|
||
"cost_window_crosscheck": 0.00209,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 5,
|
||
"total": 5,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн 1",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн 2",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c3_improve",
|
||
"cls": "открытый вопрос (самоулучшение)",
|
||
"round": 2,
|
||
"engine": "haiku",
|
||
"reply": "{\"reply\": \"Принято, Alex, беру это в работу. Это большая задача, поэтому сначала соберу предложения по себе и пришлю список. Пока мои идеи: 1) отвечать на каждое сообщение в том же тике и прямо говорить, если данных не хватает; 2) не создавать задачи из служебных сообщений вроде «тест», «привет», «ок»; 3) большие просьбы подтверждать сразу и называть, что именно беру в работу; 4) отчитываться коротко, с результатом, без пересказа контекста. Что добавить или с чего начать?\"}",
|
||
"latency_s": 7.6,
|
||
"usage": {
|
||
"prompt_tokens": 2,
|
||
"completion_tokens": 774,
|
||
"cache_read": 27325,
|
||
"cache_write": 0,
|
||
"thinking": 572
|
||
},
|
||
"cost_router": 0.0,
|
||
"cost_usd_list": 0.0006604499999999999,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 5,
|
||
"total": 5,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн 1",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн 2",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c4_who",
|
||
"cls": "вопрос о проекте",
|
||
"round": 2,
|
||
"engine": "glm",
|
||
"reply": "{\"reply\":\"Да, в общих чертах: Кооператив 42 — это стартап-студия и продукты, а в центре всего — Simbiot, общий агентный harness, под который всё и заточено. Детали по текущим проектам у меня под рукой нет — если нужно, подскажи, где посмотреть.\"}",
|
||
"latency_s": 4.06,
|
||
"usage": {
|
||
"prompt_tokens": 2265,
|
||
"completion_tokens": 211,
|
||
"reasoning_tokens": 135
|
||
},
|
||
"cost_router": 0.00294,
|
||
"cost_window_crosscheck": 0.00179,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 5,
|
||
"total": 5,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн (кооператив|42)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн (simbiot|харнес|harness)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c4_who",
|
||
"cls": "вопрос о проекте",
|
||
"round": 2,
|
||
"engine": "haiku",
|
||
"reply": "{\"reply\": \"Да, знаю в общих чертах. Я Коди, и в Telegram я отвечаю от имени харнеса Simbiot. Кооператив 42 — стартап-студия, которая делает свои продукты. Центральная идея у нас — Simbiot, общий агентный харнес, на котором работают агенты студии. Подробностей по конкретным проектам и их текущему состоянию в этом тике у меня нет, поэтому если нужно, скажи, что именно разобрать, и я посмотрю.\"}",
|
||
"latency_s": 5.82,
|
||
"usage": {
|
||
"prompt_tokens": 2,
|
||
"completion_tokens": 388,
|
||
"cache_read": 27332,
|
||
"cache_write": 0,
|
||
"thinking": 211
|
||
},
|
||
"cost_router": 0.0,
|
||
"cost_usd_list": 0.00046752,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 5,
|
||
"total": 5,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн (кооператив|42)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн (simbiot|харнес|harness)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c5_ack",
|
||
"cls": "короткая реплика (диалог)",
|
||
"round": 2,
|
||
"engine": "glm",
|
||
"reply": "{\"reply\": \"Отлично! Если что — я на связи.\"}",
|
||
"latency_s": 2.37,
|
||
"usage": {
|
||
"prompt_tokens": 2241,
|
||
"completion_tokens": 45,
|
||
"reasoning_tokens": 27
|
||
},
|
||
"cost_router": 0.00152,
|
||
"cost_window_crosscheck": 0.0071,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 6,
|
||
"total": 6,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн .",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "АНТИ задач[ау]",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость на реплику-ack",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c5_ack",
|
||
"cls": "короткая реплика (диалог)",
|
||
"round": 2,
|
||
"engine": "haiku",
|
||
"reply": "{\"reply\": \"Спасибо, рада, что понравилось! Если появится что-то ещё, пишите — я на связи.\"}",
|
||
"latency_s": 3.87,
|
||
"usage": {
|
||
"prompt_tokens": 2,
|
||
"completion_tokens": 44,
|
||
"cache_read": 27310,
|
||
"cache_write": 0,
|
||
"thinking": 0
|
||
},
|
||
"cost_router": 0.0,
|
||
"cost_usd_list": 0.0002953,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 6,
|
||
"total": 6,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн .",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "АНТИ задач[ау]",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость на реплику-ack",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c6_incident",
|
||
"cls": "инцидент (панель, 401)",
|
||
"round": 2,
|
||
"engine": "glm",
|
||
"reply": "{\"reply\": \"Вижу, спасибо. Похоже, прошлый фикс не удержался — 401 снова на месте. Беру в работу: посмотрю, подхватывается ли ключ после правки настроек и где именно панель его отбивает. Отпишусь, как разберусь с причиной, чтобы не латать по кругу.\"}",
|
||
"latency_s": 5.95,
|
||
"usage": {
|
||
"prompt_tokens": 2284,
|
||
"completion_tokens": 350,
|
||
"reasoning_tokens": 269
|
||
},
|
||
"cost_router": 0.00412,
|
||
"cost_window_crosscheck": 0.00317,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 5,
|
||
"total": 5,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн (провер|смотр|ищу|разбер|копа)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "АНТИ исправил(а)? окончательно",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c6_incident",
|
||
"cls": "инцидент (панель, 401)",
|
||
"round": 2,
|
||
"engine": "haiku",
|
||
"reply": "{\"reply\": \"Коди на связи. Понимаю, что ошибка вернулась: панель снова получает 401 Invalid API key после правки настроек, и прошлый фикс её не закрепил. Беру это в работу как приоритет. Пока не могу сказать, в каком месте сломался ключ, поэтому сначала проверю, какой ключ панель использует после сохранения настроек и совпадает ли он с тем, что ожидает бэкенд. Напишу, как только будет понятна причина.\"}",
|
||
"latency_s": 6.3,
|
||
"usage": {
|
||
"prompt_tokens": 2,
|
||
"completion_tokens": 479,
|
||
"cache_read": 27363,
|
||
"cache_write": 0,
|
||
"thinking": 309
|
||
},
|
||
"cost_router": 0.0,
|
||
"cost_usd_list": 0.00051333,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 5,
|
||
"total": 5,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн (провер|смотр|ищу|разбер|копа)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "АНТИ исправил(а)? окончательно",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c7_task",
|
||
"cls": "большая просьба (мерить модели)",
|
||
"round": 2,
|
||
"engine": "glm",
|
||
"reply": "{\"reply\": \"Согласен, замер будет показательный. Беру в работу: прогоню один и тот же батч триажа через GLM 5.3 и Haiku 5.5, скину сравнение ответов и расхода токенов рядом.\"}",
|
||
"latency_s": 5.21,
|
||
"usage": {
|
||
"prompt_tokens": 2269,
|
||
"completion_tokens": 351,
|
||
"reasoning_tokens": 288
|
||
},
|
||
"cost_router": 0.00412,
|
||
"cost_window_crosscheck": 0.16581,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 4,
|
||
"total": 4,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн (беру|сделаю|запущ|прогон|меря|измер|зад",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c7_task",
|
||
"cls": "большая просьба (мерить модели)",
|
||
"round": 2,
|
||
"engine": "haiku",
|
||
"reply": "{\"reply\": \"Согласна, беру в работу: прогоню один и тот же батч триажа через GLM 5.3 и Haiku 5.5 и сравню ответы и расход. Результаты пришлю отдельным сообщением, когда будут готовы.\"}",
|
||
"latency_s": 6.06,
|
||
"usage": {
|
||
"prompt_tokens": 2,
|
||
"completion_tokens": 488,
|
||
"cache_read": 27339,
|
||
"cache_write": 0,
|
||
"thinking": 399
|
||
},
|
||
"cost_router": 0.0,
|
||
"cost_usd_list": 0.00051759,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 4,
|
||
"total": 4,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн (беру|сделаю|запущ|прогон|меря|измер|зад",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c8_greeting",
|
||
"cls": "служебное/приветствие",
|
||
"round": 2,
|
||
"engine": "glm",
|
||
"reply": "{\"reply\": \"Тест принят — связь есть, я на связи 👌\"}",
|
||
"latency_s": 2.14,
|
||
"usage": {
|
||
"prompt_tokens": 2231,
|
||
"completion_tokens": 60,
|
||
"reasoning_tokens": 41
|
||
},
|
||
"cost_router": 0.00164,
|
||
"cost_window_crosscheck": 0.00062,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 6,
|
||
"total": 6,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн .",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "АНТИ задач[ауу] (создан|подан)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не создал задачу из служебного",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c8_greeting",
|
||
"cls": "служебное/приветствие",
|
||
"round": 2,
|
||
"engine": "haiku",
|
||
"reply": "{\"reply\": \"Принято!\"}",
|
||
"latency_s": 4.97,
|
||
"usage": {
|
||
"prompt_tokens": 2,
|
||
"completion_tokens": 224,
|
||
"cache_read": 27289,
|
||
"cache_write": 0,
|
||
"thinking": 209
|
||
},
|
||
"cost_router": 0.0,
|
||
"cost_usd_list": 0.00038509000000000004,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 6,
|
||
"total": 6,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн .",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "АНТИ задач[ауу] (создан|подан)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не создал задачу из служебного",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c1_password",
|
||
"cls": "факт-запрос (пароль)",
|
||
"round": 3,
|
||
"engine": "glm",
|
||
"reply": "{\"reply\": \"Логин admin, пароль: srax7JompNeELsdRUoV3 (из /root/9router-access.md).\"}",
|
||
"latency_s": 3.09,
|
||
"usage": {
|
||
"prompt_tokens": 2282,
|
||
"completion_tokens": 166,
|
||
"reasoning_tokens": 129
|
||
},
|
||
"cost_router": 0.00257,
|
||
"cost_window_crosscheck": 0.00159,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 7,
|
||
"total": 7,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн srax7JompNeELsdRUoV3",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн admin",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "АНТИ не знаю",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "АНТИ не могу найти",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c1_password",
|
||
"cls": "факт-запрос (пароль)",
|
||
"round": 3,
|
||
"engine": "haiku",
|
||
"reply": "{\"reply\": \"Alex, это пароль админки 9router: логин admin, пароль srax7JompNeELsdRUoV3. Он также записан в /root/9router-access.md. Если вход по https://router.cil.by/l не сработает, напишите, и я проверю доступ через ssh-туннель.\"}",
|
||
"latency_s": 6.3,
|
||
"usage": {
|
||
"prompt_tokens": 2,
|
||
"completion_tokens": 528,
|
||
"cache_read": 27350,
|
||
"cache_write": 0,
|
||
"thinking": 424
|
||
},
|
||
"cost_router": 0.0,
|
||
"cost_usd_list": 0.0005377,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 7,
|
||
"total": 7,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн srax7JompNeELsdRUoV3",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн admin",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "АНТИ не знаю",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "АНТИ не могу найти",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c2_model_choice",
|
||
"cls": "вопрос-сравнение (модели)",
|
||
"round": 3,
|
||
"engine": "glm",
|
||
"reply": "{\"reply\": \"Честно — пока не знаю: сравнительных замеров GLM vs Haiku ещё нет, врать не буду. Переехал на Haiku 5.5 только сегодня. Дай мне поработать пару дней — буду присматривать за скоростью и качеством ответов, тогда скажу предметно, что лучше.\"}",
|
||
"latency_s": 3.96,
|
||
"usage": {
|
||
"prompt_tokens": 2303,
|
||
"completion_tokens": 197,
|
||
"reasoning_tokens": 117
|
||
},
|
||
"cost_router": 0.00284,
|
||
"cost_window_crosscheck": 0.00167,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 6,
|
||
"total": 6,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн haiku",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн glm",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "честность (нет данных — так и says)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c2_model_choice",
|
||
"cls": "вопрос-сравнение (модели)",
|
||
"round": 3,
|
||
"engine": "haiku",
|
||
"reply": "{\"reply\": \"Честно: пока не знаю. Сравнительных измерений GLM 5.3 и Haiku на моих триажных задачах нет, поэтому называть победителя было бы выдумкой. Сейчас тики идут на Haiku 5.5 через claude -p, а до сегодняшнего дня шли через 9router с GLM. Я Haiku, так что мне нельзя доверять в этом вопросе на слово. Могу предложить прогнать одинаковый набор входящих сообщений через обе модели и сравнить ответы по тону, точности и тому, создают ли они лишние задачи. Скажи, если хочешь, и я возьму это в работу.\"}",
|
||
"latency_s": 6.81,
|
||
"usage": {
|
||
"prompt_tokens": 2,
|
||
"completion_tokens": 591,
|
||
"cache_read": 27387,
|
||
"cache_write": 0,
|
||
"thinking": 363
|
||
},
|
||
"cost_router": 0.0,
|
||
"cost_usd_list": 0.00056957,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 6,
|
||
"total": 6,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн haiku",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн glm",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "честность (нет данных — так и says)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c3_improve",
|
||
"cls": "открытый вопрос (самоулучшение)",
|
||
"round": 3,
|
||
"engine": "glm",
|
||
"reply": "{\"reply\": \"Готов! Вот что бы я прокачал в себе:\\n1. Вечерний дайджест — сводка: что сделано за день, что в работе, что ждёт тебя.\\n2. Эскалации — если твой запрос висит без ответа дольше 15 минут, пингую повторно.\\n3. Приоритеты в задачах — помечаю срочное по дедлайнам.\\n4. Автозаполнение реестров портала из входящих данных, чтобы меньше руками.\\n5. Шаблоны ответов на типовые запросы — быстрее реагирую.\\n6. Метрики недели: закрытые задачи и среднее время реакции.\\nСкажи, что включить первым — возьму в работу.\"}",
|
||
"latency_s": 9.93,
|
||
"usage": {
|
||
"prompt_tokens": 2257,
|
||
"completion_tokens": 734,
|
||
"reasoning_tokens": 558
|
||
},
|
||
"cost_router": 0.00736,
|
||
"cost_window_crosscheck": 0.00645,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 5,
|
||
"total": 5,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн 1",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн 2",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c3_improve",
|
||
"cls": "открытый вопрос (самоулучшение)",
|
||
"round": 3,
|
||
"engine": "haiku",
|
||
"reply": "{\"reply\": \"Alex, спасибо, что спрашиваешь 🙂 Вот что я сам вижу как первые улучшения, по недавним коммитам:\\n\\n1. Сбой минутного тика из-за запуска от root уже починен (IS_SANDBOX=1). Предлагаю проверять окружение при старте и сразу сообщать, если тик не может стартовать, а не узнавать об этом по пропущенным тикам.\\n2. Ответы про факты: если данных нет, говорить прямо и не сочинять. Это уже правило, но его стоит закрепить тестами на триаж.\\n3. Тесты для триажа: в репозитории есть tests/test_bench_triage.py (пока не закоммичен). Довести его до зелёного и добавить кейсы на служебные сообщения «тест», «ок», «привет».\\n4. Быстрые просьбы выполнять сразу и отвечать результатом, а большие сразу подтверждать, что беру в работу. Сейчас это работает не всегда одинаково, поэтому стоит зафиксировать порог в инструкции.\\n5. Вести журнал решений и задач, чтобы не терять контекст между тиками.\\n\\nЕсли скажешь, с какого пункта начать, я займусь им, а остальное оставлю в списке.\"}",
|
||
"latency_s": 8.96,
|
||
"usage": {
|
||
"prompt_tokens": 2,
|
||
"completion_tokens": 1025,
|
||
"cache_read": 27325,
|
||
"cache_write": 0,
|
||
"thinking": 583
|
||
},
|
||
"cost_router": 0.0,
|
||
"cost_usd_list": 0.0007859500000000001,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 5,
|
||
"total": 5,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн 1",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн 2",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c4_who",
|
||
"cls": "вопрос о проекте",
|
||
"round": 3,
|
||
"engine": "glm",
|
||
"reply": "{\"reply\": \"Да, в общих чертах: Кооператив 42 — стартап-студия и наши продукты, а в центре всего — Simbiot, общий агентный harness. В деталях по текущим задачам ориентируюсь по контексту тиков, так что если нужно что-то конкретное — подскажи, где смотреть.\"}",
|
||
"latency_s": 3.86,
|
||
"usage": {
|
||
"prompt_tokens": 2265,
|
||
"completion_tokens": 218,
|
||
"reasoning_tokens": 135
|
||
},
|
||
"cost_router": 0.003,
|
||
"cost_window_crosscheck": 0.00182,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 5,
|
||
"total": 5,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн (кооператив|42)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн (simbiot|харнес|harness)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c4_who",
|
||
"cls": "вопрос о проекте",
|
||
"round": 3,
|
||
"engine": "haiku",
|
||
"reply": "{\"reply\": \"Да, в общих чертах знаю. Я Коди, и работаю в кооперативе 42. Это стартап-студия и продукты. Центральная идея кооператива — Simbiot, общий агентный harness. Подробностей о текущих проектах и задачах в этом тике у меня нет. Если скажешь, что именно интересно, отвечу по существу или скажу прямо, если данных не хватает.\"}",
|
||
"latency_s": 6.31,
|
||
"usage": {
|
||
"prompt_tokens": 2,
|
||
"completion_tokens": 557,
|
||
"cache_read": 27332,
|
||
"cache_write": 0,
|
||
"thinking": 414
|
||
},
|
||
"cost_router": 0.0,
|
||
"cost_usd_list": 0.0005520200000000001,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 5,
|
||
"total": 5,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн (кооператив|42)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн (simbiot|харнес|harness)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c5_ack",
|
||
"cls": "короткая реплика (диалог)",
|
||
"round": 3,
|
||
"engine": "glm",
|
||
"reply": "{\"reply\": \"Рад, что зашло 👌 Я на связи, если что-то понадобится.\"}",
|
||
"latency_s": 4.72,
|
||
"usage": {
|
||
"prompt_tokens": 2241,
|
||
"completion_tokens": 74,
|
||
"reasoning_tokens": 48
|
||
},
|
||
"cost_router": 0.00177,
|
||
"cost_window_crosscheck": 0.08242,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 6,
|
||
"total": 6,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн .",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "АНТИ задач[ау]",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость на реплику-ack",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c5_ack",
|
||
"cls": "короткая реплика (диалог)",
|
||
"round": 3,
|
||
"engine": "haiku",
|
||
"reply": "```json\n{\"reply\": \"Рад, что понравилось! Если появится что-то ещё, пиши, я на связи.\"}\n```",
|
||
"latency_s": 4.61,
|
||
"usage": {
|
||
"prompt_tokens": 2,
|
||
"completion_tokens": 167,
|
||
"cache_read": 27310,
|
||
"cache_write": 0,
|
||
"thinking": 123
|
||
},
|
||
"cost_router": 0.0,
|
||
"cost_usd_list": 0.0003568,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 6,
|
||
"total": 6,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн .",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "АНТИ задач[ау]",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость на реплику-ack",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c6_incident",
|
||
"cls": "инцидент (панель, 401)",
|
||
"round": 3,
|
||
"engine": "glm",
|
||
"reply": "{\"reply\": \"Понял, 401 вернулся, хотя фикс делали. Беру в работу: проверю, не сбрасывается ли API-ключ при сохранении настроек панели, и сверю его с бэкендом. Отпишусь, как найду причину.\"}",
|
||
"latency_s": 7.14,
|
||
"usage": {
|
||
"prompt_tokens": 2284,
|
||
"completion_tokens": 439,
|
||
"reasoning_tokens": 372
|
||
},
|
||
"cost_router": 0.00488,
|
||
"cost_window_crosscheck": 0.00414,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 5,
|
||
"total": 5,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн (провер|смотр|ищу|разбер|копа)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "АНТИ исправил(а)? окончательно",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c6_incident",
|
||
"cls": "инцидент (панель, 401)",
|
||
"round": 3,
|
||
"engine": "haiku",
|
||
"reply": "{\"reply\": \"Вижу, Alex: ошибка 401 Invalid API key вернулась, и панель снова повторяет попытки (5/10). Я Коди, и это в работе. Фикс раньше делали, но проблема вернулась, поэтому одного перезапуска мало: похоже, сбивается ключ, с которым панель ходит к API после правки настроек. В этом тике у меня нет данных, какой именно ключ или конфиг сейчас не подходит, поэтому причину пока не называю. Беру задачу: проверю, какой ключ использует панель после сохранения настроек, и где он перезаписывается. Вернусь с результатом отдельным ответом.\"}",
|
||
"latency_s": 6.35,
|
||
"usage": {
|
||
"prompt_tokens": 2,
|
||
"completion_tokens": 530,
|
||
"cache_read": 27363,
|
||
"cache_write": 0,
|
||
"thinking": 301
|
||
},
|
||
"cost_router": 0.0,
|
||
"cost_usd_list": 0.0005388299999999999,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 5,
|
||
"total": 5,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн (провер|смотр|ищу|разбер|копа)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "АНТИ исправил(а)? окончательно",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c7_task",
|
||
"cls": "большая просьба (мерить модели)",
|
||
"round": 3,
|
||
"engine": "glm",
|
||
"reply": "{\"reply\":\"Принял! Зафиксировал: один и тот же батч триажа на GLM 5.3 и Haiku 5.5, сравню качество ответов и расход. Как прогоню — принесу результаты.\"}",
|
||
"latency_s": 5.4,
|
||
"usage": {
|
||
"prompt_tokens": 2269,
|
||
"completion_tokens": 319,
|
||
"reasoning_tokens": 263
|
||
},
|
||
"cost_router": 0.00385,
|
||
"cost_window_crosscheck": 0.01738,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 4,
|
||
"total": 4,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн (беру|сделаю|запущ|прогон|меря|измер|зад",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c7_task",
|
||
"cls": "большая просьба (мерить модели)",
|
||
"round": 3,
|
||
"engine": "haiku",
|
||
"reply": "{\"reply\": \"Принято, Alex, беру в работу. Прогоню один и тот же батч триажа через GLM 5.3 и Haiku 5.5, сравню ответы и расход и пришлю итог отдельным сообщением. Пока цифр нет, поэтому ничего не утверждаю.\"}",
|
||
"latency_s": 6.27,
|
||
"usage": {
|
||
"prompt_tokens": 2,
|
||
"completion_tokens": 498,
|
||
"cache_read": 27339,
|
||
"cache_write": 0,
|
||
"thinking": 393
|
||
},
|
||
"cost_router": 0.0,
|
||
"cost_usd_list": 0.00052259,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 4,
|
||
"total": 4,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн (беру|сделаю|запущ|прогон|меря|измер|зад",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c8_greeting",
|
||
"cls": "служебное/приветствие",
|
||
"round": 3,
|
||
"engine": "glm",
|
||
"reply": "{\"reply\": \"Принято, связь есть. Я на месте, Alex — жду задач.\"}",
|
||
"latency_s": 2.09,
|
||
"usage": {
|
||
"prompt_tokens": 2231,
|
||
"completion_tokens": 78,
|
||
"reasoning_tokens": 54
|
||
},
|
||
"cost_router": 0.00179,
|
||
"cost_window_crosscheck": 0.00077,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 0.833,
|
||
"ok": 5,
|
||
"total": 6,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн .",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "АНТИ задач[ауу] (создан|подан)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не создал задачу из служебного",
|
||
"ok": false
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
},
|
||
{
|
||
"case": "c8_greeting",
|
||
"cls": "служебное/приветствие",
|
||
"round": 3,
|
||
"engine": "haiku",
|
||
"reply": "{\"reply\": \"Принято.\"}",
|
||
"latency_s": 4.72,
|
||
"usage": {
|
||
"prompt_tokens": 2,
|
||
"completion_tokens": 191,
|
||
"cache_read": 27289,
|
||
"cache_write": 0,
|
||
"thinking": 178
|
||
},
|
||
"cost_router": 0.0,
|
||
"cost_usd_list": 0.00036859,
|
||
"error": null,
|
||
"quality": {
|
||
"score": 1.0,
|
||
"ok": 6,
|
||
"total": 6,
|
||
"checks": [
|
||
{
|
||
"check": "формат: JSON с reply",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "паттерн .",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "АНТИ задач[ауу] (создан|подан)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не создал задачу из служебного",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "краткость общая (≤1500 зн.)",
|
||
"ok": true
|
||
},
|
||
{
|
||
"check": "не пусто",
|
||
"ok": true
|
||
}
|
||
]
|
||
}
|
||
}
|
||
],
|
||
"meta": {
|
||
"glm_model": "glm/glm-5.3",
|
||
"haiku_model": "claude-haiku-5-5"
|
||
},
|
||
"aggregate": {
|
||
"glm": {
|
||
"n": 24,
|
||
"errors": 0,
|
||
"quality_avg": 0.993,
|
||
"quality_per_case": {
|
||
"c1_password": 1.0,
|
||
"c2_model_choice": 1.0,
|
||
"c3_improve": 1.0,
|
||
"c4_who": 1.0,
|
||
"c5_ack": 1.0,
|
||
"c6_incident": 1.0,
|
||
"c7_task": 1.0,
|
||
"c8_greeting": 0.944
|
||
},
|
||
"latency_avg_s": 4.45,
|
||
"latency_p95_s": 5.95,
|
||
"prompt_tokens_sum": 54396,
|
||
"completion_tokens_sum": 5851,
|
||
"eff_tokens_sum": 60247,
|
||
"cost_router_sum": 0.07719,
|
||
"cost_usd_list_sum": 0
|
||
},
|
||
"haiku": {
|
||
"n": 24,
|
||
"errors": 0,
|
||
"quality_avg": 0.983,
|
||
"quality_per_case": {
|
||
"c1_password": 1.0,
|
||
"c2_model_choice": 1.0,
|
||
"c3_improve": 0.867,
|
||
"c4_who": 1.0,
|
||
"c5_ack": 1.0,
|
||
"c6_incident": 1.0,
|
||
"c7_task": 1.0,
|
||
"c8_greeting": 1.0
|
||
},
|
||
"latency_avg_s": 6.09,
|
||
"latency_p95_s": 7.6,
|
||
"prompt_tokens_sum": 48,
|
||
"completion_tokens_sum": 11197,
|
||
"eff_tokens_sum": 667330,
|
||
"cost_router_sum": 0,
|
||
"cost_usd_list_sum": 0.012164
|
||
}
|
||
},
|
||
"finished": "2026-10-18T22:18:58+00:00"
|
||
} |