SilverElixir commited on
Commit
e980e7c
·
1 Parent(s): ebbf46e

Add the thought-for block to non-streamed fallback answers in private chats

Browse files
Files changed (2) hide show
  1. lumen_routes.py +13 -2
  2. tests/test_bot_routes.py +27 -0
lumen_routes.py CHANGED
@@ -16,7 +16,7 @@ from datetime import date, datetime
16
  from typing import Any, Callable
17
 
18
  import aiohttp
19
- from aiogram.enums import ParseMode
20
  from aiogram.types import Message
21
  from google.genai import types
22
 
@@ -39,6 +39,7 @@ from lumen_router_config import (
39
  _looks_like_heavy_query,
40
  )
41
  from lumen_security import _scrub_identity_leak, _detect_garbled_mix, _is_garbled_echo
 
42
 
43
  # Транскрипт длинного войса режем сверху — иначе маршрут ниже упрётся в лимиты моделей.
44
  _TRANSCRIPT_MAX_CHARS = 4000
@@ -1005,6 +1006,7 @@ async def _run_route(
1005
  import bot
1006
  if not route:
1007
  raise RuntimeError("Empty route — no model to choose from.")
 
1008
  # Порядок внутри провайдера — по измеренным задержкам; сами блоки и защита квоты Gemini не трогаем.
1009
  route = _reorder_route_by_speed(route)
1010
  if deadline is None:
@@ -1110,7 +1112,16 @@ async def _run_route(
1110
  fits_one_message = len(_split_text_chunks(ans, bot.TG_MAX_LEN)) == 1
1111
  reused = False
1112
  if fits_one_message:
1113
- html_text, plain_text = status.compose_answer(ans) if status is not None else (None, ans)
 
 
 
 
 
 
 
 
 
1114
  if html_text is not None:
1115
  edited = await bot._tg_call(
1116
  reusable_placeholder.edit_text, html_text,
 
16
  from typing import Any, Callable
17
 
18
  import aiohttp
19
+ from aiogram.enums import ChatType, ParseMode
20
  from aiogram.types import Message
21
  from google.genai import types
22
 
 
39
  _looks_like_heavy_query,
40
  )
41
  from lumen_security import _scrub_identity_leak, _detect_garbled_mix, _is_garbled_echo
42
+ from lumen_status import thought_block
43
 
44
  # Транскрипт длинного войса режем сверху — иначе маршрут ниже упрётся в лимиты моделей.
45
  _TRANSCRIPT_MAX_CHARS = 4000
 
1006
  import bot
1007
  if not route:
1008
  raise RuntimeError("Empty route — no model to choose from.")
1009
+ route_started = time.monotonic()
1010
  # Порядок внутри провайдера — по измеренным задержкам; сами блоки и защита квоты Gemini не трогаем.
1011
  route = _reorder_route_by_speed(route)
1012
  if deadline is None:
 
1112
  fits_one_message = len(_split_text_chunks(ans, bot.TG_MAX_LEN)) == 1
1113
  reused = False
1114
  if fits_one_message:
1115
+ if status is not None:
1116
+ html_text, plain_text = status.compose_answer(ans)
1117
+ elif getattr(getattr(message, "chat", None), "type", None) == ChatType.PRIVATE:
1118
+ # Обычный текст после раннего сбоя стрима: статуса нет,
1119
+ # но «Thought for Ns» над ответом всё равно показываем.
1120
+ html_text, plain_text = thought_block(
1121
+ bot._chat_lang(chat_id), int(time.monotonic() - route_started), ans,
1122
+ )
1123
+ else:
1124
+ html_text, plain_text = None, ans
1125
  if html_text is not None:
1126
  edited = await bot._tg_call(
1127
  reusable_placeholder.edit_text, html_text,
tests/test_bot_routes.py CHANGED
@@ -747,6 +747,33 @@ def test_run_route_reuses_stream_placeholder_when_fallback_succeeds():
747
  bot.ask_openrouter_text = original_or_text
748
 
749
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
750
  def test_run_route_deletes_orphaned_placeholder_when_whole_route_fails():
751
  chat_id = 999308
752
  placeholder = _FakeSentMessage()
 
747
  bot.ask_openrouter_text = original_or_text
748
 
749
 
750
+ def test_run_route_reuse_adds_thought_block_in_private_chat(monkeypatch):
751
+ # Обычный текст после раннего сбоя стрима не должен терять «Thought for Ns»:
752
+ # статуса в этом пути нет, блок строим по времени маршрута.
753
+ chat_id = 999322
754
+ placeholder = _FakeSentMessage()
755
+ incoming = _FakeIncomingMessage(chat_id)
756
+
757
+ async def fake_stream_fail(cid, prompt, message, model_id, deadline=None, status=None):
758
+ return None, placeholder
759
+
760
+ async def fake_text(cid, prompt, model_chain, deadline=None):
761
+ return "Ответ от резервной модели"
762
+
763
+ monkeypatch.setattr(bot, "_try_openrouter_streaming", fake_stream_fail)
764
+ monkeypatch.setattr(bot, "ask_openrouter_text", fake_text)
765
+ route = [("openrouter", "meta-llama/llama-3.3-70b-instruct:free"),
766
+ ("openrouter", "openai/gpt-oss-20b:free")]
767
+ ans, sent = asyncio.run(bot._run_route(chat_id, "привет", route, message=incoming, allow_stream=True))
768
+ assert ans == "Ответ от резервной модели"
769
+ assert sent is True
770
+ final_text = placeholder.edits[-1][0]
771
+ assert final_text.startswith("<blockquote expandable>")
772
+ assert "Thought for" in final_text
773
+ assert "Ответ от резервной модели" in final_text
774
+ bot.chat_state.pop(chat_id, None)
775
+
776
+
777
  def test_run_route_deletes_orphaned_placeholder_when_whole_route_fails():
778
  chat_id = 999308
779
  placeholder = _FakeSentMessage()