Проекты и инженерная практика

Системы, которые выросли из реальных задач: автоматическая проверка заданий, учебные конвейеры и открытые материалы с проверяемыми источниками.

HyperNanbeige-33B: гибридная квантизация и быстрый инференс 33B-модели на одной RTX 3090

Как уместить рассуждающую модель Nanbeige4.3-33B с контекстом 57 344 токенов и четырьмя параллельными слотами в 24 ГБ VRAM за счёт хирургической сборки GGUF, симметричного KV-кэша и спекулятивного декодирования без драфт-модели.

  • LLM
  • GGUF
  • llama.cpp
  • квантизация
  • CUDA
  • агентная разработка