K-VAE

KVAE 2.0 Image — непрерывный токенизатор изображений для диффузионных text-to-image моделей. Модель использует пространственное сжатие 8×8, 32 латентных канала и содержит около 0,2 млрд параметров. В наших тестах реконструкции KVAE 2.0 Image превосходит VAE ведущих открытых text-to-image моделей по метрикам PSNR и SSIM. Качество латентного пространства также переносится на последующую генерацию: в фиксированной конфигурации text-to-image генератора KVAE 2.0 Image чаще предпочитают по итогам субъективной side-by-side оценки с учётом следования промпту, визуального качества и семантической согласованности.

KVAE 1.0 Audio — непрерывный полнодиапазонный аудиотокенизатор с частотой дискретизации 48 кГц, входящий в число наиболее сильных открытых аудиотокенизаторов. Он сжимает исходные аудиосигналы в компактные непрерывные латенты и с высокой точностью реконструирует речь, музыку и другие звуки. KVAE 1.0 Audio создан не только для качественной реконструкции сигнала: его латентное пространство хорошо подходит для обучения диффузионных моделей. При использовании его в качестве токенизатора в фиксированном text-to-audio генераторе улучшается качество генерации, модель превосходит открытые альтернативы в side-by-side оценках.

KVAE 2.0 Video — семейство каузальных видеотокенизаторов для диффузионных генеративных моделей. В наших reconstruction-тестах и сравнении side-by-side выпущенные модели превосходят сравниваемые открытые токенизаторы по ключевым показателям качества реконструкции и генерации. Обе версии используют временное сжатие 4× и пространственное сжатие 8×8 или 16×16. Полностью свёрточная архитектура и кэширование временного контекста позволяют эффективно обрабатывать длинные видео по частям.