Intellectual Olympiad in Artificial Intelligence and Machine Learning - 2026 ongoing

Subject: Artificial Intelligence and Machine Learning
Level: XII
Category: student
Quiz questions: in Russian
Example question: При авторегрессионной генерации текста уже вычисленные ключи и значения self-attention сохраняются в KV-кэше. Какое асимптотическое преимущество это даёт при последовательной генерации токенов? Для каждого нового токена не требуется повторно вычислять ключи и значения предыдущих токенов, Полностью устраняется квадратичная зависимость от длины контекста при однократном обучении, Вычисление softmax заменяется линейным преобразованием, Градиенты по всем предыдущим токенам становятся равными нулю