Как запустить Kimi K3, используя 29 ГБ RAM со скоростью 0.50 токен/с: практическое руководство по локальному инференсу

Представьте, что вам нужно протестировать гиганта с 2.8 триллионами параметров, но из оборудования у вас только обычный рабочий ноутбук с 32 ГБ памяти. (Прямо как в том анекдоте про легаси-код: работ…