GigaToken: ускоряем токенизацию в 1000 раз с помощью архитектур компьютерного зрения

Знакомо ли вам то неприятное чувство, когда вы собрали крутую архитектуру LLM, запустили пайплайн на терабайт сырых логов, а GPU простаивает половину времени, пока процессор в одиночку и с надрывом к…