Прорыв в пространстве времени, древние системы памяти и вдохновленный I-цинг-специалист по гипер-стоковому планировщику
7 июля 2025 г.Память - это настоящее узкое место в ИИ и вычислительстве.Независимо от того, обучаете ли вы крупные языковые модели, управляете сложными симуляциями или организуете микросервисы, это часто ОЗУ, а не процессор, который определяет истинный масштаб того, чего вы можете достичь.
Итак, что, если бы вы могли резко сократить свое активное следствие памяти? Что если бы вы могли сделать «экспоненциально меньше запоминания», в то же время хрустящая массовые наборы данных? MIT'sРайан Уильямс только что доказал, что это возможно, решение 50-летней головоломки в области компьютерных наук, демонстрируя, чтоЛюбые вычисления, работающие вовремяТможно смоделировать с примерно√Ткосмос.
Но вот что действительно очаровало меня: многие культуры коренных народов делали что -то удивительно похожее на тысячелетия, сжимая обширные системы знаний в человеческую память, используя песню, танец и историю. Я немного коснулся этого в моей другой статье HackernoonИскусственный культурный интеллектПолем
Так что это заставило меня задуматься: можем ли мы объединить математическую элегантность прорыва Уильямса с воплощенной мудростью этих древних практик? Могут ли гексаграммы I-Ching-по сути, 6-битный двоичный код-предложить новую ментальную модель для планирования памяти? Я закончил прототипом кое -что, что называю64-клеточный гипер-стек-планировщик (HSS)Полем
Почему вы должны заботиться: сжимать свою память
Результат Уильямса, более формально выраженный как:
Для каждой функции t (n) ≥n время [t (n)]⊆Пространство [o (√t (n) logt (n))]]
... большое дело. Большинство предыдущих временных разделений были теоретическими или слабыми, но это жесткое и конструктивное. По сути, любая проблема решения, решаемая многоцелевой машиной во времениt (n)также может быть решена (возможно (возможно, отличающаяся) многоцелевая машина с использованием толькоO (√t (n) logt (n))космос.
С практической точки зрения, я понимаю, что это означает, что вы можете уменьшить активную память отТвплоть до√t(плюс некоторые журналы). В этом разница между установкой ваших моделей на самостоятельных графических процессорах и необходимостью аренды серверов в размере 20 000 долларов. Для инженеров и разработчиков это переводится непосредственно к:
- Экономия стоимости:Меньше оперативной памяти, меньше дорогих машин.
- Масштабируемость:Вместить большие проблемы в существующее оборудование.
- Эффективность:Потенциально быстрее выполнение из -за улучшения использования кэша.
Помимо необработанных чисел, у меня была догадка, что схемы на основе шестигранника могли бы раскрыть что-то дальше для нас. Они могут помочь обеспечить локальность, предсказать погрузку и даже помочь вам быстрее отладить сложные рабочие нагрузки, предоставляя визуальную, интуитивную карту состояний вашей памяти. Потому что у нас уже есть доказательства гексагональных структур, влияющих на технологию от башни клеток, до алгоритмов Pathfinder, до систем геопространственного анализа.
Прорыв на простом английском (и коде)
Старым предположением в информатике было то, что если алгоритм принимаетТвременные шаги, вам, скорее всего, понадобитсяТпространство, чтобы отслеживать его состояние. Утверждение Уильямса нарушает это, демонстрируя, что вы можетерекурсивноРазделите свою проблему на более мелкие куски (часто используя сбалансированные сепараторы в плоских графиках), что позволяет логорично использовать те же ячейки памяти. Подумайте об этом так: вместо того, чтобы нуждаться в уникальной ноте для каждого шага путешествия, вы можете разработать систему, которая эффективно повторно использует меньший набор нот, стратегически приостановив, хранит, а затем возобновите ваш прогресс через сложную местность.
Чему научит древние системы памяти нам о сжатии данных
Задолго до SSD и DRAM культуры коренных народов освоили сжатие данных с помощью методов «старой школы»:
- Songlines (в Австралии):Обширные сети историй, нанесенные на пейзажи. Пение песни буквально помогает вам запомнить маршрут, разгружая сложные навигационные данные в запоминающийся, воплощенный шаблон. В более поздние времена мы видели, как сила песни появляется для улучшения памяти о моментах спациенты с деменциейПолем
- Танцуйте как база данных:Некоторые культуры кодируют таксономии, ритуалы и истории в хореографических танцевальных последовательностях, хранение информации в мышечной памяти и общих физических моделей. См. ИсследованиездесьПолем
- Сложность истории:Нарративное наслоение позволяет людям вспомнить огромные генеалогии, юридические прецеденты и процедуры без письменных записей, создавать сложные информационные структуры через мнемонические устройства. Мы знаем, что культуры коренных народов процветают от устных традиций рассказывания историй. Тем не менее, современной версией этого вполне может быть культура мемов.
Что меня поразило, так это то, что эти методы также косвенно повторно используют ограниченную рабочую память, разгружая сложность в воплощенные, рекурсивные паттерны. Из того, что я вижу, этот математический подход Уильямса к повторному использованию памяти.
Почему гексагоны и i-ching?
Мой выбор гексаграмм i-ching не был произвольным. Это было обусловлено тремя основными причинами:
- Оптимальная упаковка:Известно, что шестиугольники имеют плитку с минимальной границей на площадь. Подумайте о уляках или структуре графена. Эта геометрическая эффективность может привести к лучшей организации памяти.
- Бинарная элегантность:Каждая гексаграмма I-Ching-это идеальный 6-битный двоичный код (yin = 0, yang = 1). Сам Лейбниз признал этостолетия назадПоявление цифровых компьютеров. Это делает их по своей сути вычисляемыми.
- Серый код соседства:Перемещение между соседними гексаграммами означает перевернуть только один бит. Это «серо-код» (способ подсчета в двоичном языке, где каждый шаг меняет только одну цифру, что делает его полезным для снижения ошибок в цифровых системах), имеет решающее значение для низких переходов между состояниями памяти, минимизируя стоимость переключения контекстов.
Эта комбинация казалась естественным мостом между рекурсией Уильямса и более интуитивной моделью зрительной памяти.
Создание 64-клеточного планировщика гипер-стакана
Я хотел что -то осязаемое, что вы могли видеть и использовать, поэтому я построил небольшой интерактивный прототип.
👉 Попробуйте это здесь:Hyper64i.vercel.app
Вот что он делает:
- Карты рабочей нагрузки на 6-D Hypercube (64 вершины = 64 гексаграммы).
- Использует прогулки с серого кода, чтобы сохранить эффективные переходы и минимизировать «стоимость» при перемещении между состояниями памяти.
- Визуализируют, какие ячейки активны, которые разделены для рекурсивных операций, а какие повторно используются.
- Позволяет имитировать обход рабочей нагрузки почти в режиме реального времени, позволяя вам наблюдать за поведением памяти.
Для примера рабочей нагрузки 100 000 временных шагов прототип продемонстрировалАктивное использование памяти приблизительно 0,6 SQRTT, с коэффициентом замедления примерно 4 раза по сравнению с линейной памятью. Даже в этой ранней форме это удивительно интуитивно понятно:Вы можете визуально отслеживать, где ваша память выделяется и используется повторноПолем
Как вы можете использовать его в своих проектах
Концепции, лежащие в основе планировщика Hyper-Stack, могут быть адаптированы для различных сценариев реального мира:
- Модель контрольно -пропускной пункты:Слои трансформатора карты, состояния RNN или другие компоненты модели глубокого обучения на шестигранные ячейки для более эффективной контрольно-пропускной пункты и тонкой настройки.
- Встроенные системы:Подместите сложные стационарные машины и алгоритмы в крошечные следов ОЗУ, критические для устройств IoT и других сред, ограниченных ресурсами.
- Отладка сложных систем:Используйте визуальную смежность гексаграмм для отслеживания переходов состояния и более интуитивно определить аномалии или узкие места в шаблонах использования памяти.
Если вы хотите экспериментировать, код планировщика открыт (пинг меня!), И может быть адаптирован для ваших конкретных рабочих нагрузок.
Открытые вопросы и следующие шаги
Постоянно, всегда есть предостережения:
- А√tСвязывание асимптотическое; Получив реального мира будет в значительной степени зависеть от вашей конкретной структуры графика и характеристик рабочей нагрузки.
- Постоянные факторы в рекурсии сепаратора по -прежнему добавляют некоторые накладные расходы, которые необходимо оптимизировать для практических применений.
- Любые когнитивные выгоды от визуализации гексаграммы для отладки до сих пор являются анекдотическими, но требуют дальнейшего изучения.
Последние мысли: древняя мудрость, современный код
Этот проект начался с простого вопроса: «Могут ли древние системы знаний вдохновить на лучшие вычисления?» После прочесывания теоремы Уильямса и прототипа планировщика Hyper-Stack я убежден, что ответ «да». Но если вам любопытно изучить границы алгоритмической сжатия памяти со мной-или просто хотите посмотреть, как 3000-летние символы могут помочь вам отладить ваш код в 2025 году-проверьте планировщик и поделиться своими отзывами.
👉 Попробуйте прототип здесь:Hyper64i.vercel.app
💬 Ударил меняЕсли вы хотите сотрудничать или разорвать проект.
Оригинал