Коробка ИИ идет - создайте свой собственный или принадлежит Big Tech
14 июня 2025 г.TL; DR:Ящики ИИ идут. Мы можем построить свои собственные или позволить Big Tech создать их для нас. Угадайте, на каком они делают ставки.
Помните, когда Ричард Хендрикс продолжал разглагольствовать о «коробке», и все думали, что он потерял ее? Ну, оказывается, сумасшедший ублюдок был прав. Мы только что поняли график.
В Силиконовой долине HBO «Коробка» представляла выбор между децентрализованными платформами, которые расширяют возможности пользователей по сравнению с централизованным оборудованием, которое блокирует их в корпоративные экосистемы.
Коробка не является некоторым алгоритмом магического сжатия. Это оборудование Edge AI, которое может запускать модели, которые необходимы два года назад. И сейчас это доставка.
Образец, который должен вас испугать
- 2014:Amazon Echo появляется. «Это просто оратор», - сказали мы.
- 2018:Google и Apple следуют со своими собственными шпионскими цилиндрами.
- 2022:Chatgpt ломает Интернет. Все теряют умы.
- 2025:AMD поставляется с потребительскими чипсами с 50 топов. Nvidia Jetson достигает 275 топов за 2400 долларов.
- 2027:Каналы прогнозируют, что 60% новых ПК будут способны AI, по сравнению с 20% в 2024 году. По прогнозам AI Compute, по прогнозам, будет расти в 10 раз, а рынок искусственного интеллекта приближается к 1 триллиону долларов.
Этот крайний срок 2027 года - это то, где мы решаем, владеют ли семьи их ИИ или арендуйте его навсегда от Big Tech.
Вот что только что изменило
Те модели, которые нуждались в огромной облачной инфраструктуре? Их масштабированные, но практические версии работают на аппаратном обеспечении, которые вы можете купить-если вы знаете, где искать:
Потребитель/просумемер варианты:
- Amd ryzen ai max+ 395:Объединенная память 128 ГБ, 2800 долл. США, 45-120 Вт-единственное устройство для пробумемера, которое может запускать Llama 70B локально по адресу 4-8 токенов/сек.
- Nvidia rtx 4090:24 ГБ VRAM, 1500 долл. США, 350 Вт - мощные, но ограниченные на память, не может обрабатывать модели 70B
- Nvidia jetson agx orin:64 ГБ ОЗУ, 2400 долл. США, 15-60 Вт - отлично подходит для Edge AI, но попадает в стену памяти с большими моделями
Решения только для предприятия:
- NVIDIA H100/H200:80-192 ГБ VRAM, $ 20 000+, 350-1000 Вт-может запустить любую модель, но требует серверной инфраструктуры
- Intel Gaudi 2/3:96 ГБ+ память, 5-8 тыс. Долл. США, 350-600 Вт-конкурентная производительность, но цена на предприятие и требования к мощности
Проверка реальности: AMD Ryzen AI Max+ 395 в настоящее времятолькоУстройство ProSumer, которое может запускать Llama 70b на локальном уровне. Потребительские графические процессоры Nvidia Max Out на уровне 24 ГБ (недостаточно), их корпоративные карты стоят 20 000 долларов США, и даже Jetson Agx Orin достигает 64 ГБ стены. Чипы Intel Gaudi работают, но требуют серверной инфраструктуры и цены на предприятие.
AMD достиг этого с помощью унифицированной архитектуры памяти-до 128 ГБ LPDDR5X, разделяемого между ЦП, графическим процессором и NPU в тихом, энергоэффективном пакете, который подходит в рабочем столе или ноутбуке.
Момент настольного компьютера Linux (но хуже)
Сначала попали Windows, сетевые эффекты начались, и к тому времени, когда Linux был готов к нормам, все уже были заперты в экосистеме Microsoft.
Мы в тот же момент с ИИ. За исключением того, что на этот раз временная шкала составляет 2–3 года, а не десятилетия, а ставки - это интеллект вашей семьи, а не только ваш файловый менеджер. После того, как искусственная интеграция вашей семьи будет интегрирован в экосистему Apple/Google/Amazon, переключение означает восстановление всей вашей цифровой жизни.
В «Готовом игроке первого» Уэйд Уоттс мечтает об обновлении с устаревшего оборудования, чтобы получить доступ к лучшим виртуальным мирам, но он не может позволить себе хорошие вещи. Мы сталкиваемся с одним и тем же выбором с ИИ - за исключением того, что ставки не являются развлечением, это интеллектуальный суверенитет и конфиденциальность.
Почему мы действительно можем выиграть на этот раз
Аппаратный разрыв закрывается (но не закрыт):Потребительское оборудование теперь соответствует необработанному вычислению облачных графических процессоров всего два года назад. Вы можете запустить способные локальные модели для анализа документов, фоновой автоматизации и рутинных задач искусственного интеллекта-но мы еще не совсем на скорости CHATGPT в реальном времени. Подумайте о быстрой обработке партии, а не мгновенной беседой.
Вот ускорение, которое имеет значение: затраты на оборудование падают на 30% в год, в то время как энергоэффективность повышается на 40% в год. Новые фишки обеспечивают 2,8–3 -кратный прирост производительности в предыдущих поколениях каждые 12–18 месяцев - быстрее, чем закон Мура. То, что стоит 2800 долларов сегодня, будет стоить 800-1200 долл. США в течение 18–24 месяцев.
Конфиденциальность больше не является абстрактной:От Tiktok Bans до CHATGPT DATA SCRAPING, люди, наконец, понимают, что их данные не являются безопасными. Заголовки «Обучение искусственного интеллекта в ваших разговорах» по -разному попадают, когда ваш интеллект используется для обучения вашей замены.
Модели становятся товарами:Мета (лама), Мистраль, Дипсеек, Алибаба (QWEN) выпускают способные модели, которые работают локально. Теперь вы можете запустить приличный ИИ без того, чтобы он не тащился в корпоративной штаб -квартире.
Честная техническая реальность
Что вы на самом деле можете сделать с 4–8 токенами в секунду?
Давайте будем честными - это еще не для обычных семей. В 4–8 токенах в секунду вы не получаете плавный опыт работы в чате, которые ожидают большинство людей. Вы устанавливаете задачи и ждете.
В настоящее время это для технических энтузиастов, которые хотят экспериментировать с местными ИИ, разработчиками, создающими приложения, и пользователями, занимающимися конфиденциальностью, желающими торговать удобством для суверенитета данных. Настоящий семейный рынок прибывает, когда это оборудование достигает 500–800 долларов, а программное обеспечение становится таким же простым, как настройка беспроводного маршрутизатора.
Но вот почему это важно: к тому времени, когда Edge Ai готовится к семье, нам нужна инфраструктура, программная экосистема и знания сообщества. Кто -то должен построить фонд сейчас, или у семьи будут варианты Big Tech, только когда они будут готовы к усыновлению.
Текущие ограничения:
- Разрыв в производительности:Местные модели все еще отстают от GPT-4O/Claude в сложных рассуждениях и мультимодальных задачах
- Бремя обслуживания:Вы несете ответственность за исправления безопасности, обновления моделей и сбои аппаратного обеспечения
- Сила и тепло:Запуск AI 24/7 означает иметь дело с 45–120 Вт потребляемой мощностью, тепловой генерацией и потенциальным шумом вентилятора
- Программная экосистема:При быстром улучшении с такими проектами, как Ollama, инструмент по -прежнему имеет грубые края
Это еще не пьеса. Это больше похоже на «компетентный энтузиаст DIY с многочисленными выходными и большим терпением».
Что вы на самом деле можете сделать прямо сейчас
Если вы технически настроены:
- Начните экспериментировать с Ollama, Local Models и Edge AI Hardware
- Документируйте, что работает (а что нет) для других
- Присоединяйтесь к сообществам, создающим этот материал: r/selfhosted, r/homelab, r/localllama
Если вы настроены на бизнес:
- В рамках настройки и технического обслуживания AI появляется экономика услуг, которая появляется
- Семьи хотят цифрового суверенитета, но не знают, как его построить
Если вы просто заботитесь о цифровой свободе:
- Поддержка проектов Создание альтернатив
- Не покупайте первую субсидируемую коробку для ИИ, которая поставляется
- Поделитесь этим с людьми, которые помнят, когда интернет был децентрализован
Облако против края: реальные числа
Cloud AI (Chatgpt Plus, Claude Pro):
- Авансовая стоимость: $ 0
- Годовая стоимость: 240-600 долл. США (20-50 долл. США в месяц)
- 3-летняя общая сумма: 720-1800 долл. США
- Конфиденциальность данных: ваши разговоры покидают дом и обучают корпоративные модели
Edge AI (DIY Setup):
- Авансовая стоимость: 2500 долл. США (AMD Ryzen AI Max+ System)
- Годовая стоимость: 100-200 долларов США (электроэнергия, обслуживание)
- 3 года: 2800-3100 долл. США
- Конфиденциальность данных: все остается локальным
Математика работает: $ 2500 Однократная стоимость оборудования в зависимости от 20–50 долларов в месяц навсегда. Но реальная ценность - конфиденциальность.
Мы на момент 1993 года
В 1993 году вы все еще можете выбрать децентрализованный интернет. К 2003 году платформы выиграли.
В 2025 году вы все еще можете выбрать суверенитет Edge AI. К 2027 году несколько отраслевых прогнозов проецируют основную точку перегиба:60% новых ПК будут способны AI.ВAI Compute вырастет в 10 раз во всем миреи экосистемы будут заблокированы.
Окно открыто сейчас. Видение Pied Piper о децентрализованной технологии, обслуживающих пользователей вместо платформ, наконец -то технически возможно.
Но окна не остаются открытыми навсегда.
Суть
Коробка идет. Вопрос в том, что вы создадите его, или Big Tech создаст его для вас?
Следующие 2–3 года определят, владеют ли семьи их ИИ или арендуют его навсегда. Аппаратное обеспечение существует. Модели доступны. Единственная недостающая часть - это решение действовать.
Отраслевые аналитики проектируют, что к 2027 году ИИ будет интегрирован практически во все бизнес -программное обеспечение, сВ глобальном уровне доступный ИИ вычислитель, как ожидается, вырастет в 10 разиРынок ИИ приближается к 1 триллиону долларовПолем Аппаратное обеспечение существует. Модели доступны. Рынок нуждается в этом. Единственный вопрос: кто его контролирует?
Что вы думаете? Мы строим будущее или просто косплей как цифровые борцы за свободу?
Оригинал