Внутри проекта DIY DIY, чтобы зажечь каждого слуха гаджета на Земле

Примечание. Архитектура находится в активной эволюции: события через кафку, байты через медиа -шлюз в Minio, аналитику в Clickhouse и тонкий API чтения для графического интерфейса. Ingest пишет Warcs; Резюме - это объекты боковых целей, которые имеют точный текстовый хэш. Этот пост отслеживает большие идеи; Тематические темы (темы/схемы, оценки, RBAC, DLQ) будут приземляться по мере их стабилизации.

Billstechdeck

Много раз в жизни мы должны делать что -то не потому, что это легко, а потому, что это сложно. Я нахожусь в одном из этих мест. Моя мечта: создание программы для получения и корреляции технических новостей. Заинтересованы в дополнительной реальности следующего поколения? Billstechdeck может помочь вам найти информацию об этом! Мир широко открыт для типов гаджетов и технических объявлений, которые вы можете получить от коррелированного источника для оценки технических тенденций и, возможно, получить общую картину, которая может ускользнуть от энергичного гугля. Взяв огромную передышку, имея возможность получить «большую картину».

Это проблема, с которой я столкнулся, изучая информацию о Vision Pro из Apple или когда я ожидал новых новостей Switch 2. Слишком много кусочков к призастенчке, и это было разочаровывающим.

Давайте начнем с обзора системы, показывая диаграмму потока (грубая). Некоторые соображения: все стрелки, указывающие на сообщение, текут в разные очереди. Кроме того, рассмотрим каждую подсистему в контейнерах Docker и организованной K8 и в трубопроводе CI/CD (я не включил его в график, потому что он был бы слишком занят).

По сути, я хочу новости, тенденции, источники, анализ, резюме в одном месте, чтобы создать последовательный объем данных, которые я могу понять Zeitgeist технологических новостей, гаджетов и тенденций.

Моя попытка чего -то последовательного:

Теперь я просто любитель. Поэтому я не утверждаю, что знаю что -нибудь. Мне весело, что настоящая радость. Давайте сделаем погружение в эту систему.

Я переделал этоОоооченьмного

Давайте разберем ступеньКафкаСвязанные шаги):

1. АКомбайнполучает вклад изIngressorcaкоторый основан на информации изОбратная связьПолем Он используетсяМиниоКак способ собрать вместеВаркса также иметь возможность обрабатывать богатые СМИ распределенным образом. СМИ хранятся вМиниокластер (медиа -кластер), который работает наSHA256и клавиши SHA1 (в случае WARCS, но у них также будут хэш -ключи SHA256 для конгруэнтности системы)
2. АДезинфицирующее средствоПолучает работу в очереди изКомбайни рисует средства массовой информации из медиа -шлюза, чтобы дезинфицировать. Если это грязно, мы все еще держим его для выполнения криминалистики в контролируемой среде
3. Постзапускается на богатых медиа на основе работы от Кафки
4. Spacy (ner)запускается на все.шпажинапредставляет собой совместную работушпажинаПроверка здравомыслия, и если в здравомыслят, он отправляется в службу очков, чтобы решить, автоматическоеPhi4Резюме оправдано, если не гарантировано, что он просто отправляется в корреляционный двигатель. Если безумны, данные отправляются вБезумие(Не показано для краткости) для использования в качестве аналитики или проверки человека.
5. Phi4Запускается на определенных частях данных, либо оправданных службой оценки, либо инициированными пользователями.
6. АКорреляционный двигательзапускается на все
7. Каждая подсистемаБудет прочный аудит и подчинены для регистрацииЛогандлери вLogsilo/elasticsearch
8. Подсистемы/обработчикнуждающийся в доступе к медиа будет взаимодействовать сМиниокластер через спокойный звонок черезMediaGatewayПолем АСМИ кластер (Minio Cluster) просто поговорим сMediaGateway
9. Разные обработчикиговорить сGuihandlerкоторый отображается наГрафический интерфейсПолем АGuihandlerможет отправитьПротиворечивые(Запрашивая суммирование PHI4, настройка вещей)
10. АОбратная связьразговаривает сИсторический иундлервытащить изИсторическиЧтобы обучить модель, которая даст лучшую информацию дляIngressorca(Оркестратор)Чтобы лучше выбрать, когда, где и как мы можем получить лучшую информацию, чтобы сократитьПотраченные впустую ресурсына Bunk Data
11. Все данные хранятся вMinio Cluster (MediaCluster) и получить доступ черезспокойные звонки
12. Вызовы вGuihandlerсделаныспокойные звонки
13. Все подсистемыявляютсяконтейнери организованоKubernetes

I'm sure I left out some detail, but that's the gist.

Харвестер:Сбор данных

Как мы собираем наши новости о Slick Pixel Fold 3?

Нам нужно вытащить его из онлайн! Различные источники требуют различных методов сбора данных. Большие проблемы, с которыми мы сталкиваемсяОбнаружение бота, фильтрация DDOS, капчи, необращенная информацияПолем Все сайты также имеют конкретные структуры (насколько сложны). К счастью, у нас есть невероятная экосистема за сбором данных.

Питон - этоневероятныйЯзык для использования для этой цели, и он усердно работает, чтобы помочь любителям, таким как я, получить важную информацию о технических характеристиках Steam Deck 2 и других болтовнях об этом (как невероятно). Есть много соображений. Итак, мы должны предпринять вещи по шагам:

• Рекон
  • Что такое структура сайта?
  • Какой поток сайта?
  • Какие уловки такие компании, как Akamai, тянут, чтобы помешать моей способности получить мои драгоценные технологические фрагменты?
  • Какие ценности меняются и где? Когда мое печенье становится недействительным в зависимости от ненормального потока?
  • JavaScript пытается обмануть меня? Это динамично, запутанно или проверяет на предмет подделки?
  • Мои пользовательские агенты в порядке, а когда я их вращаю?
  • Как мне справиться с заголовками?
  • Как мне справиться с давлением отпечатков пальцев?
  • Этот список становится длинным, поэтому я просто добавлю "эвристику"

Это очень вовлеченный процесс и требует большого внимания. Таким образом, цели, чтобы получить мои технологические новости, должны быть курированы в целом и обрезки. Используя технологии, какКайдоиMITM ProxyЧтобы собрать ценную информацию о сайтах и их эвристике важно.

• Капчас
  • Традиция капчас*: задачи распознавания изображений*
  • Recaptcha*: Машинное обучение, рассматривая поведение пользователей, чтобы определить поведение бота*
  • Невидимые капчи*: надоедливые вещи, которые бегают на заднем плане от сварливых администраторов сайта, стремящихся остановить меня*

В то время как меньший список, это определенно огромное препятствие и ни в коем случае не исчерпывающий список. Все решения этих проблем требуют сложных решений. Сложные решения, которые должны постоянно трансформироваться.

Я мог бы продолжать, но я считаю, что добавление таких вещей, как использование авторитетных жилых доверенных лиц, мобильных прокси, ограничение оценки, признание и смягчение отпечатков пальцев устройства и, наконец, Honeypots. Последнее, что мне нужно, - это тратить ресурсы на бесполезные медовые ролики!

Таким образом, нам нужно иметь разные уровни подхода:

Градуированная стратегия ползания ответа«Тестируй с пеллетным пистолетом, перейдет в постановление, если это Фубар».

• Уровень 1: Граллетaiohttpscrapy
  • Используйте для статических страниц, публичных API или слабо защищенных конечных точек. Низкий шум, низкая стоимость.
• Уровень 2 : Окруженная винтовкаPlaywright + stealth plugins
  • Используйте для js-rederved сайтов, защиты от легких ботов, простых капч. Имитируют реальных пользователей, моделирует поведение браузера.
• Уровень 3:ПостановлениеCrawl4AI/NodriverВheavyCAPTCHA solvingВMobile proxies
  • Используйте при ударе: невидимые капчи, анти-ботовые головоломки JavaScript, DOM запутывание или защиту управления потоком. Тяжелый, но необходимый для жестких целей.

Почему это важно

• Эффективность:Не сжигайте драматурные циклы, когдаcurlРабота
• Стелс:Избегайте поднятия тревоги без необходимости.
• Долговечность:Беги в течение нескольких месяцев без запретов, а не недель.

Хотя теперь мы вводим сложность, которая в порядке. В начале у нас будут очень простые правила. По мере роста системы иИсторическистановится более надежным, мы можем сделать лучшие звонки в лучшие места, так как у насИсторические данныеи шаблоны, чтобы направлять нас.

Эта часть системы, возможно, являетсясамый важныйи будет одним из них, требующим постоянного обновления из -за игры кошки и мыши между сайтами бега Weenies, чтобы держать меня от моих сладких, сладких новостей Samsung.

Я разработал план по употреблению, употреблению, употреблению и возможности проверять, прежде чем мне действительно придется беспокоиться о том, чтобы получить данные в реальном времени. Текущий план состоит в том, чтобы извлечь данные с Archive.org (с точки зрения дросселя и, конечно, вежливо). Идя таким образом, я переписалИнтернет -архив Python Purperбыть асинхронным и не блокирующим.

Если бы я просто начал получать много своевременных данных, у меня не будет хорошей уверенности, что мои корреляции что -либо значит. Исторические данные дают мне гораздо большую уверенность и позволяют проверить информацию с задним числом 20/20.

Этот подход позволяет мне принять участие и сосредоточиться на остальной части системы без необходимости создавать гусеница, который потребует много изменений. Я чувствую, что строительство гусеницы будет съесть слишком много времени в начале и оставить остальную часть системы заброшенной.

Данные не должны доверять:Искусство людей, желающих отравить вашу систему

В чем проблема с получением данных из Интернета?

Ну, любой, кто был в Интернете в течение любого времени, знает о грязных тролли. Актеры, которые хотят, чтобы вас и благородная цель - получить новую информацию о смартфоне. Потому что тот факт, что люди хотят вас писать, вы должны предположить худшее.

Давайте выделим некоторые проблемы (не исчерпывающий список, просто вкус)

• Злоба в действии
  • Полезные нагрузки JavaScript (xss, встроенное доброту и т. Д.)
    • Беспокойство о эксфильтрации данных
    • Браузер эксплойтов
    • Перенаправление и фишинг
  • PDF -макросы и встроенный объект
    • Может делать жуткие вещи, такие как «Исполнение удаленного кода»
    • Информация раскрытия
    • Инициировать соединения со страшным C2
  • Обработка различных филетипов
    • Офисные документы макросы
    • Exe/dll (меньше заботы с тех пор, как они будут отфильтрованы
    • Мягкие архивные файлы, которые содержат исполняемые файлы и пересечение пути
    • Файл изображения/медиа: скрыть стегонаграфию или использование грязных грязных кодеков
  • Целостность данных
    • Подделанные данные
    • Сделанные источники
    • Люди, которые хотят отравить мою систему в целом плохие данные

Так как же нам справиться с этим? Некоторые вещи, которые я оставил в этом списке (например, серверы, пытающиеся DDOS моего комбайна, обслуживая тонны ненужных данных, чтобы повредить мои чувства).

Сначала мы хотим изолировать и содержать все данные, которые мы не проверяли. Отдельный черный ящик, который либо находится в другой сетевой системе, либовоздушнаяПолем ПокаВлан прыгаетПотекает, это должно быть взвешено с предостережением, которые поставляются с воздушным захватом (с которыми я никому не ухаживал).

Один уровень работаетЯраПравила в файле. Что в порядке, и отличная отправная точка. У нас есть инструменты для макро -анализа. У нас естьPDFИнструменты анализа. Мы можем проверить файлы - это то, чем они являются (убедиться, что грязные троллы не скрывают EXE). У нас естьАнализ статического кодаПолем Мы проверяем хэши против кормов для угроз.

У нас также естьКукушкав другой крайности. Этоне будет реализованПока мы не преодолеем фазу интернет -архива. Это идет сзначительныйпредостережения. Он обеспечивает динамический анализ, поведенческую отчетность, обнаружение угрозы ...НоВЭто может быть сорвано!Некоторые грязные файлы могут обнаружить среды песочницы. Другие могут избежать их. Он интенсивный ресурс и имеет сложную настройку. Некоторое время это слишком интенсивный и сложный.

Наконец, мы должны беспокоиться о отравлении данных. У меня нет четкого пути, как справиться с этим. Я собираюсь пройти широкую широту исследовательских работ, чтобы лучше понять проблему и подходы.

Никто не сказалБезопасность легкоПолем Я пишу это не окончательное написание того, что я делаю. Более того, подчеркнутьошеломляющийКоличество способов, которыми могут быть плохие хомбрыкомпромисся и моя система.

Мне еще предстоит увидеть замок, который нельзя выбрать.

Я могу сделать это как можно более сложным.

Имея это в виду, я разрабатываю эту часть сРжавчинаПолем Производительность, безопасность памяти, и мне просто очень нравится. Это будетТокиоработа. СМИ будут получены и опубликованы вMediaGatewayчтобы взаимодействовать сMediaCluster(Minio Cluster)

В заключение:

Большую часть времени,плохие актерыявляютсясмотрящийдлянизкие висящие фруктыПолем Чем дальше я могу поставить сладкие, сладкие яблоки на дерево иМинимизировать мою поверхность атакитем лучше.

Если данные скакируют, мы карантином их, чтобы мы могли проанализировать их. Мы документируем это и храним аналитику, вращающуюся вокруг нее вИсторическиПолем

Phi4-medium:суммирование для таких занятых людей, как я

LLMПриходите с множеством проблем. Ресурс мудрый, контент. Тем не менее, они также имеют возможность дать нам убедительные резюме потенциально длинных фрагментов информации. Вот почему я используюPhi4-Medium(нужно что -то более надежное).

Зачем мне это выбрать?

• Златовласка размер и производительность
  • Средний больше, чем мини. Средний имеет 14 миллиардов параметров.
  • Достаточно конкурентоспособно с более крупными моделями, но более эффективными
• Оптимизирован для моих вариантов использования
• Подходит для местных развертываний
• Экономически эффективно (так как я смиренно капустный фермер)
• Гибкость в развертываниях

Мне нужно что -то местное и мощное, и это соответствует счету. Быть его собственным изображением Docker делает его легким. Еще одна позитивная способность - моя способность точно настроить его (для моей жадной необходимости информации о новом iPhone).

Предостережения!

• Галлюцинация
  • Мои собственные парни работают против меня!*вздох*Это стоимость ведения бизнеса. Для этого мне, возможно, придется реализовать и тряпную систему.
• Английский
  • Я разбираюсь в потреблении английского языка.В конце концов, это не в целом, так как я не многоязычный. Хотя это добавляет сложности, если я хочу расширить источники данных в места, которые я не могу понять

Так что жеУпрямый фермер капустыкак я?

Здравомыслительные проверки.

• Такие вещи, как доход от объема
  • Значение: Проверяет, если длина резюме является разумной.
    • PHI-4 производил резюме из 150 слов по запросу, или он вернул одно предложение или 10-страничный роман?
• Cardinality или категориальная проверка ценностиПолем
  • Значение: Проверяет, являются ли сущности (люди, места и т. Д.) В резюме являются допустимым подмножеством сущностей в оригинальной статье. Основная защита от галлюцинации.
    • Указывает ли резкое упоминание «Германия», когда в исходном тексте упоминается только «Франция»?
• Полнота и проверка скорости заполненияПолем
  • Значение:Проверяет на отсутствие критической информации.
    • В первоначальной статье упоминались три ключевые компании, но резюме включает только одну. Сводка не хватает жизненно важной информации?
• Проверки уникальности
  • Значение:Проверяет на повторяющийся или избыточный контент в пределах резюме.
    • Модель застряла в цикле и повторяла одно и то же предложение три раза?
• Диапазон проверокПолем
  • Значение:Проверяет, если численные данные в резюме являются фактически правильными на основе источника.
  • В исходном тексте говорится, что прибыль составила 5 миллионов долларов », но в резюме говорится, что« 5 миллиардов долларов ». Это катастрофическая численная ошибка?
• Проверки присутствия
  • Значение:Самая основная проверка: служба вообще что -нибудь вернула?
    • Плавливание PHI-4 времени или вернула пустую строку вместо резюме?
• Проверки проверки типа данных.
  • Значение:Проверяет, если резюме соответствует запрошенной структуре.
    • Я попросил объект JSON с массивом «заголовок» и «key_points». Является ли выходной json с этими точными ключами?
• Проверки согласованности
  • Значение:Самая глубокая проверка на фактическое обоснование и логическое противоречие.
    • В исходном тексте говорится, что «проект был отменен», но резюме подразумевает, что он продолжается. Соглашает ли резюме факты оригинальной статьи?

Этот список может быстро стать похожим на Benjamin Buford Blue Blue Imering для креветок, поэтому я заполню его там.

Это будет автоматически управлять в зависимости от службы зачетов или вручную, запрашиваемой вручнуюутечкаПолем

Захватывание сущностей с помощью Spacy:захватасоответствующие вещи

Мы вшпажинараздел.

Какую модель я выбираю?шпажинапредлагает разнообразные предварительные модели с собственным использованием. Они обученыОбщий веб -контентТак что из коробкион не узнает технический жаргонПолем Мне, вероятно, нужно будет точно настроить обычаиNER MODELи добавитьПользовательские компонентыПолем В начале мне нужно будет аннотировать данные для обучения моей модели (есть инструменты с открытым исходным кодом для некоторой автоматизации этого процесса). Это также охватит его обучениеПризнайте типы сущностейПолем

Мне нужно бытьбеглыйв соответствии с правилами (matcherиEntityRuler) яПонадобитсявойти и сделатьсущность связываетсяиустранение неоднозначности(то есть «Apple» компания и «Apple» фрукты). С этим появляется возможность создания пользовательской сущности, связывающей компонент или внешнюю интеграцию инструментов (надеюсь, нет).

Поскольку я в данный момент беспокоюсь только о английском, я счастлив, что не знает обнаружения языка.

Прошло, что мне нужно будет рассмотреть исполнительные вещи, такие какпартийная обработкаикомпонент отключаетПолем Когда не используется, выключите его!

С возможным соображениемпараллельные процессыбег сPhi4Я должен рассмотретьПроцессормодели на основе иГрафический процессормодели на основе, а также должны учитывать значительное использование оперативной памяти.

ЕстьПредварительная обработка, постобработка и, возможно, интеграция внешней логики и моделейПолем Использование пользовательских атрибутов будет обязательным. Мне придется планировать текст на вне домена, с которым я неизбежно сталкиваюсь, и мне очень важно знать, как справиться.

Наконец, и почти самое главное:

Здравомыслительные проверки.

• Проверка схемы
• Проверка правильных типов данных
• Уделение пристального внимания на поведение вокруг критических полей
• Определение ожидаемых типов данных
• Установление приемлемых диапазонов с такими вещами, как даты и количество слов
• Определить допустимые значения
• Определите пороги полноты
• Рассмотрение правил посредника поля полета

Многие из вышеупомянутых материалов для проверки здравомыслия применяются здесь, но в более детальном смысле, имея дело с организациями. Список можно продолжать, и снова он становится листинговым использованием для креветков для Forrest Gump.

Я чувствую себя хорошо в полноте этого раздела.

Корреляция данных:понимание вещей

Корреляция данныхВ этой системеневероятноважный. Мне нужен язык, который может предоставить мне некоторые гарантии памяти, а также помешать мне совершать ошибки новичка. Я дрейфовал кC ++сначала. Я подумал и вернулся вРжавчинаПолем Я просто не опытныйC ++Программист и, вероятно, будет реализовать вещи, которые будут проладить мою систему.

По сути,Ржавчинаберет сущности изшпажинаи соединяет точки. Он будет использоватьКЛЮЧЕСКИЙ ДОХОДкнаписать/читать/магазинуместныйвещиПолем Мне нужна была реальная гранулярность и функциональность для статистики в корреляции. Более ранний проект включал Rocksdb, который не был достаточно надежным с недавними событиями.

Так что статистика будет важна (ура!).

АнонцаидентификаторСпособ кодирования - это ключ, и мне нужно быть очень обдуманным с тем, что я делаю, почему я это делаю и как я реализую вещи. Я собираюсь использоватьТокиодля этой части, так как у меня будет много процессов ввода/вывода, разговаривающих сКЛЮЧЕСКИЙ ДОХОДПолем

Мы в основном принимаем все сущности изапустить богатый анализна них сравнить этоИсторические данныеПолем

Я рассматриваю следующие вещи:

1. Является ли эта связь статистически значимой?
2. Эта корреляция больше, чем просто «шанс»?
3. Стоит ли создать графические отношения?
4. Существует ли фактическая поддержка, чтобы сделать акцент на этих конкретных отношениях?

Так что мне нужно делать такие вещи, как установитьP-значениедля соединений. Было бы также хорошей идеей установитьТочечная взаимная информация, мера, которая оценивает, насколько более вероятно, что две сущности появятся вместе, чем случайно. Где высокие и негативные результаты рассказывают мне великие вещи о корреляции.

Использование статистики важно для фильтрации шума. Например, сущности'Яблоко'и'iPhone'появится вместе тысячи раз, но эта связьочевидныйинетОсобенно проницательно. Статистика помогает нам доказать, что более редкая связь, как конкретная технологическая компания и государственное агентство, гораздо более значительнее, даже если она появляется только несколько раз. Кроме того, думая оБелый дом: егонетзначительныйПотому что этоБелое зданиеПолем

Прошлое в некоторых концепциях, которые я чувствую, из -за объема этого обзора, я оставлю его в этом.

Данные:Магистраль

Так что же мне делать со всеми этими данными о новых технических предметах?

Я закрепляю.

У меня будет несколько баз данных(Postgresql, Clickhouse, Neo4j, Minio)

Все операции данных будут переданы черезобработчики данныхПолем Один будет справлятьсяNeo4jОперации, одинPostgresqlкоторый будет использоваться для хранения данных артефакта(в основном реестр метаданных), два будутКЛЮЧЕСКИЙ ДОХОД (ИсторическииКорреляции) Это много, но у каждого БД есть своя сила, и я считаю, что прост"SQL Server для всего"будет иметь значительные недостатки.

Структуры данных,хорошийТаблицы и первичный ключ будут равносильныКЛЮЧЕСКИЙ ДОХОД(сложныйхранимые процедурысреди прочего). ААртефактБудет значительно проще, хотя определенно потребуется много внимания. Это будет источником большого созерцания, слез и разочарования. Хороший дизайн окупится в пиках. Я подхожу к этому позже, так как чувствую, что у меня будет гораздо лучшее представление о том, что мне нужно, чем дальше в системе, которую я получаю.

Neo4jэто еще один зверь. Я чувствую, пока мойКоррелятор не звонитэто должно бытьотносительноБезболезненные (знаменитые последние слова). Я чувствую, что я по сути хочу попытаться сделать это как можно более глупым. Я хочу иметь возможность указывать на мой механизм корреляции и понять"почему?"Если я начал добавлять слои слоев сложности и логики корреляции, данные становятся более связанными и отвлекаются от значения моего корреляционного двигателя

АИсторическибудетКЛЮЧЕСКИЙ ДОХОДУ дБ есть много гранулированных данных из таких вещей, как:

• Где мы получили хорошие данные
• Какие поисковые запросы дали лучшие данные
• Какие методы сбора урожая работали лучше всего, для какого источника данных
• Где/когда и, возможно, почему мы получили грязные данные
• Аналитика об этих грязных данных

Скорее всего, гораздо больше, и я найду их, когда доберусь до этой точки.

АМиниоКластер будет намного менее болезненным для реализации, чем другие. Мне все еще нужно убедиться, что все есть ремень и подтяжки.

Базы данных будут интенсивным опытом. Там будет еще тонна. Постиловалось, хотя.

GUI: Время веб -апп!

АГрафический интерфейсбудетWebAppПолем Первоначально я собирался сделать это настольное приложение. Я понял, что в конце концов я хочу, чтобы больше людей использовали его.Pyside6Не был бы отличным вариантом.

ИспользованиеWebAppЯ получаю доступ к такому разнообразию библиотек. У меня есть невероятный доступ к информации, которая может быть недоступна, если я использовал графический интерфейс. Когда я изначально обосновалсяPyside6, мои цели были сильно разными. Честно говоря, я просто не хотел писать графический интерфейс в Python. У меня нет веской причины, почему я не знаю. Это совершенно способно. Это было просто личное предпочтение.

Имея это ноющее чувство в своей кишке, я искал другой вариант графического интерфейса. Я нашелМНОГОпроектов графического интерфейса были заброшены. Чтобы добавить к этому, найти хорошие примеры того, что люди, построенные с библиотеками GUI, было трудным, если не невозможно. Я определенно мог бы просто продвинуться вперед, но я не хотел что -то использовать, а затем вкладывать в работу и прийти к осознанию того, что мое видение невозможно с определенным графическим интерфейсом.

Итак, я пошел сWebAppПолем В этом есть большая польза, но теперь я должен быть действительно на вершине безопасности. Тем не менее, мне не придется беспокоиться об этой сложности, пока я не полагаю, что готов показать свой проект, и, возможно, к тому времени я смогу найти несколько крутых парней для кодирования.

По сути, графический интерфейс разговаривает сGuihandlerкоторый говорит сЛогандлерВArtifacthandlerВИсторический иундлери выполнять контрольные события, такие как возможность выполнять определенные задания.Противоречивыепридется быть запертым и преднамеренным в том, как она ставит работуКафкаПолем

Мы должны быть в состоянии обслуживать все виды богатых СМИ.

Мне кажется более разумным просто делать веб -приложение.

Последние слова:Последние соображения

Я не покрывал все.Этот пост теперь закрывается на 4,5 тыс. СловаПолем Одна вещь, которую я хочу добавить, это мой выборКафкаПолемКафкаДля этого проекта прямо сейчас действительно излишний. Это не был мой первоначальный выбор. Тем не менее, я столкнулся с ловушкой во время разработки, когда мой первоначальный выбор стал несостоятельным. Так,Кафкагде я приземлился.

Дополнительный бонус в том, что он выглядит хорошо в резюме.ЕслиЯ когда -либо решил попытаться стать разработчиком.

Я не будуПолем

Но это выглядело бы красиво.

Впереди мне, чтобы я мог вдохнуть жизнь в мою любовь к техническим тенденциям.

Януждатьсясделать что -нибудь из этого?

Нет.

Я просто думаю, что это невероятно весело.

Вся архитектура и выбор потока могут быть изменены. В этом блоге я не буду предоставлять код (я сохраняю ваши глаза).

Везде есть компромиссы.

• Когда я масштабирую Кафку?
• Я внедряю ресурсный оркестратор, чтобы я не сжигаю свою установку?
• Насколько гранулированным я получаю с определением «ценных» данных?
• Что мне делать в ситом, чтобы очистить бесполезные данные?
• Нужны ли мне поздние ночные сессии, сжигающие дротики?
• Что мне делать, если скомпрометировано?
• Как я могу сметить отравление данных?

Раздражение.

Как бы пугающе, у меня естьСекретное оружие: Время и нет босса, чтобы кататься на меня о неудаче.

Это займет годы.

И это нормально.

Этот проект может быть внешне безумным и амбициозным для читателя.

Я достаточно осознал, чтобы признать это.

Хотя я хочу сказать, что меня невероятно заинтересованы во всех областях знаний в самой системе. ЭтоДлинный марафон, не 100-метровый спринт.НемногоПолем

Я хочу оставить на уроке, усвоенный отМистер СпрасПолем Елька - человек, который изменил адрес штаб -квартиры UPS на свою собственную квартиру в Чикаго. Это было разрешено в течение нескольких месяцев, когда г -н Спраус смог внести ~ 65 тысяч долларов наличными на свой счет, который был предназначен для UPS.

Как это подходит?

Урок, который я усвоил из этой историимужествоПолем Иметь полное игнорирование логического потолка в том, что возможно. Мистер Спрас не беспокоился о том, может ли он действительно изменить адрес крупнейшей в мире логистической компании на свою квартиру. Он просто сделал.И это сработалоПолем

Хотя я чувствую, что могу определенно пролить отсутствие мистера Спраса контроля импульса и отсутствие предвидения, я могу усвоить смелость, чтобы попробовать. Наличие полного и полного игнорирования к тому, что консенсус может считать «осуществимым», я могу отправиться в путешествие по обучению, не связанному с традицией, погруженной в разум, который однозначно говорит «вы не можете».

Может, я не могу. Я бы предпочел потерпеть неудачу, чем не пытаться. Для этого я должен воплотить подход мистера Спраса, чтобы полностью не трахнуть.

Если вы наткнулись на этот блог, я надеюсь, что вы, возможно, что -то узнали.

Много любви,

Билл "Волшебник" Андерсон