Ошибка, черный ящик и карта мозга: чему научило нас AFNI против SPM о открытом исходном коде
15 июля 2025 г.Иногда научный прогресс зависит не только от новых открытий, но и о том, как мы строим и делимся инструментами, которые помогают нам разобраться в сложных данных. Это история оАфниСпмДва наиболее широко используемых программных пакетов в нейровизуализации и то, как их различные подходы к прозрачности помогли сформировать одну из наиболее значимых методологических исправлений в недавней истории.
На этой неделе я общался с несколькими людьми о науке с открытым исходным кодом и о том, как мы можем измерить ее ценность. Для меня, я думаю, это глупый вопрос: я видел ценность открытого исходного кода в науке. Это не общий призыв к открытой науке, я прожил ее и верю в нее. Это запись того, что я видел, произошло из первых рук, и почему я решил работать в программном обеспечении с открытым исходным кодом. Я был в двойной программе PhD между национальными институтами здравоохранения и Университетским колледжем Лондона, соответствующими домами, где жили наши основные статистические персонажи: AFNI и SPM. Я был одним из немногих, кто видел влияние этого лично, в обоих учреждениях, и это навсегда изменило разработку программного обеспечения.
SPM против AFNI: та же проблема, другой ответ
С 1990 -х годов обаSPM (статистическое параметрическое отображение)иAFNI (Анализ функциональных нейроизумов)были важны для анализа данных FMRI. Каждый из них позволил исследователям перевести шумные, высокоразмерные данные мозга в интерпретируемые результаты. Но под их общей целью лежит фундаментальная разница в том, как они были разработаны и поддерживались.
SPM, разработанный Карлом Фристоном и его коллегами, давно свободно распределен для академического использования и основан на строгих теоретических работах. Он получил широкое распространение, особенно в университетской среде, где Matlab - ее основная платформа - уже использовалась. Однако для большей части своей истории развитие SPM оставалось довольно централизованным. Обновления были выпущены периодически, но внутренняя работа инструмента была в основном обрабатывалась в основной команде.
AFNI, разработанный Робертом У. Коксом и поддерживался в NIH, выбрал другой подход. У него было письмо об отставке в NIH, обрамленную двери этого офиса, в котором объясняется, что если они не обязаны финансировать разработку программного обеспечения, он уйдет. NIH финансировал разработку программного обеспечения, и это письмо оставалось в этом кадре в течение еще двух десятилетий до его выхода на пенсию.
Кокс выпустил AFNI по лицензии с открытым исходным кодом, и с самого начала он с самого начала. Его кодовая база всегда была доступна, с публичным изменением, которая документирует обновления, исправления и подробно изменяется. Отзывы пользователей часто привели к прямым обновлениям, и многие улучшения произошли благодаря постоянному диалогу между разработчиками и более широким исследовательским сообществом.
Эти различные философии - еще одна академическая и централизованная, другая открытая и участие, будут острой облегчением во время того, что стало известно как противоречие кластеризации MRI.
Кластеризационное противоречие
В 2016 году Eklund et al. опубликовал статью, в которой показано, что несколько основных программных пакетов MRI, включая AFNI, SPM иФлс, производили завышенные ложноположительные показатели при использовании стандартных методов вывода на основе кластера. Проблема проистекает из предположений о пространственных свойствах шума мозга - в частности, о том, что она последовала за гауссовым распределением, которое оказалось не удерживать на практике.
Реализация SPM этих методов была технически правильной с точки зрения выполнения моделей, которые он был разработан для запуска. Но эти модели опирались на статистические предположения, которые не были тщательно изучены. Хотя команда SPM признала эти ограничения, изменения по умолчанию и рабочим процессам приходили более постепенно, и публичное обсуждение в значительной степени последовало за публикацией статьи.
AFNI, напротив, имел определенную ошибку в своей функции 3DClustSim - ошибки в том, как она смоделировала нулевые распределения, используемые для определения статистической значимости. Важно отметить, что эта ошибка уже была идентифицирована и исправлена к тому времени, когда была опубликована бумага Eklund. Исправление произошло отчасти потому, что код AFNI был открыт: внешние исследователи смогли изучить программное обеспечение, выявить проблему и работать с сопровождающими, чтобы разрешить его.
«Мы никогда бы не смогли идентифицировать ошибку в 3DClustSim, если бы не программное обеспечение с открытым исходным кодом».- Eklund et al., 2016
Этот момент послужил мощным напоминанием о том, что может обеспечить открытость - не только с точки зрения сотрудничества, но и в защите целостности научных результатов. Это урок в программном обеспечении, потому что оноэто программное обеспечениеПолем
В ответе 2016 года на этот спор, Карл Фристон подчеркнул, что SPM никогда не предназначен для того, чтобы быть черным ящиком. «SPM - это не черный ящик. Это открытый набор методов, которые мы поощряем людей понять - и вызов», - сказал он. Команда SPM уже давно приоритет ясности теории, и этот момент вызвал более широкий разговор о важности того, что эта ясность распространяется на код и реализацию.
Понимание того, что то, как вы создаете программное обеспечение, повлияет на людей, которые его используют, поэтому для тех, кто наиболее влияет, для тех, кого оно больше всего влияет на то, как оно значительно улучшилось. Создайте критические петли обратной связи и будьте реагируют на них.
Прозрачность как катализатор
Уроки здесь выходят за рамки FMRI. Научная воспроизводимость зависит не только от данных и методов, но и от того, насколько доступны и прозрачны наши инструменты. В случае с AFNI прозрачность позволила для аудита в реальном времени, более быстрых исправлениях и культуре общей подотчетности. Обновления были частыми и прослеживаемыми, и методологические изменения были задокументированы способами, которыми исследователи могли следовать и опираться.
SPM, в течение многих лет, добился значимых шагов к большей открытости. В 2023 году его кодовая база была перенесена в репозиторий публичного GitHub. Команда расширила документацию, переосмыслил статистические значения по умолчанию и разъяснила ключевые модели. Эти шаги отражают сдвиг в том, как экосистема SPM взаимодействует с более широким сообществом - сдвиг, который многие тепло приветствовали.
Программное обеспечение - это научная инфраструктура
Эта история не о назначении вины, и в течение десятилетия она бегала в моем мозгу, дело даже не в науке. Речь идет о признании сложности современного программного обеспечения и развивающейся роли использования сообщества разумно при формировании наших выводов о том, что и как строить.
Научные инструменты больше не просто утилиты, которые поддерживают исследования; Они сами встроены в исследовательский процесс. Таким образом, они должны подвергаться тем же стандартам открытости, рецензирования и коллективного улучшения, которые мы применяем к нашим исследованиям. Споры кластеризации продемонстрировали, что даже зрелые, широко доверяющие инструменты могут иметь критические проблемы: некоторые из -за ошибок, другие, чтобы основываться на предположениях, которые заслуживают второго взгляда. То, что имело значение в том, как быстро эти проблемы были найдены и исправлены, было прозрачностью. И это то, что могут научиться все программные проекты.
Двигаясь вперед
Воспроизводимость в науке-это не только повторный код. Речь идет о возможности осмотреть логику, стоящую за результатами, по умолчанию вопросов и открыто сотрудничать для улучшения методов.Открытый исходный код автоматически не делает программное обеспечение лучше, но он создает условия, в которых лучше становится более вероятным.Спустя годы, что больше всего остается со мной, это не ошибка или газета. Это то, как один инструмент пригласил своего сообщества исправить то, что было сломано, а другой узнал, насколько ценным может быть это приглашение. Мы не всегда можем предсказать будущее науки, программного обеспечения, или кибербезопасности - но мы можем выбрать его более прозрачно (если прозрачность в кибербезопасности кажется вам странной, посмотрите на моюговорить о Zero Trust, на самом деле, где прозрачность важнее всего).
Открытый исходный код - это не просто философия; Это принципиальный подход. Прозрачность - это столб, потому что вся фундамент падает без нее.
Мы не можем выбрать каждый результат в науке. Мы выбираем системы, которые мы строим, открыто, которую мы допускаем, и обратную связь, которую мы приглашаем. Когда мы выбираем прозрачность, мы выбираем устойчивость. И в конечном счете, это то, от чего зависит наука. Для разработчиков, создающих инструменты для исследователей, вывод ясен: сделайте вашу работу доступной. Документируйте свои предположения. Приветствующее внимание. Реальный прогресс не только в результате публикации результатов: он поступает из строительных систем, которые позволяют другим подвергать их сомнению.
Это общая стоимость, которую вы получаете от программного обеспечения с открытым исходным кодом в своих научных исследованиях, и нет метрики, которая бы вполне может ее количественно оценить. Если у вас есть мнения о лучшем способе измерения академических репозиториев, то я написал это, потому что я хотел бы поговорить с вами. Есть команда вЧаоссРаботая над этой проблемой сейчас, и я поставлю вас непосредственно на связь.
Спасибо, что прочитали мою маленькую историю из моих мозговых дней. Я надеюсь, что открытый исходный код не забудет, когда написаны учебники по истории, так что это письменная запись, чтобы сохранить его. Следите за моими более типичными темами по обновлениям с открытым исходным кодом и кибербезопасностью, что скоро будет больше!
Оригинал