Databricks использует ИИ для развития исследований рака и инфраструктуры в Австралии

В Австралии онкологический центр Питера Маккаллума и инфраструктурная и строительная компания John Holland Group обратились к облачной платформе данных и искусственного интеллекта Databricks для решения серьезных проблем фрагментации данных, которые мешали им извлекать ценную информацию из бизнес-данных.

Выступая в прошлом месяце на конференции Data + AI World Tour компании Databricks в Сиднее (Австралия), технические руководители обеих организаций сообщили о таких проблемах, как разрозненность данных, конкуренция между бизнес-направлениями, проблемы интеграции данных и устаревшие системы, что обусловливает необходимость поиска решения для работы с облачными данными.

Онкологический центр Питера МакКаллума объединяет данные для использования ИИ

Устаревшая инфраструктура данных Peter Mac ограничивала его способность эффективно использовать большие данные и ИИ в его обширных клинических и исследовательских операциях. Устаревшая технология также поставила под угрозу его миссию по улучшению жизни людей с раком, включая использование ИИ для улучшения принятия клинических решений и ускорения биологического понимания и открытия лекарств.

Проблемы с инфраструктурой данных

В ходе конференции Джейсон Ли, руководитель основного подразделения биоинформатики в отделе исследований рака Peter Mac, сказал:

Питер Мак имел дело с различными разрозненными данными и устаревшими системами. Сложность и объем как клинических, так и исследовательских данных в операциях онкологического центра создавали проблемы в таких областях, как хранение данных и аналитика данных. Этические, конфиденциальные и вопросы безопасности были ключевыми факторами для управления данными Питера Мака и развертывания любых будущих вариантов использования ИИ. Интеграция между клиническими и исследовательскими отделами усложняла задачу управления данными, поскольку у каждого были разные требования к данным.

СМОТРЕТЬ: Informatica утверждает, что фрагментация данных является препятствием для ИИ в Азиатско-Тихоокеанском регионе

Ли сообщил, что Питер Мак выбрал Databricks, чтобы помочь ему гармонизировать данные по всему центру и поддерживать расширенную аналитику, включая ИИ, соблюдая при этом требования безопасности и конфиденциальности данных в здравоохранении.

Расширение новых вариантов использования ИИ

Питер Мак впервые протестировал потенциал ИИ платформы Databricks с помощью пилотного проекта по трансформации ИИ:

Центр создал сквозной жизненный цикл ИИ, который включал применение глубокого обучения для анализа гигапиксельных изображений всего слайда для количественной оценки нового биомаркера для прогноза рака молочной железы. Databricks поддерживал жизненный цикл ИИ — от первоначального приема данных до развертывания и мониторинга модели — что, по словам Ли, сделало проект эффективным по времени и затратам; Результаты проекта могут иметь «большие перспективы» для улучшения прогноза рака молочной железы.

Ли отметил, что скорость реализации проекта стала большим преимуществом: «Мы подсчитали, что с помощью Databricks мы ускорили процесс разработки в пять раз и сократили накладные расходы на взаимодействие между заинтересованными сторонами в десять раз, что позволило нам раньше выводить инновации на рынок, принося пользу пациентам».

Стратегия ИИ теперь включает будущие проекты

ИИ стал большей частью стратегии Питера Мака. Databricks поддерживает онкологический центр в трех дополнительных вариантах использования: геномика, радиационная онкология и визуализация рака. Кроме того, Питер Мак:

Расширение программы ИИ для включения основной биоинформатики, которая включает проекты популяционной генетики, включающие большие размеры выборок и большие объемы геномных данных. Применение достижений в области больших языковых моделей и расширенной генерации поиска для извлечения знаний из клинических и радиологических отчетов. Планирование внедрения LLM в будущем для исследований в области геномики и транскриптомики, которые анализируют РНК или транскриптом, чтобы оставаться конкурентоспособными в исследованиях рака.

Джон Холланд стремится объединить данные по всем строительным операциям

Между тем, в 2023 году компания John Holland управляла 80 крупномасштабными инфраструктурными проектами стоимостью 13,2 млрд австралийских долларов. Однако Трэвис Раузелл, руководитель отдела данных и аналитики компании, заявил, что ее устаревшая среда хранилища данных была фрагментированной и ее было трудно интегрировать.

СМ.: Как улучшить качество данных в озерах данных

«У нас есть все типичные проблемы, которые у всех были исторически с хранилищами данных и проблемами с данными», — сказал Рауселл. «Наша устаревшая среда хранилища данных создавалась постепенно в течение 20 лет. Она медленно развивалась и развивалась, и мы создали этот действительно болотистый набор бункеров данных».

Рауселл добавил: «Мы могли бы создать BI [бизнес-аналитику] и отчеты на ее основе, но объединение этих данных для создания понимания потока действий и поведения, которые происходят, чтобы мы могли управлять изменениями во всем нашем бизнесе, было для нас действительно сложным процессом».

Единая платформа данных для предоставления полезной информации

Джон Холланд намеревался создать единую платформу данных, чтобы раскрыть ценность данных для бизнеса. Это было частью усилий группы по стимулированию инноваций и конкурентного преимущества в своей отрасли с помощью современных данных и цифровых практик в рамках более широкого цифрового преобразования.

Организация стремилась:

Обеспечить единое и интегрированное представление данных по всему бизнесу. Управлять управлением данными в рамках отдельно управляемых проектов. Сосредоточиться на проектировании данных, а не на проектировании платформы.

Экономия средств достигается за счет лучшего управления данными

На данный момент Джон Холланд внедрил несколько основных бизнес-процессов в озеро данных Databricks, включая управление проектами, эксплуатацию проектов, контроль проектов, безопасность и аналитику автопарка.

По словам Раузелла, в результате использования Databricks Джон Холланд получил:

Сокращение затрат на инфраструктуру платформы на 46% при аналогичных рабочих процессах по сравнению с устаревшими средами; Сокращение усилий и времени на разработку инженерии данных на 30% за счет создания новых продуктов и моделей данных. Миграция более 600 пользователей на продукты данных, предоставленные через хранилище данных Databricks.

ИТ становятся движущей силой бизнеса Джона Холланда

Рауселл отметил, что Databricks гарантирует, что ИТ и технологии не будут препятствовать развитию бизнеса.

«Думаю, самое главное, чего мы достигаем, делая это, — это создание культуры данных «да» в John Holland», — объяснил Рауселл. «Исторически сложилось так, что трудности с поставкой новых и инновационных продуктов означали, что нам приходилось реализовывать большие медленные проекты и не дорабатывать для бизнеса.

«Теперь, если у бизнеса есть идея, мы можем сказать «да»; мы можем развернуть для них рабочее пространство данных, которое предоставит им доступ ко всем необходимым возможностям и инструментам, и они смогут приступить к реализации этого в кратчайшие сроки».