
Как контролировать Apache Flink с помощью OpenTelemetry
21 ноября 2022 г.Поддержка мониторинга Apache Flink недавно стала доступна в сборщике OpenTelemetry (OTel) с открытым исходным кодом. Вы можете ознакомиться с репозиторием OpenTelemetry здесь! Вы можете использовать этот приемник в сочетании с любым коллектором OTel, включая сборщик OpenTelemetry и дистрибутив сборщика observIQ. Ниже приведены краткие инструкции по настройке дистрибутива OpenTelemetry для observIQ и отправке телеметрии Apache Flink на серверную часть, в нашем случае мы используем Google Cloud Ops.
Вы можете узнать больше на странице observIQ в GitHub: https://github.com/observIQ/observiq-otel-collector
Какие сигналы важны?
Apache Flink – это унифицированная среда пакетной и потоковой обработки с открытым исходным кодом. Сборщик Apache Flink записывает 29 уникальных метрик, так что есть много данных, на которые стоит обратить внимание. Вот некоторые конкретные показатели, которые пользователи считают ценными:
* Время работы и перезапуски * Две разные метрики, которые регистрируют продолжительность непрерывного выполнения задания и количество полных перезапусков задания, соответственно. * Контрольные точки * Ряд показателей мониторинга контрольных точек может сообщить вам количество активных контрольных точек, количество завершенных и неудачных контрольных точек, а также продолжительность текущих и прошлых контрольных точек. * Использование памяти * Метрики, связанные с памятью, часто важны для мониторинга. Сборщик Apache Flink отправляет метрики, которые могут рассказать вам об общем использовании памяти, как в настоящее время, так и во времени, о минимальных и максимальных значениях, а также о том, как память распределяется между различными процессами. Все вышеперечисленные категории могут быть собраны с помощью приемника Apache Flink — так что давайте начнем.
Прежде чем начать
Если у вас еще нет сборщика OpenTelemetry с установленной последней версией приемника Apache Flink, вам нужно будет сделать это в первую очередь. Я предлагаю использовать дистрибутив observIQ OpenTelemetry Collector, который включает в себя приемник Apache Flink (и многие другие) и прост в установке с помощью one- линейный установщик для Linux, Windows, MacOS. Дополнительную документацию по развертыванию сборщика в Kubernetes можно найти в репозитории observiq-otel-collector-k8s. .
Настройка приемника Apache Flink
Перейдите к файлу конфигурации OpenTelemetry. Если вы используете observIQ Collector, вы найдете его в одном из следующих мест:
* /opt/observiq-otel-collector/config.yaml (Linux)
Для observIQ OpenTelemetry Collector отредактируйте файл конфигурации, включив в него приемник Apache Flink, как показано ниже:
receivers:
flinkmetrics:
endpoint: http://localhost:8081
collection_interval: 10s
Processors:
nop:
# Resourcedetection is used to add a unique (host.name)
# to the metric resource(s),... target_key: namespace
exporters:
nop:
# Add the exporter for your preferred destination(s)
service:
pipelines:
metrics:
receivers: [flinkmetrics]
processors: [nop]
exporters: [nop]
Если вместо этого вы используете агент Google Ops, вы можете найти соответствующий файл конфигурации здесь.
Просмотр собранных показателей
Если вы выполнили шаги, описанные выше, следующие показатели Apache Flink теперь будут доставлены в выбранное вами место назначения.
| Метрика | Описание | |----|----| | flink.jvm.cpu.загрузить | Использование ЦП JVM для диспетчера заданий или диспетчера задач. н | | flink.jvm.cpu.time n | Время ЦП, используемое JVM для диспетчера заданий или диспетчера задач. н | | flink.jvm.memory.heap.используется | Объем динамической памяти, используемый в настоящее время. н | | flink.jvm.memory.heap.committed | Объем памяти кучи, гарантированно доступный для JVM. н | | flink.jvm.memory.heap.max n | Максимальный объем памяти кучи, который можно использовать для управления памятью. н | | flink.jvm.memory.nonheap.used | Объем памяти, не являющейся кучей, используемой в настоящее время. н | | flink.jvm.memory.nonheap.committed | Объем памяти без кучи, гарантированно доступный для JVM. н | | flink.jvm.memory.nonheap.max n | Максимальный объем памяти без кучи, который можно использовать для управления памятью. н | | flink.jvm.memory.metaspace.used | Объем памяти, используемый в настоящее время в пуле памяти Metaspace. н | | flink.jvm.memory.metaspace.committed n | Объем памяти, гарантированно доступный для JVM в пуле памяти Metaspace. н | | flink.jvm.memory.metaspace.max n | Максимальный объем памяти, который можно использовать в пуле памяти Metaspace. н | | flink.jvm.memory.direct.используется | Объем памяти, используемый JVM для прямого пула буферов. н | | flink.jvm.memory.direct.total_capacity n | Общая емкость всех буферов в пуле прямых буферов. н | | flink.jvm.memory.mapped.used | Объем памяти, используемый JVM для отображаемого пула буферов. н | | flink.jvm.memory.mapped.total_capacity n | Количество буферов в отображенном пуле буферов. н | | flink.memory.managed.used | Объем управляемой памяти, используемой в настоящее время. н | | flink.memory.managed.total n | Общий объем управляемой памяти. н | | flink.jvm.threads.count n | Общее количество активных потоков. н | | flink.jvm.gc.collections.count n | Общее количество произошедших сборов. н | | flink.jvm.gc.collections.time n | Общее время, затраченное на сборку мусора. н | | flink.jvm.class_loader.classes_loaded | Общее количество классов, загруженных с момента запуска JVM. н | | flink.job.restart.count n | Общее количество перезапусков с момента отправки этого задания, включая полные и детальные перезапуски. н | | flink.job.last_checkpoint.time n | Продолжительность последней контрольной точки от начала до конца. н | | flink.job.last_checkpoint.size n | Общий размер последней контрольной точки. н | | flink.job.checkpoint.count n | Количество завершенных или не пройденных контрольных точек. н | | flink.job.checkpoint.in_progress n | Количество текущих контрольных точек. н | | flink.task.record.count n | Количество записей в задаче. н | | flink.operator.record.count n | Количество записей, которые есть у оператора. н | | flink.operator.watermark.output n | Последний водяной знак, выпущенный этим оператором. п |
Оригинал
Recent Post
-
Что узнать о конфигурации OpenElemetry GotChas
15 августа 2025 г. -
Руководство по отслеживанию OpenElemetry для JVM
8 августа 2025 г. -
Как создавать оповещения Loki через ресурс Prometheusrule
9 июля 2025 г. -
Наблюдение микросервисов: использование OpenElemetry в реальных системах Gajinder Sharma
4 июля 2025 г. -
Использование OpenElemetry для диагностики критической утечки памяти
26 июня 2025 г.
Categories
- Python
- blockchain
- web
- hackernoon
- вычисления
- вычислительные компоненты
- цифровой дом
- игры
- аудио
- домашний кинотеатр
- Интернет
- Мобильные вычисления
- сеть
- фотосъемка видео
- портативные устройства
- программного обеспечения
- телефон и связь
- телевидение
- видео
- мир технологий
- умные гиды
- облако
- искусственный интеллект
- се
- Samsung
- умные города
- digitaltrends
- отели
- Startups
- Venture
- Crypto
- Apps
- безопасность
- техника и работа
- cxo
- мобильность
- разработчик
- 5г
- майкрософт
- инновации
- Права и свободы
- Законодательство и право
- Политика и общество
- Космическая промышленность
- Информационные технологии
- Технологии
- Образование
- Научные исследования
- Автомобильная промышленность
- Программная инженерия
- IT и технологии
- Веб-разработка
- Программирование
- Автоматизация
- Карьерный рост
- Программирование и анализ данных
- Трудоустройство
- Политика
- Искусственный интеллект
- ИТ-технологии
- Программное обеспечение
- Экологическая политика
- Образование и рынок труда
- Политика и право
- Microsoft Teams и SharePoint
- Информационная безопасность
- Кибербезопасность
- Налоги
- Образование и карьера
- Интернет и технологии
- Технологии, Государственные услуги
- Политика и технологии
- Разработка программного обеспечения
- Разработка ПО
- Машинное обучение
- Налогообложение, технологии, открытый исходный код
- Финансы и налоги
- Технологии, Интернет, Экология
- Интернет, безопасность
- Технологии и политика
- Операционные системы
- Профессиональная разработка
- Технологии, Безопасность
- Интернет и общество
- Финансовая индустрия
- Налоговый учёт
- Общественное здравоохранение
- Технологическая отрасль
- Юриспруденция
- Технологии и государство
- Здоровье и фитнес
- IT-инфраструктура
- Технологии и ИИ
- Здравоохранение
- IT
- Технологии, Экономика
- Музыка и технологии
- Здоровье и питание
- IT и безопасность
- Бизнес и предпринимательство
- Технологии, Программное обеспечение
- Технологии и инновации
- Технологии, данные, этика
- Технологии и Интернет
- Технологии и SaaS
- Медицина и здравоохранение
- Онлайн-видеосервисы
- Финансы и технологии
- Чтение и саморазвитие
- Экономика и бизнес
- Безопасность данных
- Удаленная работа
- Авиация и технологии
- Технологии, Игры
- Энергетика
- Социальные сети, безопасность, технологии
- Саморазвитие
- Безопасность информации
- Бизнес и карьера
- Технологии и отношения
- Игровая индустрия
- Компьютерная индустрия
- Математика, Искусственный интеллект
- Наука и технологии
- Технологии и безопасность
- Технологии, Удаленная работа, Бизнес
- Видеоигры
- Технологии, Искусственный интеллект, Этика
- Технологии, социальные сети, 6G
- Технологии, Программирование, AI, Разработка ПО
- Программирование, Разработка ПО, Технологии
- Животные
- Технологии, Искусственный интеллект
- Программирование, карьера, технологии, обучение
- Бизнес и технологии
- Технологии, Безопасность данных
- Астрономия и физика
- Продуктивность, личное развитие
- Медиа и Технологии
- Программирование и Искусственный Интеллект
- Социальные сети
- Политика и экономика
- Технологии, Медицина, Искусственный интеллект
- Технологии и управление
- Космос и астрономия
- Общество и политика
- Космические исследования
- Веб-дизайн
- Искусственный интеллект и безопасность данных
- Технологии, Безопасность, Конфиденциальность
- Экологическая проблема
- Технологии, Погода
- Авиация
- Транспортная сфера
- Технологии и бизнес
- Игровая промышленность
- Телевидение и реклама
- Аналитика данных
- Технологии и кибербезопасность
- Маркетинг
- Технологии и гаджеты
- Технологии, Авиация, Инновации
- Финансы и инвестиции
- Технологии и общество
- Рыночный анализ
- Космология
- Данные и бизнес
- IT и программирование
- Технологии и право
- Программирование и разработка
- Астрофизика
- Медицинские технологии
- Авиационная промышленность
- Технологии и искусственный интеллект
- Генетическая инженерия
- Бизнес и инвестиции
- Компьютерная промышленность
- Психология и социология
- Образование и технологии
- Рынок труда
- Технологии, Стартапы
- Технологии, Приватность, Чтение
- Маркетинг и продажи
- Виртуальная реальность
- Технологии, Смартфоны, Маркетинг
- Технологии, Бизнес, Личностный рост
- Экологические проблемы
- Экономика и технологии
- IT и карьера
- Интернет и безопасность
- Разработка и технологии
- Биотехнологии
- Интернет-магазины, кибербезопасность
- Финансы
- Безопасность и технологии
- Экономика
- Защита данных
- Data Science
- Карьера и работа
- Финансовый успех, мошенничество, маркетинг
- Безопасность
- Экология
- Космическая индустрия
- Программирование, Python, Обучение
- Технологии искусственного интеллекта
- Технологии, Дизайн, iOS
- Программирование, DevOps, Kubernetes
- Социальные сети и пропаганда
- Корпоративная этика
- Управление IT-инфраструктурой
- Здоровье и медицина
- Медицина
- Медицинская промышленность
- Разработка и дизайн
- Искусственный интеллект, Диагностика систем
- Образование и психология
- Технологии, Автомобильная промышленность
- Автомобили и путешествия
- Астрономия и космология
- Программирование и технологии
- IT, работа в офисе, эмоциональный интеллект
- Компьютерная техника
- Здоровье и благополучие
- Управление персоналом
- Политика и управление
- Бизнес и экономика
- Социальные сети, Пропаганда, Информационная безопасность
- Технологии и автоматизация
- Геймдизайн
- Экология и технологии
- CRM-системы, IT-инфраструктура
- Права человека
- Цифровая цензура, свобода слова, технологии
- Технологии, Искусственный интеллект, Работа
- Наука о данных
- Астрономия, Наука
- Интернет и цифровые технологии
- Технологии, управление
- Интернет и связь
- Технологии и конфиденциальность
- Интернет и свобода слова
- Психология и социальные науки
- Книги и литература
- Работа и карьера
- Финансовые технологии
- Психология и саморазвитие
- IT, программирование, сети
- Технологии, Видеоигры
- Экология и энергетика
- Космонавтика
- Медицина и технологии
- Игры и развлечения
- Музыкальная индустрия
- Логистика и складирование
- Бизнес и финансы
- Экология и окружающая среда
- Правозащита
- Социальные сети и дезинформация
- Технологии и рынок труда
- Технологии, Искусственный интеллект, Рынок труда
- Технологии и будущее
- Медицина и здоровье
- Социальные медиа
- Экология, политика, общество
- Экономика и Финансы
- Разработка игр
- Пропаганда и дезинформация
- Медицинские исследования
- Онлайн-знакомства
- Политика и СМИ
- Энергетика и электромобили
- Климатические изменения
- Технологии, Рынок труда
- IT и управление данными
- Безопасность и кибербезопасность
- Интернет-технологии
- Психология и личностное развитие
- Технологии, Мессенджеры
- Цифровые технологии
- Здоровье и самосовершенствование
- Технологии и AI
- Технологии и спорт
- IT, Разработка программного обеспечения
- Экология и климат
- Космос и технологии
- Юридическая сфера
- Безопасность в интернете
- Программирование, Искусственный Интеллект, Качество ПО
- Технологии и мессенджеры
- Социальная справедливость
- Технологическая индустрия
- Личностное развитие, Time-менеджмент, Психология
- Бизнес и менеджмент
- Технологии, Микросхемы, Автономные системы
- Фриланс и предпринимательство
- Социальные сети и искусственный интеллект
- Криминальные дела
- Социальные сети, Маркетинг
- Энергетика и экология
- Технологии, Искусственный Интеллект, Полиция
- Программирование, Искусственный интеллект, Рынок труда
- Социальные сети, дезинформация, анализ данных
- Потребительские права
- Образование и наука
- Технологии и правосудие
- Технологии, Безопасность, Автомобили
- Энергетика и окружающая среда
- Личностное развитие
- Технологии и экономика
- Медиа и коммуникации
- Миграция и иммиграция
- Личностный рост
- Налоговая система
- Медиа и телевидение
- Интернет и телекоммуникации
- Технологии, Кибербезопасность
- Здоровье
- Социальные сети и карьера
- Политика и инфраструктура
- Предпринимательство
- Промышленность программного обеспечения
- СМИ и коммуникации
- Медиа и Общество
- Медицина и генетика
- Веб-разработка и дизайн
- Технологии, процессоры
- IT-индустрия
- Кинопроизводство и технологии
- Транспорт
- Текстовый анализ
- Технологии, дизайн интерфейсов
- Офисные приложения
- Технологии, Онлайн-сервисы
- Медицина и биотехнологии
- Общество и технологии
- Экономика и рынок труда
- Искусственный интеллект, программирование, аналитика
- Технологии, следствие
- Сетевые технологии
- Технологии и веб-разработка
- Программирование, Обучение, Практика
- Коммуникации и ИТ
- Технологии, Карьера, Экономика
- Технологии и транспорт
- Здравоохранение и медицина
- Технологии, Государственное управление
- IT-безопасность
- IT и разработка
- Финансы и экономика
- Социальные сети, Общество, Сообщества
- IT-разработка
- СМИ и политика
- Конфиденциальность и безопасность
- Экономика и политика
- Технологии и общественная жизнь
- Бизнес и этика
- Безопасность и защита информации
- Технологии, бизнес
- Интернет и цензура
- Государственное регулирование
- Игры, Технологии
- Технологии и оптимизация
- Технологии ИИ и машинного обучения
- Технологии, IT, карьера
- IT и программное обеспечение
- Право и преступность
- Криминал и Правоохранительные Органы
- Технологии и энергетика
- Нефтяная промышленность
- Социальные конфликты
- Преступность и безопасность
- Таможенная очистка
- Медиа и журналистика
- Технологии и разработка приложений
- Телекоммуникации
- Консалтинг и управление
- Управление человеческими ресурсами
- Онлайн-контент
- Психология и психотерапия
- Морская отрасль
- Психология и технологии
- Социальные проблемы
- Маркетинг и реклама
- Политика и власть
- Экономика и торговля
- Карьера и развитие
- Продуктивность и Управление Временем
- Технологии, Искусственный интеллект, Реклама
- Окружающая среда
- Здоровье и технологии
- Бытовая химия
- Правовая информация
- Юстиция
- Технологии и экология
- Социальные сети и безопасность
- Базы данных
- Политика и государственное управление
- Интернет и социальные сети
- Индустрия IT
- Технологии и программное обеспечение
- История и искусственный интеллект
- Рестораны и обслуживание
- Технологии и программирование
- Социология
- Телевидение и СМИ
- Психология
- Политика и бизнес
- Мобильные устройства
- Технологии и развлечения
- Экология и охрана окружающей среды
- Маркетинг и брендинг
- Медицинская индустрия
- Кибербезопасность и технологии
- Социальные сети и политика
- Развлечения
- ИТ и автоматизация
- Криптовалюты и блокчейн
- История и идеология
- Медицина и политика
- Личная жизнь миллиардеров
- Образование и Политика
- Туризм и отдых
- Психология и искусственный интеллект
- Удаленная работа и производительность
- Выживание
- Управление командами
- Разработка
- Международная торговля
- Корпоративная ответственность
- Социальные сети и общество
- Управление серверами
- Индустрия компьютерных игр
- Политика и климат
- Онлайн-игры
- Медицинская отрасль
- Искусственный интеллект и технологии
- Религия и мораль
- Путешествия
- Социальные сети и информация
- Технологии и медиа
- Технологии и свобода
- Электронная коммерция
- Бизнес и управление
- Психическое здоровье и технологии
- Технологии и устойчивое развитие
- Технологии и социальные сети
- Профессии
- Экономика и промышленность
- Технологии и трудоустройство
- Иммиграционная политика
- Продуктивность и фокус
- Технологии и робототехника
- Свобода слова
- Психология и власть
- Социальные сети и онлайн-платформы
- Технологии и Права Человека
- СМИ и журналистика
- Окружающая среда и здоровье
- Технологии и сервисы
- Индустрия игр
- Программирование и ИИ
- Медиа и пропаганда
- Социальная сфера
- Социальные сети и общественное мнение
- Поп-культура
- Сервисы потокового вещания
- Рынок развлечений
- Социальные медиа и политика
- Технологии и информация
- Медиа и развлечения
- Квантовая криптография
- Искусственный интеллект в индустрии развлечений
- Технологии и коммуникация
- Индустрия программирования
- Финансовая безопасность
- Международные отношения
- Бизнес и лидерство
- Технологические новости и аналитика
- Программное обеспечение и технологии
- Предпринимательство и малый бизнес
- Политика и общественный контроль
- Здравоохранение и политика
- Управление персоналом и эффективность разработки
- Технологии и ИТ‑управление
- Свобода слова и дезинформация
- Веб-дизайн и разработка
- Веб‑разработка и карьера
- Культура и общество
- Цифровые права и свобода слова
- Безопасность и искусственный интеллект
- Технологии и искусство
- Мобильные приложения
- Продуктивность
- Космические технологии и безопасность
- Технологические тренды и экономика
- Безопасность и конфиденциальность
- Продуктивность и личная эффективность
- Веб‑скрейпинг и автоматизация
- Политика и социальные сети
- Политика и безопасность
- Медиа и информационное пространство
- Медицина и Психология
- Интернет‑культура и медиа
- Технологии и разработка
- Сociety
- Развитие интеллекта и профессиональные навыки
- Linux, программирование