Волнующие новости! Apache DolphinScheduler 3.2.0 уже не за горами. Чтобы дать вам преимущество перед предстоящим выпуском, мы подготовили несколько видеороликов и контента для ознакомления. В том числе Утечки! Новые возможности Apache DolphinScheduler 3.2.0 «Краткий обзор», Предварительный просмотр версии 3.2.0! Расширенные функции API в Apache DolphinScheduler и Предварительная версия DolphinScheduler 3.2.0! Удаленное ведение журнала решает проблему получения журнала работника.
Сегодня давайте углубимся в еще одно долгожданное обновление, связанное с функциями Cloud-Native.
В этом выпуске мы представим новые облачные функции Apache DolphinScheduler 3.2.0, разделенные на два основных раздела:
- Улучшения для типов задач K8S
- Поддержка новых функций Spark на K8S
Улучшения для типов задач K8S
Мы сосредоточимся на трех новых функциях:
- Поддержка пользовательских этикеток
- Поддержка пользовательского выбора узла
- Сбор журналов задач в реальном времени
Первые два улучшения используют встроенную в Kubernetes возможность определять метки для различных объектов, что позволяет пользователям более эффективно управлять объектами.
Кроме того, пользователи теперь могут определять селекторы узлов для отправки объектов на определенные узлы. Эти функции обеспечивают существенные преимущества в производственных средах, что делает их ценными дополнениями для версии 3.2.0.
Сбор журналов в реальном времени является улучшением по сравнению с версией 3.1.X. Раньше Apache DolphinScheduler собирал только несколько строк журналов ошибок в случае сбоя задачи K8S. Однако сбор полных журналов в реальном времени обеспечивает более удобный интерфейс.
Поддержка Spark на K8S
В версии 3.2.0 Apache DolphinScheduler поддерживает отправку заданий Spark в собственные кластеры Kubernetes.
Взяв в качестве примера предопределенный рабочий процесс Spark в K8S, вы заметите новый флажок — «Пространство имен». Когда пользователи выбирают непустое пространство имен, это указывает на их намерение выполнить эту задачу Spark в кластере K8S.
Аналогичным образом пользователи могут настроить свои параметры для этой задачи, следуя официальной документации Spark и адаптируя параметры к условиям своего кластера K8S.
Для задач Spark на K8S мы предлагаем сбор журналов Driverpod в реальном времени и управление жизненным циклом. Успешные выполнения приводят к удалению модуля, а неудачи — сохраняют модуль в кластере для диагностического анализа.
Присоединяйтесь к сообществу
Добро пожаловать, заполните эту форму и станьте докладчиком Apache DolphinScheduler: https://forms.gle/MS2fQDhG4n9Hh2yv5:)
Есть много способов принять участие и внести свой вклад в сообщество DolphinScheduler, в том числе:
Документы, перевод, Вопросы и ответы, тесты, коды, статьи,основные доклады,и т. д.
Мы предполагаем, что первый PR (документ, код), который будет способствовать, будет простым и его следует использовать для ознакомления с процессом подачи заявки и стилем сотрудничества с сообществом.
Итак, сообщество составило следующий список задач, подходящих для новичков: https://github.com/apache/dolphinscheduler/contribute
Список проблем, не связанных с новичками:
https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22help+wanted%22+
Как внести свой вклад:
Репозиторий кода GitHub: https://github.com/apache/dolphinscheduler
Официальный сайт:https://dolphinscheduler.apache.org/
Список рассылки:dev@[email protected]
Твиттер:@DolphinSchedule
YouTube:https://www.youtube.com/@apachedolphinscheduler
Slack:https://s.apache.org/dolphinscheduler-slack
Руководство для участников:https://dolphinscheduler.apache.org/en-us/community/index.html
Ваша звезда для проекта очень важна, не стесняйтесь зажечь звезду для Apache DolphinScheduler ❤️
