Перейти к основному содержимому
Перейти к основному содержимому

Журнал изменений Cloud

В дополнение к этому журналу изменений ClickHouse Cloud, пожалуйста, смотрите страницу Совместимость Cloud.

21 марта 2025​

  • Подключение по приватной ссылке между регионами AWS теперь в бете. Пожалуйста, обратитесь к документации ClickHouse Cloud по приватной ссылке docs для получения информации о том, как настроить и список поддерживаемых регионов.
  • Максимальный размер реплики для сервисов на AWS теперь составляет 236 GiB RAM. Это позволяет эффективно использовать ресурсы, при этом обеспечивая наличие ресурсов для фоновых процессов.

7 марта 2025​

  • Новый API-эндпоинт UsageCost: Спецификация API теперь поддерживает новый эндпоинт для получения информации о использовании. Это эндпоинт для организации, и стоимость использования можно запрашивать за максимальный период в 31 день. Метрики, которые можно извлечь, включают Хранение, Вычисления, Передача данных и ClickPipes. Пожалуйста, обратитесь к документации для подробной информации.
  • Выпуск провайдера Terraform v2.1.0 поддерживает включение MySQL эндпоинта.

21 февраля 2025​

ClickHouse Bring Your Own Cloud (BYOC) для AWS теперь доступен в общем доступе!​

В этой модели развертывания компоненты плоскости данных (вычисления, хранение, резервные копии, журналы, метрики) работают в VPC клиента, в то время как управляющая плоскость (веб-доступ, API и выставление счетов) остается в VPC ClickHouse. Эта настройка идеально подходит для больших нагрузок, которым необходимо соблюдать строгие требования к местоположению данных, обеспечивая, чтобы все данные оставались в безопасной среде клиента.

Коннектор Postgres CDC для ClickPipes​

Коннектор Postgres CDC для ClickPipes теперь находится в открытом бета-тестировании. Эта функция позволяет пользователям бесшовно воспроизводить свои базы данных Postgres в ClickHouse Cloud.

Соответствие PCI для ClickHouse Cloud на AWS​

ClickHouse Cloud теперь поддерживает PCI-соответствующие услуги для клиентов Enterprise tier в регионах us-east-1 и us-west-2. Пользователи, которые хотят запустить сервис в среде с соблюдением PCI, могут обратиться в поддержку за помощью.

Прозрачное шифрование данных и управление ключами шифрования клиентами на Google Cloud Platform​

Поддержка Прозрачного шифрования данных (TDE) и Клиентских управляемых ключей шифрования (CMEK) теперь доступна для ClickHouse Cloud на Google Cloud Platform (GCP).

  • Пожалуйста, обратитесь к документации этих функций для получения дополнительной информации.

Доступность AWS на Ближнем Востоке (ОАЭ)​

Добавлена поддержка нового региона для ClickHouse Cloud, который теперь доступен в регионе AWS Middle East (UAE) me-central-1.

Ограничения ClickHouse Cloud​

Чтобы продвигать лучшие практики и обеспечить стабильное использование ClickHouse Cloud, мы вводим ограничения по количеству таблиц, баз данных, партиций и частей, которые используются.

  • Обратитесь к разделу ограничения использования документации для получения подробной информации.
  • Если ваш сервис уже превышает эти лимиты, мы разрешим увеличение на 10%. Пожалуйста, свяжитесь с поддержкой, если у вас есть вопросы.

27 января 2025​

Изменения в уровнях ClickHouse Cloud​

Мы стремимся адаптировать наши продукты в соответствии с постоянно меняющимися требованиями наших клиентов. С момента его внедрения в GA за последние два года ClickHouse Cloud значительно эволюционировал, и мы получили неоценимые знания о том, как наши клиенты используют наши облачные предложения.

Мы вводим новые функции для оптимизации размеров и экономичности служб ClickHouse Cloud для ваших нагрузок. К ним относятся разделение вычислений, высокопроизводительные типы машин и услуги с одной репликой. Мы также развиваем автоматическое масштабирование и управляемые обновления для их более бесшовного и реактивного выполнения.

Мы добавляем новый уровень Enterprise, чтобы удовлетворить потребности самых требовательных клиентов и нагрузок, с акцентом на специфические функции безопасности и соблюдения нормативных требований, а также на ещё больший контроль над базовым оборудованием и обновлениями и расширенные функции восстановления после катастроф.

Чтобы поддержать эти изменения, мы реструктурируем наши текущие уровни Development и Production, чтобы они ближе соответствовали тому, как наша развивающаяся клиентская база использует наши предложения. Мы вводим уровень Basic, ориентированный на пользователей, которые тестируют новые идеи и проекты, и уровень Scale, соответствующий пользователям, работающим с производственными нагрузками и данными в масштабе.

Вы можете прочитать об этих и других функциональных изменениях в этом блоге. Существующим клиентам необходимо будет предпринять шаги для выбора нового плана. Коммуникация с клиентами была отправлена по электронной почте администраторам организаций, а следующая Часто задаваемые вопросы охватывает ключевые изменения и сроки.

Склад: Разделение вычислений (GA)​

Разделение вычислений (также известное как "Склад") теперь доступно в общем доступе; пожалуйста, ознакомьтесь с блогом для получения дополнительной информации и документацией.

Услуги с одной репликой​

Мы вводим концепцию "услуги с одной репликой", как в рамках отдельного предложения, так и в пределах складов. В качестве отдельного предложения услуги с одной репликой имеют ограниченный размер и предназначены для использования для небольших тестовых нагрузок. Внутри складов услуги с одной репликой могут разворачиваться большими размерами и использоваться для нагрузок, не требующих высокой доступности в масштабе, таких как перезапускаемые ETL-задачи.

Улучшения вертикального авто-масштабирования​

Мы вводим новый механизм вертикального масштабирования для вычислительных реплик, который мы называем "Make Before Break" (MBB). Этот подход добавляет одну или несколько реплик нового размера перед удалением старых реплик, предотвращая любую потерю емкости во время операций масштабирования. Устраняя разрыв между удалением существующих реплик и добавлением новых, MBB создает более бесшовный и менее разрушительный процесс масштабирования. Это особенно полезно в сценариях увеличения масштабов, когда высокая загрузка ресурсов вызывает необходимость в дополнительной емкости, так как преждевременное удаление реплик лишь усугубит проблему с недостатком ресурсов.

Горизонтальное масштабирование (GA)​

Горизонтальное масштабирование теперь доступно в общем доступе. Пользователи могут добавлять дополнительные реплики для расширения своих сервисов через API и облачную консоль. Пожалуйста, смотрите документацию для получения информации.

Конфигурируемые резервные копии​

Теперь мы поддерживаем возможность для клиентов экспортировать резервные копии на свои аккаунты в облаке; пожалуйста, ознакомьтесь с документацией для получения дополнительной информации.

Улучшения управляемого обновления​

Безопасные управляемые обновления значительно помогают нашим пользователям, позволяя им оставаться актуальными с базой данных по мере ее развития и добавления функций. В этом обновлении мы применили подход "make before break" (или MBB) к обновлениям, что еще больше снижает влияние на работающие нагрузки.

Поддержка HIPAA​

Теперь мы поддерживаем HIPAA в соответствующих регионах, включая AWS us-east-1, us-west-2 и GCP us-central1, us-east1. Клиенты, желающие пройти регистрацию, должны подписать Договор о деловом партнерстве (BAA) и развернуть совместимую версию региона. Для получения дополнительной информации о HIPAA, пожалуйста, ознакомьтесь с документацией.

Запланированные обновления​

Пользователи могут запланировать обновления для своих сервисов. Эта функция поддерживается только для сервисов уровня Enterprise. Для получения дополнительной информации о запланированных обновлениях, пожалуйста, ознакомьтесь с документацией.

Поддержка клиентов по сложным типам​

Golang, Python и NodeJS клиенты добавили поддержку типов Dynamic, Variant и JSON.

Поддержка DBT для обновляемых материализованных представлений​

DBT теперь поддерживает обновляемые материализованные представления в версии 1.8.7.

Поддержка JWT токенов​

Добавлена поддержка аутентификации на основе JWT в JDBC драйвере v2, clickhouse-java, Python и NodeJS клиентах.

JDBC / Java будет в 0.8.0, когда он будет выпущен - ETA в ожидании.

Улучшения интеграции Prometheus​

Мы добавили несколько улучшений для интеграции с Prometheus:

  • Эндпоинт на уровне организации. Мы внедрили улучшение нашей интеграции Prometheus для ClickHouse Cloud. В дополнение к метрикам на уровне сервиса, API теперь включает эндпоинт для метрик на уровне организации. Этот новый эндпоинт автоматически собирает метрики для всех сервисов в вашей организации, упрощая процесс экспорта метрик в ваш коллектор Prometheus. Эти метрики можно интегрировать с инструментами визуализации, такими как Grafana и Datadog для более комплексного представления о производительности вашей организации.

    Эта функция доступна сейчас для всех пользователей. Вы можете найти больше деталей здесь.

  • Отфильтрованные метрики. Мы добавили поддержку возврата отфильтрованного списка метрик в нашей интеграции Prometheus для ClickHouse Cloud. Эта функция помогает сократить размер ответа, позволяя сосредоточиться на метриках, которые критически важны для мониторинга состояния вашего сервиса.

    Эта функциональность доступна через необязательный параметр запроса в API, что упрощает оптимизацию вашей сборки данных и упрощает интеграцию с такими инструментами, как Grafana и Datadog.

    Функция отфильтрованных метрик теперь доступна для всех пользователей. Вы можете найти больше деталей здесь.

20 декабря 2024​

Присоединение организации подписки на Marketplace​

Теперь вы можете прикрепить вашу новую подписку на Marketplace к существующей организации ClickHouse Cloud. Как только вы закончите подписку на Marketplace и будете перенаправлены в ClickHouse Cloud, вы сможете подключить существующую организацию, созданную ранее, к новой подписке на Marketplace. С этого момента ваши ресурсы в организации будут выставлены по счету через Marketplace.

Принудительное истечение ключа OpenAPI​

Теперь возможно ограничить варианты истечения сроков действия API-ключей, чтобы вы не создавали неистекающие ключи OpenAPI. Пожалуйста, обратитесь к команде поддержки ClickHouse Cloud, чтобы включить эти ограничения для вашей организации.

Пользовательские электронные письма для уведомлений​

Администраторы организации теперь могут добавить больше адресов электронной почты к конкретному уведомлению как дополнительных получателей. Это полезно в случае, если вы хотите отправить уведомления на алиас или другим пользователям в вашей организации, которые могут не быть пользователями ClickHouse Cloud. Чтобы настроить это, перейдите в Настройки уведомлений в облачной консоли и отредактируйте адреса электронной почты, которые хотите получать уведомления по электронной почте.

6 декабря 2024​

BYOC (Бета)​

Bring Your Own Cloud для AWS теперь доступен в бета-версии. Эта модель развертывания позволяет вам развертывать и запускать ClickHouse Cloud в вашем собственном аккаунте AWS. Мы поддерживаем развертывания в более чем 11 регионах AWS, с добавлением новых в ближайшее время. Пожалуйста, свяжитесь с поддержкой для получения доступа. Обратите внимание, что это развертывание предназначено для крупных развертываний.

Коннектор Postgres Change-Data-Capture (CDC) в ClickPipes (Открытый бета)​

Эта интеграция "под ключ" позволяет клиентам воспроизводить свои базы данных Postgres в ClickHouse Cloud всего за несколько кликов и использовать ClickHouse для молниеносной аналитики. Вы можете использовать этот коннектор как для непрерывного воспроизведения, так и для одноразовых миграций из Postgres.

Дашборды (Бета)​

На этой неделе мы рады объявить о запуске бета-версии Дашбордов в ClickHouse Cloud. С помощью Дашбордов пользователи могут превращать сохраненные запросы в визуализации, организовывать визуализации на дашбордах и взаимодействовать с дашбордами, используя параметры запросов. Чтобы начать, следуйте документации по дашбордам.

Эндпоинты API запросов (GA)​

Мы рады объявить о выпуске GA эндпоинтов API запросов в ClickHouse Cloud. Эндпоинты API запросов позволяют вам создать RESTful API эндпоинты для сохраненных запросов всего за несколько кликов и начать потребление данных в вашем приложении без необходимости настройки языковых клиентов или сложностей с аутентификацией. С момента первоначального запуска мы выпустили ряд улучшений, включая:

  • Уменьшение задержки эндпоинтов, особенно для холодных стартов
  • Увеличенные контрольные функции RBAC для эндпоинтов
  • Конфигурируемые домены, разрешенные для CORS
  • Потоковая передача результатов
  • Поддержка всех форматов вывода, совместимых с ClickHouse

В дополнение к этим улучшениям мы рады объявить о универсальных эндпоинтах API запросов, которые, используя нашу существующую инфраструктуру, позволяют вам выполнять произвольные SQL-запросы к вашим сервисам ClickHouse Cloud. Универсальные эндпоинты могут быть включены и настроены на странице настроек сервиса.

Чтобы начать, ознакомьтесь с документацией по эндпоинтам API запросов.

Нативная поддержка JSON (Бета)​

Мы запускаем бета-версию нашей нативной поддержки JSON в ClickHouse Cloud. Чтобы начать, пожалуйста, свяжитесь с поддержкой чтобы активировать ваш облачный сервис.

Векторный поиск с использованием векторных индексов схожести (Ранний доступ)​

Мы объявляем о векторных индексах схожести для приближенного векторного поиска в раннем доступе!

ClickHouse уже предлагает надежную поддержку векторных случаев использования с широким ассортиментом функций расстояния и возможностью выполнения линейных сканирований. Кроме того, совсем недавно мы добавили экспериментальный подход приближенного векторного поиска, задействующий библиотеку usearch и алгоритм поиска ближайших соседей HNSW (Hierarchical Navigable Small Worlds).

Чтобы начать, пожалуйста, запишитесь в список ожидания раннего доступа.

Пользователи ClickHouse-Connect (Python) и ClickHouse-Kafka-Connect​

Уведомления были отправлены клиентам, которые столкнулись с проблемами, когда клиенты могли столкнуться с исключением MEMORY_LIMIT_EXCEEDED.

Пожалуйста, обновите до:

  • Kafka-Connect: > 1.2.5
  • ClickHouse-Connect (Java): > 0.8.6

ClickPipes теперь поддерживает доступ к ресурсам между VPC в AWS​

Теперь вы можете предоставить односторонний доступ к конкретному источнику данных, например, AWS MSK. С помощью доступа к ресурсам между VPC через AWS PrivateLink и VPC Lattice вы можете делиться отдельными ресурсами через границы VPC и аккаунтов или даже с локальных сетей без компромисса в области конфиденциальности и безопасности при выходе в публичную сеть. Чтобы начать и настроить общение ресурсов, ознакомьтесь с сообщением об объявлении.

ClickPipes теперь поддерживает IAM для AWS MSK​

Теперь вы можете использовать IAM-аутентификацию для подключения к брокеру MSK с помощью ClickPipes AWS MSK. Чтобы начать, ознакомьтесь с нашей документацией.

Максимальный размер реплики для новых сервисов на AWS​

С этого момента все новые сервисы, создаваемые на AWS, позволят максимальный размер реплики 236 GiB.

22 ноября 2024​

Встроенная панель мониторинга продвинутой наблюдаемости для ClickHouse Cloud​

Ранее продвинутая панель мониторинга наблюдаемости, которая позволяет вам отслеживать метрики сервера ClickHouse и использование аппаратных ресурсов, была доступна только в открытом исходном коде ClickHouse. Мы рады сообщить, что эта функция теперь доступна в консоли ClickHouse Cloud!

Эта панель мониторинга позволяет вам просматривать запросы на основе таблицы system.dashboards в едином интерфейсе. Посетите страницу Мониторинг > Состояние сервиса, чтобы начать использовать панель мониторинга продвинутой наблюдаемости сегодня.

SQL автозавершение на основе ИИ​

Мы значительно улучшили автозавершение, позволяя вам получать встроенные SQL завершения по мере написания ваших запросов с новым ИИ помощником! Эта функция может быть активирована, переключив настройку "Включить встроенное автозавершение кода" для любого сервиса ClickHouse Cloud.

Новая роль "Биллинг"​

Теперь вы можете назначать пользователям в вашей организации новую роль Биллинг, которая позволяет им просматривать и управлять информацией о выставлении счетов, не давая им возможности настраивать или управлять сервисами. Просто пригласите нового пользователя или отредактируйте роль существующего пользователя, чтобы назначить роль Биллинг.

8 ноября 2024​

Уведомления клиентов в ClickHouse Cloud​

ClickHouse Cloud теперь предоставляет уведомления в консоли и по электронной почте для нескольких событий, связанных с выставлением счетов и масштабированием. Клиенты могут настраивать эти уведомления через центр уведомлений облачной консоли, чтобы они отображались только в интерфейсе, приходили по электронной почте или и то, и другое. Вы можете настроить категорию и степень серьезности уведомлений, которые вы получаете на уровне сервиса.

В будущем мы добавим уведомления для других событий, а также дополнительные способы получения уведомлений.

Пожалуйста, ознакомьтесь с документацией ClickHouse, чтобы узнать больше о том, как включить уведомления для вашего сервиса.


4 октября 2024​

ClickHouse Cloud теперь предлагает услуги, готовые к HIPAA, в бета-версии для GCP​

Клиенты, ищущие повышенную безопасность для защищенной медицинской информации (PHI), теперь могут подключиться к ClickHouse Cloud на Google Cloud Platform (GCP). ClickHouse реализовал административные, физические и технические меры предосторожности, предписанные HIPAA Security Rule и теперь имеет настраиваемые параметры безопасности, которые могут быть реализованы в зависимости от вашего конкретного случая использования и нагрузки. Для получения дополнительной информации о доступных параметрах безопасности, пожалуйста, ознакомьтесь с нашей Моделью совместной ответственности по безопасности.

Услуги доступны в GCP us-central-1 для клиентов с типом услуги Dedicated и требуют подписания Договора о деловом партнерстве (BAA). Свяжитесь с отделом продаж или поддержкой, чтобы запросить доступ к этой функции или записаться в список ожидания для дополнительных регионов GCP, AWS и Azure.

Разделение вычислений теперь в частном предварительном просмотре для GCP и Azure​

Мы недавно объявили о частном предварительном просмотре для Разделения вычислений для AWS. Мы рады сообщить, что оно теперь доступно для GCP и Azure.

Разделение вычислений позволяет вам обозначать конкретные услуги как услуги для записи и чтения или только для чтения, позволяя вам проектировать оптимальную конфигурацию вычислений для вашего приложения для оптимизации стоимости и производительности. Пожалуйста, ознакомьтесь с документацией для получения дополнительных сведений.

Самообслуживание коды восстановления MFA​

Клиенты, использующие многофакторную аутентификацию, теперь могут получать коды восстановления, которые могут быть использованы в случае потери телефона или случайного удаления токена. Клиенты, впервые подписывающиеся на MFA, получат код при настройке. Клиенты с существующей MFA могут получить код восстановления, удалив свой существующий токен MFA и добавив новый.

Обновление ClickPipes: Пользовательские сертификаты, Метрики задержки и многое другое!​

Мы рады поделиться последними обновлениями для ClickPipes, самого простого способа загрузки данных в ваш сервис ClickHouse! Эти новые функции призваны повысить ваш контроль над загрузкой данных и обеспечить большую видимость в метриках производительности.

Пользовательские сертификаты для Kafka

ClickPipes для Kafka теперь поддерживает пользовательские сертификаты аутентификации для брокеров Kafka с использованием SASL и публичного SSL/TLS. Вы можете легко загрузить свой собственный сертификат в разделе SSL Certificate во время настройки ClickPipe, облегчая более безопасное соединение с Kafka.

Представляем метрики задержки для Kafka и Kinesis

Видимость производительности имеет решающее значение. ClickPipes теперь включает график задержки, дающий вам представление о времени между производством сообщения (будь то из темы Kafka или Kinesis Stream) и загрузкой в ClickHouse Cloud. С помощью этой новой метрики вы можете более тщательно следить за производительностью ваших данных и оптимизировать ее соответствующим образом.


Контроль масштабирования для Kafka и Kinesis (Частный бета)

Высокая пропускная способность может потребовать дополнительных ресурсов, чтобы удовлетворить ваши требования к объему данных и задержкам. Мы внедряем горизонтальное масштабирование для ClickPipes, доступное непосредственно через нашу облачную консоль. Эта функция в настоящее время находится в частном бета-тестировании, позволяя вам более эффективно масштабировать ресурсы в зависимости от ваших требований. Пожалуйста, свяжитесь с поддержкой, чтобы присоединиться к бета-тестированию.

Загрузка необработанных сообщений для Kafka и Kinesis

Теперь возможно загружать все сообщение Kafka или Kinesis целиком без его разбора. ClickPipes теперь предлагает поддержку виртуальной колонки _raw_message virtual column, что позволяет пользователям записывать полное сообщение в один столбец типа String. Это дает вам гибкость для работы с необработанными данными по мере необходимости.

29 августа 2024​

Новая версия провайдера Terraform - v1.0.0​

Terraform позволяет вам управлять вашими услугами ClickHouse Cloud программным образом, затем хранить вашу конфигурацию как код. Наш провайдер Terraform имеет почти 200,000 загрузок и теперь официально v1.0.0! Эта новая версия включает такие улучшения, как лучшая логика повторных попыток и новый ресурс для прикрепления приватных эндпоинтов к вашему сервису ClickHouse Cloud. Вы можете скачать провайдер Terraform здесь и просмотреть полный журнал изменений здесь.

Отчет SOC 2 Type II 2024 и обновленный сертификат ISO 27001​

Мы гордимся тем, что можем объявить о доступности нашего отчета SOC 2 Type II 2024 и обновленного сертификата ISO 27001, которые включают наши недавно запущенные услуги на Azure, а также продолжение охвата услуг в AWS и GCP.

Наш SOC 2 Type II демонстрирует нашу постоянную приверженность обеспечению безопасности, доступности, целостности обработки и конфиденциальности услуг, которые мы предоставляем пользователям ClickHouse. Для получения дополнительной информации, ознакомьтесь с SOC 2 - SOC для сервисных организаций: Критерии доверительных услуг, выданным Американским институтом сертифицированных бухгалтеров (AICPA) и Что такое ISO/IEC 27001 от Международной организации по стандартизации (ISO).

Пожалуйста, также ознакомьтесь с нашим Центром доверия для документов и отчетов по безопасности и соответствию.

15 августа 2024​

Расделение вычислений теперь в приватном превью для AWS​

Для существующих сервисов ClickHouse Cloud реплики обрабатывают как чтения, так и записи, и нет способа настроить определенную реплику для обработки только одного вида операций. У нас есть новая функция под названием разделение вычислений, которая позволяет вам назначать конкретные сервисы как сервисы для чтения-записи или только для чтения, что позволяет вам проектировать оптимальную конфигурацию вычислений для вашего приложения для оптимизации затрат и производительности.

Наша новая функция разделения вычислений позволяет создавать несколько групп вычислительных узлов, каждая из которых имеет собственную конечную точку, использующую одну и ту же папку объектного хранилища и, таким образом, с одними и теми же таблицами, представлениями и т. д. Подробности читайте в разделе о разделении вычислений. Пожалуйста, свяжитесь с поддержкой, если вы хотите получить доступ к этой функции в приватном превью.

ClickPipes для S3 и GCS теперь в GA, поддержка непрерывного режима​

ClickPipes — это самый простой способ загрузки данных в ClickHouse Cloud. Мы рады сообщить, что ClickPipes для S3 и GCS теперь доступен в общем доступе. ClickPipes поддерживает как однократную пакетную загрузку, так и "непрерывный режим". Задача загрузки будет загружать все файлы, соответствующие шаблону, из определенного удаленного бакета в таблицу назначения ClickHouse. В "непрерывном режиме" задача ClickPipes будет работать постоянно, загружая соответствующие файлы, которые добавляются в удаленное объектное хранилище по мере их поступления. Это позволит пользователям превратить любое объектное хранилище в полноценную зону предварительной загрузки для загрузки данных в ClickHouse Cloud. Узнайте больше о ClickPipes в нашей документации.

18 июля 2024​

Эндпоинт Prometheus для метрик теперь доступен в общем доступе​

В последнем изменении облака мы объявили о приватном превью для экспорта метрик Prometheus из ClickHouse Cloud. Эта функция позволяет вам использовать API ClickHouse Cloud для получения ваших метрик в такие инструменты, как Grafana и Datadog для визуализации. Мы рады сообщить, что эта функция теперь доступна в общем доступе. Пожалуйста, смотрите нашу документацию, чтобы узнать больше об этой функции.

Инспектор таблиц в облачной консоли​

ClickHouse имеет команды, такие как DESCRIBE, которые позволяют вам исследовать вашу таблицу для изучения схемы. Эти команды выводят информацию в консоль, но часто их использование не совсем удобно, так как вам нужно комбинировать несколько запросов, чтобы получить все соответствующие данные о ваших таблицах и колонках.

Мы недавно запустили Инспектор таблиц в облачной консоли, который позволяет вам получать важную информацию о таблицах и колонках в пользовательском интерфейсе без необходимости писать SQL. Вы можете попробовать Инспектор таблиц для ваших сервисов, проверив облачную консоль. Он предоставляет информацию о вашей схеме, хранилище, сжатии и многом другом в одном едином интерфейсе.

Новый API клиента Java​

Наш Java клиент является одним из самых популярных клиентов, которые пользователи используют для подключения к ClickHouse. Мы хотели сделать его еще более простым и интуитивным в использовании, включая переработанный API и различные оптимизации производительности. Эти изменения значительно упростят подключение к ClickHouse из ваших Java приложений. Вы можете узнать больше о том, как использовать обновленный Java клиент в этом блог-посте.

Новый анализатор включен по умолчанию​

В последние пару лет мы работали над новым анализатором для анализа и оптимизации запросов. Этот анализатор улучшает производительность запросов и позволит нам сделать дальнейшие оптимизации, включая более быстрые и эффективные JOIN. Ранее от новых пользователей требовалось активировать эту функцию с помощью настройки allow_experimental_analyzer. Этот улучшенный анализатор теперь доступен в новых сервисах ClickHouse Cloud по умолчанию.

Следите за дальнейшими улучшениями анализатора, поскольку у нас запланировано много других оптимизаций!

28 июня 2024​

ClickHouse Cloud для Microsoft Azure теперь доступен в общем доступе!​

Мы впервые объявили о поддержке Microsoft Azure в бета-версии в этом мае. В этом последнем релизе облака мы рады объявить, что наша поддержка Azure переходит из бета-версии в общий доступ. ClickHouse Cloud теперь доступен на всех трех основных облачных платформах: AWS, Google Cloud Platform и теперь Microsoft Azure.

Этот релиз также включает поддержку подписок через Microsoft Azure Marketplace. Сервис будет изначально поддерживаться в следующих регионах:

  • Соединенные Штаты: Запад США 3 (Аризона)
  • Соединенные Штаты: Восток США 2 (Виргиния)
  • Европа: Германия Западный Центр (Франкфурт)

Если вы хотите, чтобы какой-то конкретный регион был поддержан, пожалуйста, свяжитесь с нами.

Инсайты журнала запросов​

Наш новый интерфейс Инсайтов журнала запросов в облачной консоли делает встроенный журнал запросов ClickHouse гораздо более удобным в использовании. Таблица system.query_log ClickHouse является ключевым источником информации для оптимизации запросов, отладки и мониторинга общего состояния и производительности кластера. Есть лишь одно предостережение: с более чем 70 полями и множеством записей для каждого запроса, интерпретация журнала запросов представляет собой крутой learning curve. Эта первая версия инсайтов запроса предоставит план для будущей работы по упрощению отладки запросов и паттернов оптимизации. Нам было бы очень интересно услышать ваши отзывы, пока мы продолжаем дорабатывать эту функцию, поэтому, пожалуйста, свяжитесь с нами — ваше мнение будет очень ценным!

Эндпоинт Prometheus для метрик (приватное превью)​

Возможно, это одна из самых запрашиваемых функций: вы теперь можете экспортировать метрики Prometheus из ClickHouse Cloud в Grafana и Datadog для визуализации. Prometheus предоставляет решение с открытым исходным кодом для мониторинга ClickHouse и настройки пользовательских оповещений. Доступ к метрикам Prometheus для вашего сервиса ClickHouse Cloud доступен через ClickHouse Cloud API. Эта функция сейчас находится в приватном превью. Пожалуйста, свяжитесь с командой поддержки, чтобы включить эту функцию для вашей организации.

Другие функции:​

  • Настраиваемые резервные копии, чтобы настроить пользовательские политики резервного копирования, такие как частота, хранение и расписание, теперь доступны в общем доступе.

13 июня 2024​

Настраиваемые смещения для соединителя Kafka ClickPipes (бета)​

До недавнего времени, когда вы настраивали новый Kafka Connector для ClickPipes, он всегда потреблял данные с начала темы Kafka. В данной ситуации это может быть недостаточно гибким для конкретных случаев, когда вам нужно повторно обработать исторические данные, контролировать новые входящие данные или возобновить с определенной точки.

ClickPipes для Kafka добавил новую функцию, которая повышает гибкость и контроль над потреблением данных из тем Kafka. Теперь вы можете настроить смещение, с которого будут потребляться данные.

Доступны следующие параметры:

  • С начала: Начать потребление данных с самого начала темы Kafka. Этот вариант идеален для пользователей, которым нужно повторно обработать все исторические данные.
  • С последнего: Начать потребление данных с самого последнего смещения. Это полезно для пользователей, которые интересуются только новыми сообщениями.
  • С временной меткой: Начать потребление данных с сообщений, которые были произведены в или после определенной временной метки. Эта функция позволяет получить более точный контроль, позволяя пользователям возобновить обработку с точной временной точки.

Записать сервисы в канал быстрого обновления​

Канал быстрого обновления позволяет вашим сервисам получать обновления раньше запланированного релиза. Ранее эта функция требовала помощи от команды поддержки для включения. Теперь вы можете использовать консоль ClickHouse Cloud, чтобы включить эту функцию для ваших сервисов напрямую. Просто перейдите в Настройки и нажмите Записаться в быстрые обновления. Ваш сервис теперь будет получать обновления, как только они станут доступны!

Поддержка Terraform для горизонтального масштабирования​

ClickHouse Cloud поддерживает горизонтальное масштабирование, то есть возможность добавления дополнительных реплик одного размера к вашим сервисам. Горизонтальное масштабирование улучшает производительность и параллелизацию для поддержки одновременных запросов. Ранее добавление большего количества реплик требовало использования либо консоли ClickHouse Cloud, либо API. Теперь вы можете использовать Terraform для добавления или удаления реплик из вашего сервиса, что позволяет программно масштабировать ваши сервисы ClickHouse по мере необходимости.

Пожалуйста, смотрите провайдер Terraform ClickHouse для получения дополнительной информации.

30 мая 2024​

Делитесь запросами с вашими коллегами​

Когда вы пишете SQL-запрос, есть высокая вероятность, что другим членам вашей команды этот запрос тоже будет полезен. Ранее вам приходилось отправлять запрос через Slack или электронную почту, и не было способа для коллеги автоматически получать обновления для этого запроса, если вы его изменяли.

Мы рады сообщить, что теперь вы можете легко делиться запросами через консоль ClickHouse Cloud. Из редактора запросов вы можете поделиться запросом непосредственно со всей вашей командой или с конкретным членом команды. Вы также можете указать, есть ли у них доступ только для чтения или записи. Нажмите на кнопку Поделиться в редакторе запросов, чтобы попробовать новую функцию совместных запросов.

ClickHouse Cloud для Microsoft Azure теперь в бета-версии​

Мы наконец запустили возможность создавать сервисы ClickHouse Cloud на Microsoft Azure! У нас уже много клиентов, которые используют ClickHouse Cloud на Azure в производственной среде в рамках нашей программы приватного превью. Теперь любой может создать свой собственный сервис на Azure. Все ваши любимые функции ClickHouse, которые поддерживаются на AWS и GCP, также будут работать на Azure.

Мы ожидаем, что ClickHouse Cloud для Azure будет готов к общему доступу в течение следующих нескольких недель. Читайте этот блог-пост, чтобы узнать больше, или создайте свой новый сервис, используя Azure через консоль ClickHouse Cloud.

Примечание: Сервисы разработки для Azure в данный момент не поддерживаются.

Наша функция Частной ссылки позволяет вам подключать ваши сервисы ClickHouse Cloud к внутренним сервисам в вашей учетной записи облачного провайдера, не перенаправляя трафик в общедоступный интернет, что экономит затраты и усиливает безопасность. Ранее это было сложно настроить и требовало использования API ClickHouse Cloud.

Теперь вы можете настроить частные конечные точки всего за несколько кликов прямо из консоли ClickHouse Cloud. Просто перейдите в Настройки вашего сервиса, перейдите в раздел Безопасность и нажмите Настроить частную конечную точку.

17 мая 2024​

Загрузка данных из Amazon Kinesis с использованием ClickPipes (бета)​

ClickPipes — это эксклюзивный сервис, предоставляемый ClickHouse Cloud для загрузки данных без кода. Amazon Kinesis — это полностью управляемый потоковый сервис AWS для получения и хранения потоков данных для обработки. Мы рады объявить о запуске бета-версии ClickPipes для Amazon Kinesis, одной из наших самых запрашиваемых интеграций. Мы ищем возможность добавить больше интеграций в ClickPipes, так что, пожалуйста, дайте нам знать, какой источник данных вы хотите, чтобы мы поддержали! Узнайте больше об этой функции здесь.

Вы можете попробовать новую интеграцию Amazon Kinesis для ClickPipes в облачной консоли:

Настраиваемые резервные копии (приватное превью)​

Резервные копии важны для каждой базы данных (независимо от надежности), и мы принимали резервные копии очень серьезно с первого дня ClickHouse Cloud. На этой неделе мы запустили Настраиваемые резервные копии, которые позволяют значительно повысить гибкость для резервных копий вашего сервиса. Теперь вы можете контролировать время начала, хранение и частоту. Эта функция доступна для Production и Dedicated сервисов и не доступна для Development сервисов. Поскольку эта функция находится в приватном превью, пожалуйста, свяжитесь по адресу support@clickhouse.com, чтобы включить это для вашего сервиса. Узнать больше о настраиваемых резервных копиях можно здесь.

Создание API из ваших SQL-запросов (бета)​

Когда вы пишете SQL-запрос для ClickHouse, вам все равно нужно подключиться к ClickHouse через драйвер, чтобы сделать ваш запрос доступным для вашего приложения. Теперь с новой функцией Query Endpoints вы можете выполнять SQL-запросы непосредственно из API без какой-либо настройки. Вы можете указать конечные точки запросов, чтобы возвращать JSON, CSV или TSV. Нажмите кнопку "Поделиться" в облачной консоли, чтобы попробовать эту новую функцию с вашими запросами. Узнайте больше о конечных точках запросов здесь.

Официальная сертификация ClickHouse теперь доступна​

В ClickHouse Develop имеется 12 бесплатных учебных модулей. До этой недели не было официального способа подтвердить ваше мастерство в ClickHouse. Мы недавно запустили официальный экзамен для получения квалификации ClickHouse Certified Developer. Успешное прохождение этого экзамена позволяет вам делиться с текущими и потенциальными работодателями вашим мастерством в ClickHouse по таким темам, как получение данных, моделирование, анализ, оптимизация производительности и многое другое. Вы можете пройти экзамен здесь или узнать больше о сертификации ClickHouse в этом блог-посте.

25 апреля 2024​

Загрузка данных из S3 и GCS с использованием ClickPipes​

Вы, возможно, заметили в нашей недавно выпущенной облачной консоли новый раздел под названием "Источник данных". Страница "Источник данных" реализована с помощью ClickPipes, родной функции ClickHouse Cloud, которая позволяет вам легко вставлять данные из различных источников в ClickHouse Cloud.

Наше последнее обновление ClickPipes включает возможность прямой загрузки данных непосредственно из Amazon S3 и Google Cloud Storage. Хотя вы все еще можете использовать наши встроенные табличные функции, ClickPipes — это полностью управляемый сервис через наш пользовательский интерфейс, который позволит вам загружать данные из S3 и GCS всего за несколько кликов. Эта функция все еще находится в приватном превью, но вы можете попробовать ее прямо сейчас через облачную консоль.

Используйте Fivetran для загрузки данных из более чем 500 источников в ClickHouse Cloud​

ClickHouse может быстро выполнять запросы к всем вашим большим наборам данных, но, конечно, ваши данные сначала должны быть вставлены в ClickHouse. Благодаря обширному спектру коннекторов Fivetran теперь пользователи могут быстро загружать данные из более чем 500 источников. Нужно ли вам загрузить данные из Zendesk, Slack или любого другого из ваших любимых приложений, новое назначение ClickHouse для Fivetran теперь позволяет вам использовать ClickHouse в качестве целевой базы данных для ваших данных приложений.

Это интеграция с открытым исходным кодом, созданная за много месяцев упорной работы нашей команды интеграции. Вы можете ознакомиться с нашим релизом блога здесь и с репозиторием GitHub.

Другие изменения​

Изменения в консоли

  • Поддержка форматов вывода в SQL-консоли

Изменения интеграций

  • Соединитель ClickPipes Kafka поддерживает многоброкерную настройку
  • Соединитель PowerBI поддерживает предоставление параметров конфигурации ODBC драйвера.

18 апреля 2024​

Регион AWS Токио теперь доступен для ClickHouse Cloud​

Этот релиз представляет новый регион AWS Токио (ap-northeast-1) для ClickHouse Cloud. Поскольку мы хотим, чтобы ClickHouse был самой быстрой базой данных, мы постоянно добавляем новые регионы для каждого облака, чтобы максимально сократить задержку. Вы можете создать свой новый сервис в Токио в обновленной облачной консоли.

Другие изменения:

Изменения в консоли​

  • Поддержка формата Avro для ClickPipes для Kafka теперь доступна в общем доступе
  • Полная поддержка импорта ресурсов (сервисов и частных конечных точек) для провайдера Terraform

Изменения интеграций​

  • Главное стабильное обновление клиента NodeJS: Расширенная поддержка TypeScript для запроса + ResultSet, конфигурация URL
  • Соединитель Kafka: Исправлена ошибка с игнорированием исключений при записи в DLQ, добавлена поддержка типа Avro Enum, опубликованы руководства по использованию соединителя на MSK и Confluent Cloud
  • Grafana: Исправлена поддержка Nullable типа в пользовательском интерфейсе, исправлена поддержка динамического именования таблицы OTEL
  • DBT: Исправлены параметры модели для пользовательской материализации.
  • Клиент Java: Исправлена ошибка с неправильным парсингом кода ошибки
  • Клиент Python: Исправлены привязки параметров для числовых типов, исправлены ошибки с списком чисел в привязке запросов, добавлена поддержка SQLAlchemy Point.

4 апреля 2024​

Представляем новую облачную консоль ClickHouse​

Этот релиз представляет приватное превью новой облачной консоли.

В ClickHouse мы постоянно думаем о том, как улучшить опыт разработчиков. Мы понимаем, что недостаточно просто предоставить самую быструю аналитическую базу данных в реальном времени, она также должна быть удобной в использовании и управлении.

Тысячи пользователей ClickHouse Cloud выполняют миллиарды запросов в нашей SQL-консоли каждый месяц, и поэтому мы решили инвестировать больше в первоклассную консоль, чтобы сделать взаимодействие с вашими сервисами ClickHouse Cloud проще простого. Наш новый опыт облачной консоли сочетает в себе наш отдельный SQL-редактор и консоль управления в одном интуитивно понятном пользовательском интерфейсе.

Выборочные клиенты получат доступ к превью нашего нового облачного консольного интерфейса – унифицированный и погружающий способ исследовать и управлять вашими данными в ClickHouse. Пожалуйста, свяжитесь с нами по адресу support@clickhouse.com, если вы хотите получить приоритетный доступ.

28 марта 2024​

Этот релиз вводит поддержку Microsoft Azure, горизонтальное масштабирование через API и каналы обновления в приватном превью.

Общие обновления​

  • Введена поддержка Microsoft Azure в приватном превью. Чтобы получить доступ, пожалуйста, свяжитесь с управлением учетными записями или поддержкой, или присоединитесь к списку ожидания.
  • Введены Каналы обновлений – возможность указать время обновлений в зависимости от типа окружения. В этом релизе мы добавили "быстрый" канал обновлений, который позволяет обновить ваши не производственные окружения раньше производственных (пожалуйста, свяжитесь с поддержкой для включения).

Изменения в администрировании​

  • Добавлена поддержка конфигурации горизонтального масштабирования через API (приватное превью, пожалуйста, свяжитесь с поддержкой для включения)
  • Улучшено автоматическое масштабирование для масштабирования сервисов, сталкивающихся с ошибками нехватки памяти при запуске
  • Добавлена поддержка CMEK для AWS через провайдер Terraform

Изменения в консоли​

  • Добавлена поддержка входа через Microsoft
  • Добавлено возможность делиться параметризованными запросами в SQL-консоли
  • Значительно улучшена производительность редактора запросов (с задержки 5 секунд до 1,5 секунд в некоторых регионах ЕС)

Изменения в интеграциях​

Обновления безопасности​

14 марта 2024​

Этот релиз предоставляет ранний доступ к новому опыту облачной консоли, ClickPipes для массовой загрузки из S3 и GCS, а также поддержке формата Avro в ClickPipes для Kafka. Также обновляется версия базы данных ClickHouse до 24.1, внося поддержку новых функций, а также оптимизации производительности и использования ресурсов.

Изменения в консоли​

  • Новый опыт облачной консоли доступен в раннем доступе (пожалуйста, свяжитесь с поддержкой, если вас интересует участие).
  • ClickPipes для массовой загрузки из S3 и GCS доступны в раннем доступе (пожалуйста, свяжитесь с поддержкой, если вас интересует участие).
  • Поддержка формата Avro в ClickPipes для Kafka доступна в раннем доступе (пожалуйста, свяжитесь с поддержкой, если вас интересует участие).

Обновление версии ClickHouse​

  • Оптимизация для FINAL, улучшения векторизации, более быстрые агрегации - смотрите блог-релиз 23.12 для подробностей.
  • Новые функции для обработки punycode, сходства строк, обнаружения выбросов, а также оптимизации памяти для слияний и Keeper - смотрите блог-релиз 24.1 и презентацию для подробностей.
  • Эта версия ClickHouse Cloud основана на 24.1, вы можете видеть десятки новых функций, улучшений производительности и исправлений ошибок. См. основные журналы изменений базы данных для подробностей.

Изменения в интеграциях​

  • Grafana: Исправлена миграция панелей для v4, логика фильтрации ad-hoc
  • Соединитель Tableau: Исправлена функция DATENAME и округление для "реальных" аргументов
  • Соединитель Kafka: Исправлена NPE при инициализации соединения, добавлена возможность указать параметры JDBC драйвера
  • Клиент Golang: Уменьшен объем памяти при обработке ответов, исправлены экстремальные значения Date32, исправлено сообщение об ошибках при включенном сжатии
  • Клиент Python: Улучшена поддержка часовых поясов в параметрах даты и времени, улучшена производительность для Pandas DataFrame

29 февраля 2024​

Этот релиз улучшает время загрузки приложения SQL консоли, добавляет поддержку аутентификации SCRAM-SHA-256 в ClickPipes и расширяет поддержку вложенных структур для Kafka Connect.

Изменения в консоли​

  • Оптимизировано время первоначальной загрузки приложения SQL консоли
  • Исправлено состояние гонки в SQL консоли, в результате которого возникала ошибка 'authentication failed'
  • Исправлено поведение на странице мониторинга, когда значение последнего выделения памяти иногда было неверным
  • Исправлено поведение, при котором SQL консоль иногда выдавала дублирующие команды KILL QUERY
  • Добавлена поддержка метода аутентификации SCRAM-SHA-256 для основанных на Kafka источников данных в ClickPipes

Изменения в интеграциях​

  • Соединитель Kafka: Расширенная поддержка сложных вложенных структур (Array, Map); добавлена поддержка FixedString типа; добавлена поддержка загрузки в несколько баз данных
  • Metabase: Исправлена несовместимость с ClickHouse ниже версии 23.8
  • DBT: Добавлена возможность передавать настройки для создания модели
  • Клиент Node.js: Добавлена поддержка длительных запросов (>1ч) и обработка пустых значений.

15 февраля 2024​

Этот релиз обновляет основную версию базы данных, добавляет возможность настройки частных ссылок через Terraform и добавляет поддержку семантики «ровно один раз» для асинхронных вставок через Kafka Connect.

Обновление версии ClickHouse​

  • Двигатель таблиц S3Queue для непрерывной, запланированной загрузки данных из S3 готов к производству - см. блог релиза 23.11 для подробностей.
  • Значительные улучшения производительности для FINAL и улучшения векторизации для инструкций SIMD, что приводит к более быстрым запросам - см. блог релиза 23.12 для подробностей.
  • Эта версия ClickHouse Cloud основана на 23.12, вы можете видеть десятки новых функций, улучшений производительности и исправлений ошибок. Смотрите журналы изменений основной базы данных для подробностей.

Изменения в консоли​

  • Добавлена возможность настройки AWS Private Link и GCP Private Service Connect через провайдер Terraform
  • Улучшена устойчивость при импорте данных из удаленных файлов
  • Добавлен выдвигающийся статус импорта для всех импортов данных
  • Добавлена поддержка учетных данных ключа/секретного ключа при импорте данных из S3

Изменения в интеграциях​

  • Соединитель Kafka
    • Поддержка async_insert для ровно одного раза (отключена по умолчанию)
  • Клиент Golang
    • Исправлена привязка DateTime
    • Улучшена производительность пакетной вставки
  • Клиент Java
    • Исправлена ошибка с сжатием запросов

Изменения в настройках​

  • use_mysql_types_in_show_columns больше не требуется. Он будет автоматически включен, когда вы подключаетесь через MySQL интерфейс.
  • async_insert_max_data_size теперь имеет значение по умолчанию 10 MiB

2 февраля 2024​

Этот релиз представляет доступность ClickPipes для Azure Event Hub, значительно улучшает рабочий процесс навигации по логам и трассировкам с использованием v4 коннектора ClickHouse Grafana и впервые представляет поддержку инструментов управления схемой баз данных Flyway и Atlas.

Изменения в консоли​

  • Добавлена поддержка ClickPipes для Azure Event Hub
  • Новые сервисы запускаются с временем бездействия по умолчанию 15 мин

Изменения интеграций​

  • Источник данных ClickHouse для Grafana версия v4
    • Полностью переработан генератор запросов, чтобы иметь специализированные редакторы для Таблиц, Логов, Данных Временных Рядов и Трейсов
    • Полностью переработан SQL генератор для поддержки более сложных и динамичных запросов
    • Добавлена первоклассная поддержка OpenTelemetry в представлениях Логов и Трейсов
    • Расширена Конфигурация для указания стандартных таблиц и колонок для Логов и Трейсов
    • Добавлена возможность указывать пользовательские HTTP Заголовки
    • И еще много улучшений - проверьте полный журнал изменений
  • Инструменты управления схемами баз данных
  • Коннектор Kafka Sink
    • Оптимизирован прием данных в таблицу с значениями по умолчанию
    • Добавлена поддержка строковых дат в DateTime64
  • Metabase
    • Добавлена поддержка подключения к нескольким базам данных

18 января 2024​

Этот релиз приносит новый регион в AWS (Лондон / eu-west-2), добавляет поддержку ClickPipes для Redpanda, Upstash и Warpstream, а также улучшает надежность основных возможностей базы данных is_deleted.

Общие изменения​

  • Новый регион AWS: Лондон (eu-west-2)

Изменения консоли​

  • Добавлена поддержка ClickPipes для Redpanda, Upstash и Warpstream
  • Механизм аутентификации ClickPipes стал настраиваемым в пользовательском интерфейсе

Изменения интеграций​

  • Java клиент:
    • Ломающее изменение: Убрана возможность указывать случайные URL-адреса в вызове. Эта функциональность была удалена из ClickHouse
    • Устаревшие функции: Java CLI клиент и пакеты GRPC
    • Добавлена поддержка формата RowBinaryWithDefaults для уменьшения размера пакета и нагрузки на экземпляр ClickHouse (запрос от Exabeam)
    • Сделаны границы диапазонов Date32 и DateTime64 совместимыми с ClickHouse, совместимость с типом строки Spark Array, механизм выбора узлов
  • Коннектор Kafka: Добавлена панель мониторинга JMX для Grafana
  • PowerBI: Настройки ODBC драйвера стали настраиваемыми в пользовательском интерфейсе
  • JavaScript клиент: Открыта информация о сводке запросов, возможность предоставить подмножество конкретных колонок для вставки, возможность настройки keep_alive для веб-клиента
  • Python клиент: Добавлена поддержка типа Nothing для SQLAlchemy

Изменения надежности​

  • Изменение, несовместимое с прошлой версией: Ранее две функции (is_deleted и OPTIMIZE CLEANUP) в определенных условиях могли привести к повреждению данных в ClickHouse. Чтобы защитить целостность данных наших пользователей и сохранить основную функциональность, мы изменили работу этой функции. В частности, настройка MergeTree clean_deleted_rows теперь устарела и больше не действует. Ключевое слово CLEANUP по умолчанию не допускается (чтобы использовать его, необходимо будет включить allow_experimental_replacing_merge_with_cleanup). Если вы решите использовать CLEANUP, вы должны гарантировать, что оно всегда используется вместе с FINAL, и вы должны гарантировать, что после выполнения OPTIMIZE FINAL CLEANUP не будут вставлены строки с более старыми версиями.

18 декабря 2023​

Этот релиз добавляет новый регион в GCP (us-east1), возможность самообслуживания безопасных соединений по конечным точкам, поддержку дополнительных интеграций, включая DBT 1.7, и множество исправлений ошибок и улучшений безопасности.

Общие изменения​

  • ClickHouse Cloud теперь доступен в регионе GCP us-east1 (Южная Каролина)
  • Включена возможность настройки AWS Private Link и GCP Private Service Connect через OpenAPI

Изменения консоли​

  • Обеспечен бесшовный вход в SQL консоль для пользователей с ролью Разработчика
  • Упрощен процесс настройки контроля бездействия во время онбординга

Изменения интеграций​

  • Коннектор DBT: Добавлена поддержка DBT до v1.7
  • Metabase: Добавлена поддержка Metabase v0.48
  • Коннектор PowerBI: Добавлена возможность работы в PowerBI Cloud
  • Сделать разрешения для внутреннего пользователя ClickPipes настраиваемыми
  • Kafka Connect
    • Улучшена логика дедупликации и прием Nullable типов.
    • Добавлена поддержка текстовых форматов (CSV, TSV)
  • Apache Beam: добавлена поддержка типов Boolean и LowCardinality
  • Nodejs клиент: добавлена поддержка формата Parquet

Объявления безопасности​

  • Исправлено 3 уязвимости безопасности - смотрите журнал безопасности для получения информации:
    • CVE 2023-47118 (CVSS 7.0) - уязвимость переполнения буфера кучи, затрагивающая родной интерфейс, работающий по умолчанию на порту 9000/tcp
    • CVE-2023-48704 (CVSS 7.0) - уязвимость переполнения буфера кучи, затрагивающая родной интерфейс, работающий по умолчанию на порту 9000/tcp
    • CVE 2023-48298 (CVSS 5.9) - уязвимость переполнения целого числа в кодеке сжатия FPC

22 ноября 2023​

Этот релиз обновляет версию основной базы данных, улучшает процесс входа и аутентификации, а также добавляет поддержку прокси для Kafka Connect Sink.

Обновление версии ClickHouse​

  • Значительно улучшена производительность чтения Parquet файлов. Смотрите блог о релизе 23.8 для подробностей.
  • Добавлена поддержка вывода типов для JSON. Смотрите блог о релизе 23.9 для подробностей.
  • Введены мощные функции для аналитиков, такие как ArrayFold. Смотрите блог о релизе 23.10 для подробностей.
  • Изменение, несовместимое с прошлой версией: Отключена настройка input_format_json_try_infer_numbers_from_strings по умолчанию, чтобы избежать вывода чисел из строк в формате JSON. Это может вызвать ошибки разбора, когда в образце данных содержатся строки, схожие с числами.
  • Десятки новых функций, улучшений производительности и исправлений ошибок. Смотрите журналы изменений основной базы данных для подробностей.

Изменения консоли​

  • Улучшен процесс входа и аутентификации.
  • Улучшены предложения запросов на основе ИИ для лучшей поддержки больших схем.

Изменения интеграций​

  • Kafka Connect Sink: Добавлена поддержка прокси, topic-tablename отображение и настраиваемость свойств доставки Keeper exactly-once.
  • Node.js клиент: Добавлена поддержка формата Parquet.
  • Metabase: Добавлена поддержка функции datetimeDiff.
  • Python клиент: Добавлена поддержка специальных символов в названиях колонок. Исправлено связывание параметра часового пояса.

2 ноября 2023​

Этот релиз добавляет более широкую региональную поддержку для сервисов разработки в Азии, вводит функциональность ротации ключей для ключей шифрования, управляемых клиентом, улучшает гранулярность налоговых настроек в консоли биллинга и содержит ряд исправлений ошибок для поддерживаемых языковых клиентов.

Общие обновления​

  • Сервисы разработки теперь доступны в AWS для ap-south-1 (Мумбаи) и ap-southeast-1 (Сингапур)
  • Добавлена поддержка ротации ключей для ключей шифрования, управляемых клиентом (CMEK)

Изменения консоли​

  • Добавлена возможность настройки гранулярных налоговых настроек при добавлении кредитной карты

Изменения интеграций​

  • MySQL
    • Улучшена поддержка Tableau Online и QuickSight через MySQL
  • Коннектор Kafka
    • Введен новый StringConverter для поддержки текстовых форматов (CSV, TSV)
    • Добавлена поддержка типов данных Bytes и Decimal
    • Скорректированы Retryable Exceptions, которые теперь всегда повторяются (даже когда errors.tolerance=all)
  • Node.js клиент
    • Исправлена проблема с потоковой передачей больших наборов данных, приводившая к поврежденным результатам
  • Python клиент
    • Исправлены тайм-ауты для больших вставок
    • Исправлена проблема с Date32 в NumPy/Pandas
  • Golang клиент
    • Исправлено вставление пустой карты в колонку JSON, очистка буфера сжатия, экранирование запросов, паника при нуле/пустом значении для IPv4 и IPv6
    • Добавлен контроль за отмененными вставками
  • DBT
    • Улучшена поддержка распределенных таблиц с тестами

19 октября 2023​

Этот релиз приносит улучшения удобства использования и производительности в SQL консоли, лучшее управление типом IP в коннекторе Metabase и новую функциональность в Java и Node.js клиентах.

Изменения консоли​

  • Улучшено удобство использования SQL консоли (например, сохранение ширины колонки между выполнением запросов)
  • Улучшена производительность SQL консоли

Изменения интеграций​

  • Java клиент:
    • Переключена на библиотеку сетевого взаимодействия по умолчанию для улучшения производительности и повторного использования открытых соединений
    • Добавлена поддержка прокси
    • Добавлена поддержка защищенных соединений с использованием Trust Store
  • Node.js клиент: Исправлено поведение keep-alive для вставочных запросов
  • Metabase: Исправлена сериализация колонок IPv4/IPv6

28 сентября 2023​

Этот релиз приносит общую доступность ClickPipes для Kafka, Confluent Cloud и Amazon MSK, а также Kafka Connect ClickHouse Sink, самообслуживание рабочий процесс для безопасного доступа к Amazon S3 через IAM роли и предложения запросов с помощью ИИ (приватный предварительный просмотр).

Изменения консоли​

Изменения интеграций​

  • Объявлено о общей доступности ClickPipes - готового к эксплуатации сервиса приема данных - для Kafka, Confluent Cloud и Amazon MSK (смотрите блог о релизе)
  • Достигнута общая доступность Kafka Connect ClickHouse Sink
    • Расширена поддержка настройки ClickHouse с использованием свойства clickhouse.settings
    • Улучшено поведение дедупликации с учетом динамических полей
    • Добавлена поддержка tableRefreshInterval для повторного получения изменений таблицы из ClickHouse
  • Исправлена проблема с соединением SSL и сопоставление типов между PowerBI и типами данных ClickHouse

7 сентября 2023​

Этот релиз приносит бета-релиз официального коннектора PowerBI для настольных ПК, улучшенное управление оплатой кредитной картой для Индии и множественные улучшения для поддерживаемых языковых клиентов.

Изменения консоли​

  • Добавлены оставшиеся кредиты и повторы платежей для поддержки сборов из Индии

Изменения интеграций​

  • Коннектор Kafka: добавлена поддержка настройки параметров ClickHouse, добавлена настройка ошибки.tolerance
  • PowerBI Desktop: выпущена бета-версия официального коннектора
  • Grafana: добавлена поддержка Point geo типа, исправлены панели в информационной панели Data Analyst, исправлен макрос timeInterval
  • Python клиент: Совместим с Pandas 2.1.0, убрана поддержка Python 3.7, добавлена поддержка допускаемых типов JSON
  • Node.js клиент: добавлена поддержка настройки default_format
  • Golang клиент: исправлено обращение с типом bool, убраны ограничения на строки

24 августа 2023​

Этот релиз добавляет поддержку интерфейса MySQL для базы данных ClickHouse, вводит новый официальный коннектор PowerBI, добавляет новое представление "Запускающиеся Запросы" в облачной консоли и обновляет версию ClickHouse до 23.7.

Общие обновления​

  • Добавлена поддержка MySQL wire protocol, что (среди других случаев использования) обеспечивает совместимость со многими существующими BI инструментами. Пожалуйста, свяжитесь с поддержкой, чтобы включить эту функцию для вашей организации.
  • Введен новый официальный коннектор PowerBI

Изменения консоли​

  • Добавлена поддержка представления "Запускающиеся Запросы" в SQL консоли

Обновление версии ClickHouse 23.7​

  • Добавлена поддержка Azure Table функции, продвинуты гео типы в готовые к производству, и улучшена производительность объединения - смотрите блог о релизе 23.5 для подробностей
  • Расширена поддержка интеграции с MongoDB до версии 6.0 - смотрите блог о релизе 23.6 для подробностей
  • Улучшена производительность записи в формат Parquet в 6 раз, добавлена поддержка языка запросов PRQL и улучшена совместимость с SQL - смотрите deck о релизе 23.7 для подробностей
  • Десятки новых функций, улучшений производительности и исправлений ошибок - смотрите подробные журналы изменений для 23.5, 23.6, 23.7

Изменения интеграций​

  • Коннектор Kafka: Добавлена поддержка типов Avro Date и Time
  • JavaScript клиент: Выпущена стабильная версия для веб-среды
  • Grafana: Улучшена логика фильтрации, обработка названий баз данных и добавлена поддержка TimeInteval с точностью до субсекунд
  • Golang Клиент: Исправлены несколько проблем с загрузкой пакетных и асинхронных данных
  • Metabase: Поддержка v0.47, добавлено рейдерство подключения, исправлены сопоставления типов данных

27 июля 2023​

Этот релиз приносит приватный предварительный просмотр ClickPipes для Kafka, новый опыт загрузки данных, а также возможность загружать файл по URL через облачную консоль.

Изменения интеграций​

  • Введен приватный предварительный просмотр ClickPipes для Kafka, облачного интеграционного движка, который позволяет воспринимать огромные объемы данных из Kafka и Confluent Cloud так же просто, как нажать несколько кнопок. Пожалуйста, запишитесь в лист ожидания здесь.
  • JavaScript клиент: выпущена поддержка веб-среды (браузер, работники Cloudflare). Код был переработан для возможности сообщества создавать коннекторы для пользовательских сред.
  • Коннектор Kafka: добавлена поддержка встроенной схемы с Kafka типами Timestamp и Time
  • Python клиент: Исправлены проблемы с сжатием вставок и чтением LowCardinality

Изменения консоли​

  • Добавлен новый опыт загрузки данных с большим количеством опций конфигурации создания таблиц
  • Введена возможность загружать файл с URL через облачную консоль
  • Улучшен процесс приглашения с дополнительными опциями для присоединения к другой организации и просмотра всех ваших незакрытых приглашений

14 июля 2023​

Этот релиз приносит возможность развертывания Выделенных Сервисов, новый регион AWS в Австралии и возможность принести собственный ключ для шифрования данных на диске.

Общие обновления​

  • Новый регион AWS Австралия: Сидней (ap-southeast-2)
  • Выделенные служебные уровни для требовательных к задержкам рабочих нагрузок (пожалуйста, свяжитесь с поддержкой, чтобы это настроить)
  • Принесите собственный ключ (BYOK) для шифрования данных на диске (пожалуйста, свяжитесь с поддержкой, чтобы это настроить)

Изменения консоли​

  • Улучшения в панели метрик наблюдаемости для асинхронных вставок
  • Улучшено поведение чат-бота для интеграции с поддержкой

Изменения интеграций​

  • NodeJS клиент: исправлена ошибка с отказом в подключении из-за таймаута сокета
  • Python клиент: добавлен QuerySummary для запросов на вставку, поддержка специальных символов в названии базы данных
  • Metabase: обновлена версия JDBC драйвера, добавлена поддержка DateTime64, улучшения производительности.

Изменения в основной базе данных​

  • Кэш запросов может быть включен в ClickHouse Cloud. Когда он включен, успешные запросы кэшируются на минуту по умолчанию, и последующие запросы будут использовать кэшированный результат.

20 июня 2023​

Этот релиз делает ClickHouse Cloud на GCP общедоступным, приносит провайдер Terraform для API облака и обновляет версию ClickHouse до 23.4.

Общие обновления​

  • ClickHouse Cloud на GCP теперь общедоступен, с интеграцией в GCP Marketplace, поддержкой Private Service Connect и автоматическими резервными копиями (смотрите блог и пресс-релиз для подробностей)
  • Провайдер Terraform для API облака теперь доступен

Изменения консоли​

  • Добавлена новая консolidированная страница настроек для служб
  • Регулировка точности измерения для хранения и вычислений

Изменения интеграций​

  • Python клиент: улучшена производительность вставки, переработаны внутренние зависимости для поддержки многопоточности
  • Коннектор Kafka: может быть загружен и установлен на Confluent Cloud, добавлена повторная попытка для промежуточных проблем с подключением, автоматически сбрасывает некорректное состояние коннектора

Обновление версии ClickHouse 23.4​

  • Добавлена поддержка JOIN для параллельных реплик (пожалуйста, свяжитесь с поддержкой, чтобы это настроить)
  • Улучшена производительность легковесных удалений
  • Улучшено кэширование при обработке больших вставок

Изменения в администрировании​

  • Расширено создание локального словаря для не "стандартных" пользователей

30 мая 2023​

Этот релиз приносит публичный релиз Программного API ClickHouse Cloud для операций Плоскости Управления (смотрите блог для подробностей), доступ к S3 с использованием IAM ролей и дополнительные варианты масштабирования.

Общие изменения​

  • Поддержка API для ClickHouse Cloud. С новым Облачным API вы можете бесшовно интегрировать управление службами в вашем текущем CI/CD пайплайне и управлять своими службами программно
  • Доступ к S3 с использованием IAM ролей. Теперь вы можете использовать IAM роли для безопасного доступа к вашим приватным корзинам Amazon Simple Storage Service (S3) (пожалуйста, свяжитесь с поддержкой, чтобы это настроить)

Изменения масштабирования​

Изменения консоли​

  • Миграция сервиса Dev в сервис Производства (пожалуйста, свяжитесь с поддержкой, чтобы это включить)
  • Добавлены элементы управления настройками масштабирования во время процесса создания экземпляра
  • Исправление строки подключения, когда пароль по умолчанию не присутствует в памяти

Изменения интеграций​

  • Golang клиент: исправлена проблема, приводящая к несбалансированным подключениям в родном протоколе, добавлена поддержка пользовательских настроек в родном протоколе
  • Nodejs клиент: убрана поддержка nodejs v14, добавлена поддержка v20
  • Коннектор Kafka: добавлена поддержка типа LowCardinality
  • Metabase: исправлено группирование по диапазону времени, исправлена поддержка целых чисел в встроенных вопросах Metabase

Производительность и надежность​

  • Улучшена эффективность и производительность рабочих нагрузок с большими записями
  • Развернута стратегия инкрементного резервного копирования для увеличения скорости и эффективности резервного копирования

11 мая 2023​

Этот релиз приносит публичную бета-версию (теперь GA, см. запись от 20 июня выше) ClickHouse Cloud на GCP (смотрите блог для подробностей), расширяет права администраторов на предоставление разрешений на завершение запросов и добавляет больше видимости в статус пользователей MFA в облачной консоли.

ClickHouse Cloud на GCP (Публичная Бета) (теперь GA, см. запись от 20 июня выше)​

  • Запускает полностью управляемое отдельное хранилище и вычисления ClickHouse, работающее на Google Compute и Google Cloud Storage
  • Доступно в регионах Айова (us-central1), Нидерланды (europe-west4) и Сингапур (asia-southeast1)
  • Поддерживает как Разработческие, так и Производственные службы во всех трех начальных регионах
  • Обеспечивает сильную безопасность по умолчанию: шифрование от конца до конца в пути, шифрование данных в покое, списки разрешенных IP

Изменения интеграций​

  • Golang клиент: добавлена поддержка переменных среды прокси
  • Grafana: добавлена возможность указания настроек ClickHouse и переменных среды прокси в настройках источника данных Grafana

Изменения консоли​

  • Добавлен индикатор использования многофакторной аутентификации (MFA) в списке пользователей

Производительность и надежность​

  • Добавлен более гранулярный контроль за разрешением завершения запросов для администраторов

4 мая 2023​

Этот релиз приносит новый тип графика тепловой карты, улучшает страницу использования биллинга и улучшает время запуска службы.

Изменения консоли​

  • Добавлен тип графика тепловой карты в SQL консоль
  • Улучшена страница использования биллинга для отображения потребленных кредитов в каждом измерении биллинга

Изменения интеграций​

  • Коннектор Kafka: добавлен механизм повтора для временных ошибок подключения
  • Python клиент: добавлена настройка max_connection_age для обеспечения того, чтобы HTTP соединения не использовались бесконечно. Это может помочь с определенными проблемами балансировки нагрузки
  • Node.js клиент: добавлена поддержка Node.js v20
  • Java клиент: улучшена поддержка аутентификации клиентских сертификатов, добавлена поддержка вложенных Tuple/Map/Nested типов

Производительность и надежность​

  • Улучшено время запуска службы при большом количестве частей
  • Оптимизирована логика отмены долгосрочных запросов в SQL консоли

Исправления ошибок​

  • Исправлен баг, из-за которого импорт выборки 'Cell Towers' завершался неудачно

20 апреля 2023​

Этот релиз обновляет версию ClickHouse до 23.3, значительно улучшает скорость холодных чтений и вводит чат в реальном времени с поддержкой.

Изменения консоли​

  • Добавлена опция для чата в реальном времени с поддержкой

Изменения интеграций​

  • Коннектор Kafka: добавлена поддержка Nullable типов
  • Golang клиент: добавлена поддержка внешних таблиц, поддержка параметрических привязок для булевых и ссылочных типов

Изменения конфигурации​

  • Добавляет возможность удаления больших таблиц, переопределяя настройки max_table_size_to_drop и max_partition_size_to_drop

Производительность и надежность​

  • Улучшена скорость холодных чтений за счет предварительной выборки через allow_prefetched_read_pool_for_remote_filesystem

Обновление версии ClickHouse 23.3​

  • Легковесные удаления готовы к производству - смотрите блог о релизе 23.3 для подробностей
  • Добавлена поддержка многоступенчатого PREWHERE - смотрите блог о релизе 23.2 для подробностей
  • Десятки новых функций, улучшений производительности и исправлений ошибок - смотрите подробные журналы изменений для 23.3 и 23.2

6 марта 2023​

Этот релиз приносит API для извлечения облачных конечных точек, продвинутый контроль масштабирования для минимального времени ожидания и поддержку внешних данных в методах запросов Python клиента.

Изменения API​

  • Добавлена возможность программного запроса конечных точек ClickHouse Cloud через Cloud Endpoints API

Изменения консоли​

  • Добавлена настройка 'минимальное время ожидания' в расширенные настройки масштабирования
  • Добавлено обнаружение даты с наилучшей попыткой для вывода схемы в модальном окне загрузки данных

Изменения интеграций​

  • Metabase: Добавлена поддержка нескольких схем
  • Go клиент: Исправлена проверка работоспособности бездействующего соединения для соединений TLS
  • Python клиент
    • Добавлена поддержка внешних данных в методах запросов
    • Добавлена поддержка часового пояса для результатов запросов
    • Добавлена поддержка переменной окружения no_proxy/NO_PROXY
    • Исправлено связывание параметров на сервере значения NULL для Nullable типов

Исправления ошибок​

  • Исправлено поведение, при котором выполнение INSERT INTO ... SELECT ... из SQL консоли неправильно применяло тот же лимит строк, что и для выборочных запросов

23 марта 2023​

Этот релиз приносит правила сложности паролей для баз данных, значительное ускорение восстановления больших резервных копий и поддержку отображения треков в Grafana Trace View.

Безопасность и надежность​

  • Конечные точки основной базы данных теперь обеспечивают соблюдение правил сложности паролей
  • Улучшено время восстановления больших резервных копий

Изменения консоли​

  • Упрощен процесс онбординга, введены новые стандартные настройки и более компактные представления
  • Снижены задержки при регистрации и входе

Изменения интеграций​

  • Grafana:
    • Добавлена поддержка отображения данных трека, хранящихся в ClickHouse, во Вьювере Треков
    • Улучшены фильтры диапазона времени и добавлена поддержка специальных символов в названиях таблиц
  • Superset: добавлена нативная поддержка ClickHouse
  • Коннектор Kafka Connect Sink: добавлена автоматическая конвертация даты и работа с Null колонками
  • Metabase: реализована совместимость с версией 0.46
  • Python клиент: исправлены вставки во временные таблицы и добавлена поддержка Pandas Null
  • Golang клиент: нормализованы типы Date с учетом часового пояса
  • Java клиент
    • Добавлена поддержка для парсера SQL для сжатия, infile и outfile ключевых слов
    • Добавлена перегрузка учетных данных
    • Исправлена поддержка батчей с ON CLUSTER
  • Node.js клиент
    • Добавлена поддержка форматов JSONStrings, JSONCompact, JSONCompactStrings, JSONColumnsWithMetadata
    • query_id теперь может быть передан для всех основных методов клиента

Исправления ошибок​

  • Исправлен баг, приводивший к медленному первичному развертыванию и времени запуска новых служб
  • Исправлен баг, приводивший к медленной производительности запросов из-за неверной конфигурации кэша

9 марта 2023​

Этот релиз улучшает панели наблюдаемости, оптимизирует время создания больших резервных копий и добавляет необходимые настройки для удаления больших таблиц и партиций.

Изменения консоли​

  • Добавлены продвинутые панели наблюдаемости (предварительный просмотр)
  • Введена диаграмма распределения памяти в панели наблюдаемости
  • Улучшено форматирование отступов и обработки новой строки в представлении электронной таблицы SQL Консоли

Надежность и производительность​

  • Оптимизирован график резервирования для выполнения резервных копий только при изменении данных
  • Улучшено время завершения больших резервных копий

Изменения конфигурации​

  • Добавлена возможность увеличить предел для удаления таблиц и партиций, переопределяя настройки max_table_size_to_drop и max_partition_size_to_drop на уровне запроса или подключения
  • Добавлен IP-адрес источника в журнал запросов, чтобы обеспечить соблюдение квот и контроля доступа на основе IP-адреса источника

Интеграции​

  • Python клиент: улучшена поддержка Pandas и исправлены проблемы, связанные с часовыми поясами
  • Metabase: совместимость с Metabase 0.46.x и поддержка SimpleAggregateFunction
  • Kafka-Connect: неявное преобразование даты и лучшее обращение с нулевыми колонками
  • Java Клиент: вложенное преобразование в карты Java

23 февраля 2023​

Этот релиз включает подмножество функций в основном релизе ClickHouse 23.1, приносит взаимосвязь с Amazon Managed Streaming for Apache Kafka (MSK) и показывает продвинутую регулировку масштабирования и бездействия в журнале активности.

Обновление версии ClickHouse 23.1​

Добавляет поддержку подмножества функций в ClickHouse 23.1, например:

  • ARRAY JOIN с типом Map
  • Шестнадцатеричные и двоичные литералы SQL стандарта
  • Новые функции, включая age(), quantileInterpolatedWeighted(), quantilesInterpolatedWeighted()
  • Возможность использовать структуру из таблицы вставки в generateRandom без аргументов
  • Улучшена логика создания и переименования баз данных, позволяющая повторное использование предыдущих имен
  • Смотрите презентацию вебинара и журнал изменений 23.1 для получения более подробной информации

Изменения интеграций​

  • Kafka-Connect: добавлена поддержка Amazon MSK
  • Metabase: первый стабильный релиз 1.0.0
    • Коннектор доступен на Metabase Cloud
    • Добавлена возможность исследования всех доступных баз данных
    • Исправлена синхронизация базы данных с типом AggregationFunction
  • DBT-clickhouse: добавлена поддержка последней версии DBT v1.4.1
  • Python клиент: улучшена поддержка прокси и SSH-туннелирования; добавлено несколько исправлений и оптимизаций производительности для Pandas DataFrames
  • Nodejs клиент: выпущена возможность прикрепления query_id к результату запроса, который может быть использован для извлечения метрик запроса из system.query_log
  • Golang клиент: оптимизировано сетевое соединение с ClickHouse Cloud

Изменения консоли​

  • Добавлены настройки для продвинутого масштабирования и бездействия в журнал активности
  • Добавлена информация о пользовательском агенте и IP в электронные письма для сброса пароля
  • Улучшены механики регистрации для Google OAuth