Перейти к основному содержимому
Перейти к основному содержимому

Руководство по настройке источника Aurora Postgres

Поддерживаемые версии Postgres​

ClickPipes поддерживает Aurora PostgreSQL-Compatible Edition версии 12 и выше.

Включение логической репликации​

Вы можете пропустить этот раздел, если ваша инстанция Aurora уже имеет следующие настройки:

  • rds.logical_replication = 1
  • wal_sender_timeout = 0

Эти настройки обычно предварительно настроены, если вы ранее использовали другой инструмент репликации данных.

Если настройки еще не сконфигурированы, выполните следующие шаги:

  1. Создайте новую группу параметров для вашей версии Aurora PostgreSQL с необходимыми настройками:
    • Установите rds.logical_replication в 1
    • Установите wal_sender_timeout в 0
  1. Примените новую группу параметров к вашему кластеру Aurora PostgreSQL
  1. Перезагрузите ваш кластер Aurora, чтобы применить изменения

Настройка пользователя базы данных​

Подключитесь к вашему экземпляру Aurora PostgreSQL writer как администратор и выполните следующие команды:

  1. Создайте отдельного пользователя для ClickPipes:

  2. Предоставьте права на схемы. Пример ниже показывает права для схемы public. Повторите эти команды для каждой схемы, которую вы хотите реплицировать:

  3. Предоставьте права на репликацию:

  4. Создайте публикацию для репликации:

Настройка сетевого доступа​

Контроль доступа на основе IP​

Если вы хотите ограничить трафик к вашему кластеру Aurora, пожалуйста, добавьте документированные статические NAT IP-адреса в Inbound rules вашей группы безопасности Aurora.

Чтобы подключиться к вашему кластеру Aurora через частную сеть, вы можете использовать AWS PrivateLink. Следуйте нашему руководству по настройке AWS PrivateLink для ClickPipes для настройки подключения.

Специфические соображения по Aurora​

При настройке ClickPipes с Aurora PostgreSQL обратите внимание на следующие моменты:

  1. Конечная точка подключения: всегда подключайтесь к конечной точке writer вашего кластера Aurora, так как логическая репликация требует доступа на запись для создания слотов репликации и должна подключаться к основному экземпляру.

  2. Обработка отказов: в случае отказа Aurora автоматически повысит читателя до нового writer. ClickPipes обнаружит отключение и попытается переподключиться к конечной точке writer, которая теперь будет указывать на новый основной экземпляр.

  3. Глобальная база данных: если вы используете Aurora Global Database, вы должны подключаться к конечной точке writer основного региона, так как межрегиональная репликация уже обрабатывает перемещение данных между регионами.

  4. Соображения по хранилищу: уровень хранилища Aurora разделяется между всеми экземплярами в кластере, что может обеспечить лучшую производительность для логической репликации по сравнению со стандартным RDS.

Работа с динамическими конечными точками кластера​

Хотя Aurora предоставляет стабильные конечные точки, которые автоматически направляют на соответствующий экземпляр, вот несколько дополнительных подходов для обеспечения стабильного подключения:

  1. Для высокодоступных конфигураций настройте ваше приложение на использование конечной точки writer Aurora, которая автоматически указывает на текущий основной экземпляр.

  2. Если вы используете межрегиональную репликацию, рассмотрите возможность настройки отдельных ClickPipes для каждого региона, чтобы уменьшить задержки и повысить отказоустойчивость.

Что дальше?​

Теперь вы можете создать свой ClickPipe и начать прием данных из вашего кластера Aurora PostgreSQL в ClickHouse Cloud. Не забудьте записать сведения о подключении, которые вы использовали при настройке вашего кластера Aurora PostgreSQL, так как они понадобятся вам в процессе создания ClickPipe.