Політика даних конекторів

Кожен конектор керується політикою даних, яка вирішує, що залишає джерело і що потрапляє в контейнер. Політика застосовується двічі — спершу коли Conare конфігурує синхронізацію на боці джерела (вимкнення полів на джерелі, обфускація, фільтри рядків, cutoff), і ще раз у мапері прийому, коли рядки проходять через нього — тож джерело, яке тихо ігнорує upstream-налаштування, все одно ніколи не завантажить виключене значення в памʼять. Наразі політика запуску керує шістьма конекторами: Gmail, Slack, Affinity, Salesforce, HubSpot та Attio.

Глобальні гарантії

Стосуються кожного конектора під політикою:

Ліміт backfill 24 місяці. Активність, старша за 24 місяці (листи, повідомлення, CRM-активності, задачі, нотатки, engagements), не синхронізується.
Постійні CRM-сутності завжди включаються. Поточний стан CRM-записів — accounts, contacts, companies, organizations, persons/people, opportunities, deals, leads, lists, list_entries, field_values, pipelines, products — синхронізується повністю, незалежно від віку. Обліковий запис віком 5 років все одно потрапляє. Обмежуються лише потоки їхньої активності.
Облікові дані та державні/фінансові ID видаляються на джерелі. Поля, що відповідають шаблонам облікових даних/секретів (password, secret, api_key, token, client_secret, private_key, access_key) і державних/фінансових ID (ssn, social_security, tax_id, ein, vat, iban, swift/bic, routing_number, credit_card, cvv/cvc, passport, national_id, drivers_license, aadhaar, bank_account, bank_number), вимикаються ще до того, як рядки залишають систему-джерело.
Суми угод і виторг зберігаються. Критичні для бізнесу числові поля (amount, annual_revenue, account_number як CRM-ідентифікатор) явно зберігаються — список виключень націлений на секрети та персональні фінансові ID, а не на комерційні дані.

Політика для кожного конектора

Gmail


Backfill	Останні 24 місяці пошти
Виключені мітки	`SPAM`, `TRASH`, `DRAFT`, `CATEGORY_PROMOTIONS`, `CATEGORY_SOCIAL`
Що потрапляє	Тема, відправник, отримувач і текстове тіло
Що ніколи не потрапляє	Вкладення, сирий MIME, транспортні заголовки

Виключені мітки фільтруються на джерелі через фільтр рядків ArrayDoesNotContain за полем labelIds, тож рекламна та соціальна пошта взагалі не потрапляє в blob. Ліміт 24 місяці повторно застосовується в мапері прийому, оскільки cutoff на боці Gmail-джерела є best-effort.

Slack


Backfill	Останні 24 місяці повідомлень
Скоуп каналів	Вибір каналів кінцевим користувачем (із хостованого посилання згоди)
Що потрапляє	Канал, автор, текст
Що ніколи не потрапляє	Події ботів/системи, бінарні файли

Slack поважає allowlist каналів на конкретний запис, який кінцевий користувач обирає під час потоку згоди. Канали, які не в allowlist, виключаються з синхронізації — передайте потрібні id каналів як collections у connect link або в POST /api/v1/connectors/sync.

Affinity, Salesforce, HubSpot, Attio (CRM)


Backfill	Останні 24 місяці активності; постійні сутності завжди включаються
Виключені схеми	Колекції вкладень і бінарних файлів (`attachment`, `content_document`, `content_version`, `files`, `documents`); журнали аудиту та історії (`audit`, `history`, `login_history`, `event_log`, `apex_log`)
Виключені поля	Поля облікових даних/секретів і банківських/податкових/державних ID (див. глобальний список вище)
Зберігається	Суми угод, виторг, номери рахунків, усі інші бізнес-поля

Явний запит виключеної колекції (наприклад, "collections": ["attachments"]) гучно провалюється з кодом 400 — вкладення та журнали аудиту відхиляються, а не тихо відкидаються. Нерозпізнані схеми за замовчуванням обмежуються лімітом, ніколи не залишаються без ліміту, тож новий обʼєкт типу активності, доданий вендором CRM, не завантажить необмежений backfill.

Backfill: партнерський шлях vs. панель

Ліміт 24 місяці застосовується на партнерському шляху — до кінцевих користувачів, яких ваша Інтеграція підʼєднує через хостоване OAuth-посилання (POST /api/v1/connectors/link). Персональні акаунти, підʼєднані напряму в панелі Conare, синхронізують усю історію; ліміт стосується лише підʼєднань, створених партнером.

Робота з політикою

Ендпоінт колекцій. GET /api/v1/connectors/{type}/collections ніколи не перелічує колекції, виключені політикою — id, які ви отримуєте, і є тими id, які вам дозволено запитувати.

curl https://api.conare.ai/api/v1/connectors/salesforce/collections \
  -H "Authorization: Bearer $CONARE_KEY"
# → { "collections": [{ "id": "account", "name": "Account" }, ...] }
# Attachment and history schemas are absent by design.

Connect link. Передайте collections, щоб звузити далі. Для Slack це скоупує канали; для CRM-джерел — схеми сутностей. Пропустіть, щоб синхронізувати кожну не виключену колекцію.

curl https://api.conare.ai/api/v1/connectors/link \
  -H "Authorization: Bearer $CONARE_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "endUserId": "u_123",
    "type": "salesforce",
    "collections": ["account", "contact", "opportunity"]
  }'

Запит id, виключеного політикою, повертає 400:

{
  "statusCode": 400,
  "code": "invalid_request",
  "message": "collections excluded by data policy for salesforce: attachment (attachments and audit trails are never synced)",
  "requestId": "req_..."
}

Виключення на рівні полів. Поля облікових даних і державних/фінансових ID зіставляються за шаблонами імен із межами сегментів проти id полів джерела та їхніх нормалізованих snake-case вихідних імен — політика є конвенцією по CRM-схемах, а не окремим списком для кожної CRM, тож нове користувацьке поле passport_number__c у Salesforce виключається автоматично.

Повʼязане

Огляд інтеграцій — каталог конекторів і темп синхронізації
Connectors API reference — повні форми запитів і відповідей

​Глобальні гарантії

​Політика для кожного конектора

​Gmail

​Slack

​Affinity, Salesforce, HubSpot, Attio (CRM)

​Backfill: партнерський шлях vs. панель

​Робота з політикою

​Повʼязане