Airbyte 后端技術(shù)棧

• Java 17

• 框架：Jersey

• API：?OAS3

• 數(shù)據(jù)庫(kù)：PostgreSQL

• 單元和E2E測(cè)試：JUnit 5

• 編排：Temporal

連接器技術(shù)棧

連接器可以用任何語(yǔ)言編寫。但是，最常見的語(yǔ)言是：

• Python3.9.0

• Java 17

前端技術(shù)棧

• Node.js 16

• TypeScript

• Web 框架/庫(kù)：React

部署

部署Airbyte開源只需要兩個(gè)步驟。

1. 在您的工作站上安裝 Docker。確保您使用的是最新版本的 .docker-compose

2. 在終端中運(yùn)行以下命令：

git clone?https://github.com/airbytehq/airbyte.git
cd airbyte
docker compose up

一旦您看到Airbyte橫幅，就可以在瀏覽器輸入?http://localhost:8000?訪問(wèn)Airbyte了！系統(tǒng)將要求您輸入用戶名和密碼，默認(rèn)用戶名和密碼是 airbyte 和password，部署到服務(wù)器后，請(qǐng)務(wù)必在.env文件中更改默認(rèn)用戶和密碼。

內(nèi)部數(shù)據(jù)庫(kù)

Airbyte 使用Postgres來(lái)存儲(chǔ)內(nèi)部狀態(tài)和元數(shù)據(jù)。此數(shù)據(jù)由各種 Airbyte 組件存儲(chǔ)和操作，但您可以通過(guò)以下兩種方式管理此數(shù)據(jù)庫(kù)的部署：

• 使用 Airbyte Docker 服務(wù)的默認(rèn) Postgres 數(shù)據(jù)庫(kù)：。docker-compose.ymlairbyte/db

• 通過(guò)專用的自定義 Postgres 實(shí)例。在Docker或Kubernetes上部署關(guān)鍵任務(wù)數(shù)據(jù)庫(kù)不是一個(gè)好的做法。 使用專用實(shí)例將為您的 Airbyte 部署提供更高的可靠性。 此外，使用云托管的 Postgres 實(shí)例（例如 AWS RDS 我們的 GCP 云 SQL），您將受益于自動(dòng)備份和細(xì)粒度大小調(diào)整。您可以從一個(gè)非常小的實(shí)例開始，但根據(jù)您的 Airbyte 使用情況，如果不截?cái)嘧鳂I(yè)歷史記錄，作業(yè)數(shù)據(jù)庫(kù)可能會(huì)增長(zhǎng)并需要更多存儲(chǔ)空間。airbyte/dbdocker-compose.yml

各種實(shí)體持久保存在兩個(gè)內(nèi)部數(shù)據(jù)庫(kù)中：

• 作業(yè)數(shù)據(jù)庫(kù)

• 有關(guān) Airbyte 作業(yè)和各種運(yùn)行時(shí)元數(shù)據(jù)執(zhí)行的數(shù)據(jù)。

• 有關(guān) Airbyte 使用的內(nèi)部業(yè)務(wù)流程協(xié)調(diào)程序的數(shù)據(jù)，http://Temporal.io（任務(wù)、工作流數(shù)據(jù)、事件和可見性數(shù)據(jù)）。

• 配置數(shù)據(jù)庫(kù)

• 連接器、同步連接和各種 Airbyte 配置對(duì)象。

注意：管道傳輸?shù)膶?shí)際數(shù)據(jù)永遠(yuǎn)不會(huì)保留在此內(nèi)部數(shù)據(jù)庫(kù)中

請(qǐng)注意，源（或目標(biāo)）連接器中的實(shí)際數(shù)據(jù)永遠(yuǎn)不會(huì)傳輸或保留在此內(nèi)部數(shù)據(jù)庫(kù)中。