BigQuery

トップページの「Connectors」タブを選択し「Create」ボタンを押下します。

BigQueryでは２つの認証方式が提供されています。

​

サービスアカウント方式で接続する

BigQuery (Service Account)を選択し表示されたフォームに接続する認証情報を入力します。

サービスアカウントの作成については公式ページを参照してください。

• サービス アカウントを作成する

​

OAuthで接続する

BigQuery (OAuth)を選択し表示されたGoogleへのサインインボタンを押下して認証します。

その他共通で入力が必要な項目は以下です。

入力後Createボタンを押下すると作成が完了します。パラメータに不備がある場合はエラーが表示されるため接続内容が正しいか再度ご確認ください。

作成が成功すると一覧表示からコネクター名を取得することができます。アイコン横の文字列がconnection_nameです。これを使用することでコード上でデータベースに接続可能です。

SQLまたはPythonのコードに作成したコネクター名を入力しデータを取得します。

{{
    config(
        connection="connection_name"
    )
}}

select * from table_name

morph initコマンドを実行してDBの接続情報を~/.morph/connections.ymlに保存します。

morph init

pip install morph-data

対話式のインターフェースでデータベースの種類一覧が表示されるのでSnowflake (User/Password)を選択します。

Select your database type:
1. PostgreSQL
2. MySQL
3. Redshift
4. SQLServer
5. Snowflake (User/Password)
6. BigQuery (Service Account)
Enter the number corresponding to your database type: 6

BigQuery (Service Account) selected.

続いて認証情報を入力します。slugはコネクター名として扱うもので、この名前をSQLもしくはPythonで指定します。

以下の入力例は実際に接続できる値に置き換えてください。

Create a slug for your connection: bigquery-connection
Enter your BigQuery project ID: demo-project
Enter your BigQuery keyfile path: ~/path_to_pem_file
Enter your BigQuery dataset name (Optional): demo_dataset
Enter your BigQuery location (Optional): asia-northeast1

認証情報の保存が完了すると以下のメッセージが表示されます。

Successfully initialized! 🎉
You can edit your connection details in `path_to_connections.yml`

connections.ymlは以下のように保存されています。他のコネクターを作成した場合はconnections以下に追加されます。

cat ~/.morph/connections.yml

connections:
  bigquery-connection:
    dataset: demo_dataset
    keyfile: ~/path_to_pem_file
    location: asia-northeast1
    method: bigquery_service_account
    project: demo-project
    type: bigquery

SQLまたはPythonのコードに作成したコネクター名を入力しデータを取得します。

{{
    config(
        connection="connection_name"
    )
}}

select * from table_name