試してみたブログ

AI関連・iPhone/Pixelなどのガジェット・音声入力・サーマルプリンタなど興味をある事をどんどん試してみた際の記録

BigQuery

bq/dbtのカラムリネージが出来るかを調査

背景 仕事でbq,dbtの組み合わせで使用している array/struct構造も使っている -dbtのリネージだとテーブルレベルでしか見えない 上流・下流に特定のカラムが流れているかをパッと調査したい 調査してみた dbt-col-lineageがよさそうだったがBQ/struct構造に…

cursorでMCPを使用してBQに接続する

docs.cloud.google.com MCPツールボックスをインストールする curl -O https://storage.googleapis.com/genai-toolbox/v0.25.0/darwin/arm64/toolbox バージョンは下記で確認可能、vを付けるのを忘れず github.com 実行可能権限を付与 'chmod +x toolbox' バ…

BQのクラスタ化で最適化する

背景 毎回ほぼ全テーブルの特定のカラムに対してwhereで区切った上で使用する。 同僚からとても良い方法を教えて貰ったので紹介する。 特定のカラムにwhereで区切っていたの所をクラスタ化すると良いらしい。 docs.cloud.google.com よく使う条件での検索や…