リリースノート一覧
  • 29 May 2023
  • 5 分で読み終わります
  • ダーク
    ライト

リリースノート一覧

  • ダーク
    ライト

Article Summary

本ページでは、毎週のリリースをご紹介しています。

2023-05-29

転送設定

転送元troccoでジョブ実行履歴の転送に対応

転送元troccoから転送ジョブ実行の履歴が転送できるようになりました。
最大で過去1年前までに実行された転送ジョブの履歴データを転送できます。
詳しくは転送元 - troccoを参照ください。

転送先Google Spreadsheetsでデータのソートができるように

転送設定STEP1の詳細設定からデータ順序を設定できるようになりました。
ソートキー名およびソート順を指定して、レコードを並び替えることができます。
詳しくは転送先 - Google Spreadsheetsを参照ください。

転送元Boxでデータ転送時の解凍形式が選択可能に

転送設定STEP1にて解凍形式を選択できるようになりました。
Boxから転送するデータが圧縮されている場合、選択した形式で解凍し転送します。
解凍方式は以下の4つから選択可能です。

  • bzip2
  • gzip
  • tar.gz
  • zip

カスタム変数の埋め込み対応

転送設定とデータマートにて、カスタム変数の埋め込みが可能な入力項目が拡充しました。
実行時に動的に値を埋め込むことができるカスタム変数を、より多くのコネクタ・サービスでご活用いただけるようになりました。

転送設定

  • 転送元Google BigQuery
    • 「一時テーブル作成先データセット」
  • 転送先Amazon S3
    • 「バケット」
  • 転送先Google Cloud Storage
    • 「バケット」
  • 転送先Google BigQuery
    • 「データセット」
  • 転送先FTP・FTPS
    • 「パスプレフィックス」
  • 転送先PostgreSQL
    • 「データベース」「スキーマ」「テーブル」
  • 転送先SFTP
    • 「パスプレフィックス」

データマート

  • Snowflake
    • 「ウェアハウス」「出力先データベース」「出力先スキーマ」

2023-05-22

転送設定

転送元Google Cloud Storageの解凍形式の選択肢が拡充

転送設定STEP1の「解凍形式」の選択肢に「bzip2」と「gzip」が追加されました。
Google Cloud Storageから圧縮されたデータを転送する場合、以下の4つから解凍形式を選択いただけます。

  • bzip2
  • gzip
  • tar.gz
  • zip

転送先FTP・FTPSで転送モードが選択可能に

転送設定STEP1にて「転送モード」を選択できるようになりました。
以下の2つから選択いただけます。

「並列転送」
並列処理を適用して転送を実行します。
「出力ファイル数抑制転送」に比べて、転送時間が短縮されます。
並列処理の都合上、転送元から取得したファイルが複数ファイルに分割されて転送先に送られることがあります。

「出力ファイル数抑制転送」
並列処理を適用せずに転送を実行します。
「並列転送」と異なり、転送元から取得したファイルは分割されずに転送先に送られます。

カスタム変数の埋め込み対応

転送設定とデータマートにて、カスタム変数の埋め込みが可能な入力項目が拡充しました。
実行時に動的に値を埋め込むことができるカスタム変数を、より多くのコネクタ・サービスでご活用いただけるようになりました。

転送設定

  • 転送元Amazon Redshift
    • 「データベース」「スキーマ」
  • 転送元Amazon S3
    • 「バケット」
  • 転送元Azure Blob Storage
    • 「パスプレフィックス」
  • 転送元Box
    • 「フォルダーID」
  • 転送元Google Spreadsheets
    • 「スプレッドシートのURL」
  • 転送元Google BigQuery
    • 「一時テーブル作成先データセット」
  • 転送元Google Cloud Storage
    • 「バケット」
  • 転送元Google Drive
    • 「フォルダID」
  • 転送元PostgreSQL
    • 「データベース」「スキーマ」
  • 転送元Snowflake
    • 「ウェアハウス」「データベース」「スキーマ」
  • 転送先PostgreSQL
    • 「データベース」「スキーマ」「テーブル」
  • 転送先Google BigQuery
    • 「データセット」
  • 転送先Google Drive
    • 「フォルダID」

データマート

  • Google BigQuery
    • 「出力先データセット」

2023-05-15

転送設定

カラム名の一括変換形式に「大文字変換」と「アッパースネークケース変換」を追加

転送設定STEP2のカラム定義にて、カラム名一括変換の変換形式に「大文字変換」と「アッパースネークケース変換」が追加されました。
image.png

転送先Google Ads コンバージョンのカスタム変数の対応

転送先Google Ads コンバージョンの転送設定にて、以下の項目でカスタム変数がご利用いただけるようになりました。

  • お客様ID
  • コンバージョンアクションID

UI・UX

転送設定詳細の固定ヘッダーサイズがスクロールに応じて変更

転送設定詳細画面で下方にスクロールすると、固定ヘッダーの高さが小さくなります。
転送設定内容の表示領域が広くなり、画面上に表示される情報量が増えました。

スクロール前スクロール後
image.pngimage.png

データカタログ

ER図のテーブル論理名の全文表示

これまでテーブル名が長い場合のみ全文表示をしていましたが、論理名が長い場合でもホバー時に全文表示ができるようになりました。

2023-05-08

DWHサービスのカスタム変数対応

DWHサービスでカスタム変数を設定いただくと、ワークフローのカスタム変数ループ実行で柔軟なループ処理が可能になります。
今回カスタム変数の入力に対応した項目は、以下のとおりです。

転送設定

  • 転送先Snowflake
    • ウェアハウス
    • データベース
    • スキーマ
    • テーブル
  • 転送先Redshift
    • データベース
    • スキーマ
    • テーブル
    • Amazon S3バケット
    • Amazon S3キープレフィックス
  • 転送元BigQuery
    • データエクスポート先Google Cloud Storage URI

データマート

  • Redshift
    • データベース
    • スキーマ
    • テーブル

転送設定

転送元Zendesk Supportにて「ページサイズ」の指定が可能に

転送先Zendesk Supportの「ページサイズ」で、1度のリクエストで取得できる件数が指定できるようになりました。

転送先Salesforceのエラーハンドリングの改善

転送先Salesforce転送で送信できなかったレコードが発生した際に、転送ステータスをErrorとすることができるようになりました。

dbt連携

dbtジョブ設定で「ターゲット」と「ロケーション」を指定可能に

dbtジョブ設定で「ターゲット」と「ロケーション」を指定できるようになりました。
「ロケーション」が表示されるのはBigQueryを選択したdbt Gitリポジトリをアダプターとしたdbtジョブ設定のみです。

2023-04-24

UI・UX

サイドバーのユーザビリティ改善

画面左に表示されるサイドバーの階層構造・項目順序を変更しました。
複数ページが存在する機能は項目ごとのまとまりで折りたたみができるようになり、表示中のページの項目は折りたたみが展開されます。

sidebar.png

2023-04-17

転送設定

転送先Yahoo!広告ディスプレイ広告コンバージョン計測API(β版)

転送先Yahoo!広告ディスプレイ広告コンバージョン計測API(β版)が新たに追加されました。
各種入力項目やカラムマッピングについて、詳しくは転送先 - Yahoo!広告ディスプレイ広告コンバージョン計測API(β版)を参照ください。

転送先Snowflake

転送設定STEP1にて、指定された接続情報をもとに、以下リソースに入力できる項目一覧を読み込めるようになりました。

  • ウェアハウス名
  • データベース
  • スキーマ

UI・UX

ワークフローのタスク情報の拡充

ワークフローのタスクに作成者が表示されるようになりました。また、閲覧権限がない場合のメッセージも表示されるようになりました。

2023-04-10

dbt連携

正式版リリース

β版のオプション機能として提供していたdbt連携機能を正式版として公開しました。
これにより窓口担当にお問い合わせいただくことなく本機能をお使いいただけます。
詳しくはdbt連携についてを参照ください。

接続するBigQueryデータセットのロケーション設定

dbtジョブ設定作成・編集画面にて、アダプターとしてBigQueryを選択したdbt Gitリポジトリを選択した場合に、ロケーションを入力できるようになりました。
入力されたロケーションで出力先のデータセットが作成されます。

転送設定

転送先Twitter Ads Webコンバージョン

転送先Twitter Ads Webコンバージョンが新たに追加されました。
各種入力項目やカラムマッピングについて、詳しくは転送先 - Twitter Ads Webコンバージョンを参照ください。

転送元Snowflake

転送設定STEP1にて、指定された接続情報をもとに、以下リソースに入力できる項目一覧を読み込めるようになりました。

  • ウェアハウス名
  • データベース
  • スキーマ

UI・UX

ワークフローのループ実行フォームの視認性向上

ワークフローのループ実行フォームのレイアウトを見直し、削除操作などがしやすくなりました。

2023-04-03

転送設定

転送先LINE Conversion API

転送先LINE Conversion APIが新たに追加されました。
各種入力項目やカラムマッピングについて、詳しくは転送先 - LINE Conversion APIを参照ください。

ワークフロー定義

カスタム変数ループ実行がSnowflakeのクエリに対応

カスタム変数ループ実行が、Snowflakeのクエリに対応しました。
ループ実行におけるカスタム変数の展開値を、Snowflakeのクエリ結果に基づいて設定できます。

APIアップデート

転送元Shopify

  • 上記コネクタに利用しているShopify APIが、2023-01へアップデートされました。
  • 新バージョンについて、Shopify developer documentationのドキュメントを参照ください。

2023-03-27

UI・UX

troccoホーム画面のダッシュボード拡充

  • troccoのホーム画面のダッシュボードにて、ワークフロー定義が表示されるようになりました。
    image.png

2023-03-20

転送設定

転送元Google Search Console

  • 取得するデータをディメンションフィルターでフィルタリングできるようになりました。
    • 転送設定STEP1の詳細を設定するをクリックすると、ディメンションフィルターが表示されます。
    • 現在はpage項目にのみ、対応しています。
      image.png

データカタログ

チーム機能利用時のメタデータ取得ロジックについて

  • データソースに関するメタデータ(例:MySQLに関するメタデータ)は、データカタログ管理者が利用できるtrocco上の接続情報を利用しデータソースに接続することで、取得されます。
  • チーム機能を合わせてご利用の場合は、データカタログ管理者が運用者ロール以上の権限を持つ接続情報のみが利用されます。

本件について、詳しくはカタログデータ・メタデータ取得に関する仕様を参照ください。

UI・UX

コネクタ利用状況の可視化

  • troccoのホーム画面にて、コネクタ利用状況が表示されるようになりました。
    image.png

コネクタ一覧の視認性向上

  • 転送設定作成時のサービス選択画面、およびホーム画面の対応サービス一覧において、各コネクタの表示がわかりやすくなりました。
    image.png

APIアップデート

転送先Facebook コンバージョンAPI

  • 上記コネクタに利用しているFacebook APIが、v14からv15へアップデートされました。
  • 新バージョンについて、Meta for Developersのドキュメントを参照ください。

2023-03-06

おしらせ

troccoの各コネクタの名称について、下記のとおり変更しました。

変更前変更後
Aurora MySQLAmazon Aurora MySQL
Cisco AMPCisco Secure Endpoint
CloudWatch LogsAmazon CloudWatch Logs
DynamoDBAmazon DynamoDB
GitHub(GraphQL)GitHub GraphQL API
MarketoAdobe Marketo Engage
PardotSalesforce Marketing Cloud Account Engagement
SQL ServerMicrosoft SQL Server
Tableau CRMTableau CRM Analytics

2023-02-27

転送設定

転送先Google Analytics 4 Measurement Protocol

転送先Google Analytics 4 Measurement Protocolが新たに追加されました。
各種入力項目やカラムマッピングについて、詳しくは転送先 - Google Analytics 4 Measurement Protocolを参照ください。

2023-02-20

UI・UX

チュートリアルダイアログ

  • はじめてtroccoをお使いのユーザーに、チュートリアル向けのダイアログが表示されるようになりました。
    • ダイアログに沿って3ステップを踏むことで、troccoの基本的な機能を理解いただけます。
    • 本ダイアログは「接続情報の作成」「転送設定の作成」「転送ジョブの実行」の3つのステップが完了すると、非表示となります。

image

各設定内メモのMarkdown記法対応

  • 以下設定のメモ欄について、Markdown記法に対応しました。
    • 転送設定
    • データマート定義
    • ワークフロー定義

転送設定

Microsoft Excelファイル

  • Microsoft Excelファイルを、より高速に転送できるようになりました。
    • ファイル・ストレージ系コネクタにて、入力ファイル形式としてMicrosoft Excelファイルを選択した場合に、値の取得方法を選択できるようになりました。
    • 値の取得方法としてキャッシュ利用を選択することで、これまでよりも高速に転送されます。
キャッシュ利用

カラム設定の値の取得方法にてキャッシュ利用を選択した場合、Microsoft Excelファイルがローカルで保存された時点での値を利用して転送を行います。
そのため、日付/時刻関数(例:TODAY関数)や乱数生成関数(例:RAND関数)といった都度計算結果が変化する関数は、転送実行時に再計算されません。ご注意ください。

転送実行時にセル内の数式を再計算する必要がある場合は、転送時再計算を選択してください。

データカタログ

メタデータインポート

  • メタデータインポートに用いるCSVファイルについて、画面上からテンプレートファイルをダウンロードできるようになりました。
    • お使いのデータカタログに合わせて、あらかじめヘッダー行が記載されたCSVファイルがダウンロードできます。
    • 詳しくは、メタデータインポートを参照ください。

ワークフロー定義

フロー画面

タスクを複数選択して、まとめて移動できるようになりました。

クエリ結果でループ実行時のエラー表示

Google BigQueryのクエリ結果でループAmazon Redshiftのクエリ結果でループにて記述したクエリの実行が失敗した場合に、その旨エラーメッセージが表示されるようになりました。

マネージドデータ転送

ラベル設定

  • マネージド転送設定作成後にも、ラベルの一括取り付け・取り外しができるようになりました。
    • マネージド転送設定の詳細画面および編集画面、いずれの画面からも一括取り付け・取り外しができます。

接続情報

Google BigQuery

認証方式にGoogleアカウント(OAuth)を選択したときに指定するプロジェクトIDについて、選択できるプロジェクト一覧を読み込めるようになりました。

APIアップデート

転送元Google Ads

Google Ads APIのバージョンが、v11からv12へアップデートされました。
新バージョンについて、Google Ads APIのドキュメントを参照ください。

2023-02-13

マネージドデータ転送

転送元Salesforceが追加

  • 転送元にSalesforceが追加されました。
    • 接続情報に紐づくすべてのオブジェクトに対し、転送設定を一括作成できます。

2023-02-06

おしらせ

転送元LINE広告

スクレイピングを利用したコネクターの提供終了

2023年02月01日00時をもって、スクレイピングを利用した転送元 - LINE広告(廃止予定) の提供を終了しました。
以降、転送元 - LINE広告(廃止予定) の転送設定を用いてジョブを実行しても、エラーとなります。

今後新たに転送設定を作成される場合は、LINE広告APIを利用した転送元 - LINE広告をお使いください。

ワークフロー定義

Google BigQueryデータチェック

  • 実行ログに、ジョブIDが表示されるようになりました。
    image

2023-01-23

データカタログ

  • Snowflake版のデータカタログ機能が公開されました。
    • Snowflakeアカウントに紐づくデータに対して、データカタログを作成できます。
    • 一部、Snowflake版では対応しない機能があります。詳しくは、各データストア対応機能一覧を参照ください。

ワークフロー定義

  • ワークフロー定義を複製できるようになりました。
    • ワークフロー定義詳細画面右上の、ハンバーガーメニューより複製できます。
      image.png

APIアップデート

転送先Facebook オフラインコンバージョン

  • 上記転送先に利用しているFacebook APIが、v14からv15へアップデートされました。
  • 新バージョンについて、Meta for Developersのドキュメントを参照ください。

2023-01-16

転送設定

転送元Google Ads

  • 取得できるリソースタイプ(レポート種別)として、以下が追加されました。
    • ad_group_asset
    • customer_asset

dbt連携

  • 対応バージョンが、v1.2からv1.3へアップデートされました。

データカタログ

  • テーブル情報画面に、カラム参照一覧へのリンクが追加されました。
    • リンクをクリックすると、該当テーブル内に定義されているカラム参照の一覧が表示されます。
    • カラム参照について、詳しくはカラム参照を参照ください。

2023-01-10

APIアップデート

転送元Facebook Ad Insights

  • 上記転送元に利用しているFacebook APIが、v14からv15へアップデートされました。
  • 新バージョンについて、Meta for Developersのドキュメントを参照ください。

接続情報

PostgreSQL

  • PostgreSQLサーバーに接続するJDBCドライバーのバージョンを選択できるようになりました。
    • ご利用のPostgreSQLのバージョンに合わせて、ドライバーのバージョンを選択してください。
      • PostgreSQL 8.2以上の場合:JDBC Driver 42.5.1
      • PostgreSQL 8.2未満の場合:9.4 1205 JDBC 41

2022-12-26

APIアップデート

転送元Facebookリード広告・転送元Facebook Ads クリエイティブ

  • 上記転送元に利用しているFacebook APIが、v14からv15へアップデートされました。
  • 新バージョンについて、Meta for Developersのドキュメントを参照ください。

ワークフロー定義

  • ワークフロージョブ詳細画面にて、各タスクの実行ログをかんたんに表示できるようになりました。
    • フロー上にあるタスクをクリックすることで、タスクの実行ログが表示されます。

2022-12-19

おしらせ

転送元LINE広告

LINE広告APIを利用したデータ抽出

先日、LINE株式会社よりAPIによる広告データの抽出方法が公開されました。
上記に伴い、troccoでは新たに、LINE広告APIを利用したコネクターの提供を別途開始しました。

詳細については、転送元 - LINE広告を参照ください。

その他UI・UX

通知設定

  • 以下ジョブに関する通知について、ジョブがスキップされた場合にも、その旨通知が送信されるようになりました。
    • 転送ジョブ
    • シンクジョブ
    • ワークフロージョブ

マネージドデータ転送

  • マネージド転送設定がどのワークフローで利用されているか、簡単に確認できるようになりました。
    • マネージド転送設定詳細画面の、この設定が利用されているワークフローの配下にて、該当のマネージド転送設定を組み込んでいるワークフローの一覧が表示されます。

2022-12-12

接続情報

Amazon S3

  • IAMロールによる認証を用いたAmazon S3への接続に対応しました。
    • trocco上にAWSアクセスキーおよびAWSシークレットキーを配置せずとも、Amazon S3に接続できます。
    • Amazon S3接続情報にて、AWS認証方式としてIAMロールを選択できます。

転送設定

転送元AppsFlyer

  • 転送元AppsFlyerが新たに追加されました。
    • 取得可能なレポート種別、フィールド、各種制約等、詳しくは転送元 - AppsFlyerを参照ください。

転送先HubSpot

  • コンタクトのサブスクリプションの更新に対応しました。

その他UI・UX

チーム機能

  • リソースグループ詳細画面にて、「dbtジョブ設定」および「dbtリポジトリ」の表示に対応しました。

2022-12-05

転送設定

転送先Box

  • 転送先Boxが新たに追加されました。
    • フォルダのパスを指定することで、Boxにファイルを転送できます。

ワークフロー定義

  • ワークフローに組み込まれた子ワークフローをループ実行できるようになりました。
    • フロー編集画面でワークフローをタスクとして追加し、タスク編集を行うことでループ実行を設定できます。

その他UI・UX

転送設定一覧

  • 転送設定一覧にて、選択した転送設定から一括でスケジュールを削除できるようになりました。

データカタログ

  • データカタログのクエリエディタの幅を変更できるようになりました。
    • サイドバーの境界線をドラッグして左右に動かすことで、お好きな幅に変更できます。

2022-11-28

接続情報

MongoDB

  • MongoDBのreplica setに対して、読み込みたいノード(メンバー)を選択できるようになりました。
    • 「読み込み設定」にて、以下の5つの項目から選択できます。
      • primary
      • primaryPreferred
      • secondary
      • secondaryPreferred
      • nearest
    • 読み込み設定について、詳しくはヘルプドキュメントを参照ください。

転送設定

転送元TikTok Ads

  • 取得されるディメンションが拡充されました。今回対応したディメンションは下記のとおりです。
    • Basic data metrics
      • reach
      • frequency
      • result
    • Video play metrics
      • video_watched_2s
      • video_watched_6s
      • average_video_play
    • Page Event Metrics
      • web_event_add_to_cart
      • on_web_order
      • initiate_checkout
      • add_billing
      • page_event_search

2022-11-21

APIアップデート

Twitter Ads

  • APIバージョンが、v11からv12へアップデートされました。
  • 新バージョンについて、詳しくはTwitter Developersのドキュメントを参照ください。

Facebook オフラインコンバージョン

  • 転送先Facebook オフラインコンバージョンに利用しているFacebook APIが、v14からv15へアップデートされました。
  • 新バージョンについて、Meta for Developersのドキュメントを参照ください。

転送設定

転送先HubSpot

  • 転送先の対象となるオブジェクトタイプが拡充されました。今回追加されたオブジェクトタイプは下記のとおりです。
    • company
    • deal
    • product
    • ticket
    • line_item
    • quote
  • 転送モードに追記 (INSERT) が追加されました。
  • 転送モードのUPSERTについて、UPSERTキーを指定できるようになりました。

転送先・転送元Google BigQuery

  • 「データセットのロケーション」にて、以下3つのロケーションを新たに選択できるようになりました。
    • europe-west8 (ミラノ)
    • europe-west9 (パリ)
    • europe-southwest1 (マドリッド)

転送先Snowflake

  • json型のカラムが、デフォルトでVARIANT型として取り込まれるようになりました。
    • これまでjson型のカラムは、VARCHAR型で取り込まれていました。
    • これまで同様にjson型のカラムをVARCHAR型で取り込みたい場合は、以下の設定を行ってください。
      • STEP2・出力オプションの「カラム設定」にて、データ型としてVARCHARを選択する。

その他UI・UX

転送設定一覧

  • 転送設定一覧にて、選択した転送設定に一括でスケジュールを追加できるようになりました。

データカタログ

  • データカタログのサイドバーの幅を変更できるようになりました。
    • サイドバーの境界線をドラッグして左右に動かすことで、お好きな幅に変更できます。

チーム機能

  • リソースグループ詳細画面の接続情報一覧にて、接続情報のサービス名が各接続情報に紐づく形で表示されるようになりました。

2022-11-14

データマート

  • データマート - Snowflakeにて、「名前にハイフンを含む」データベースへの出力に対応しました。
    • クエリ実行モードでデータ転送モードを選択したときに、出力先データベースにて「名前にハイフンを含む」データベースを指定できるようになりました。

2022-11-07

APIアップデート

Yahoo!広告

APIバージョンが、v8からv9へアップデートされました。
新バージョンについて、詳しくはAPIリファレンスを参照ください。

転送設定

転送元Google Drive

  • 共有ドライブ上にあるファイルも転送できるようになりました。

転送先Google Drive

  • 共有ドライブ上にあるフォルダにも転送できるようになりました。

dbt連携

  • ジョブ設定の実行コマンドとしてdbt run-operationが追加されました。
    • マクロ名を入力することで、マクロを呼び出すことができます。

2022-10-24

ワークフロー

  • ワークフロー上のジョブのループ実行を、Amazon Redshiftのクエリ結果に基づいて行えるようになりました。
    • ループ実行におけるカスタム変数の展開値を、Amazon Redshiftのクエリ結果に基づいて設定できます。
    • 展開したいテーブルの値をAmazon Redshiftのテーブルに格納しておくことで、展開値が実行のたびに変動するようなワークフローを定義できるようになります。

データカタログ

  • 基本メタデータの値を、CSVファイルを用いてインポートできるようになりました。
    • データカタログ設定の「メタデータインポート」からインポートすることができます。
    • 詳しくは、メタデータインポートを参照ください。

2022-10-17

接続情報

  • Oracle Autonomous Databaseへの接続に対応しました。
    • Oracle Database接続情報の「接続方法」にて、tnsnames.oraファイルを使用するを選択したときに、ウォレットファイルをアップロードできるようになりました。
    • ウォレットファイルをアップロードすることで、Oracle Autonomous Databaseへの接続が可能となります。

データカタログ

  • 要約統計情報について、日付・時刻に関する型の最小値・最大値を表示するようになりました。
    • 要約統計情報は、カラム情報やプレビューなどで確認できます。

2022-10-11

転送設定

  • 転送先BigQueryのSTEP2・出力オプションで対応している分割テーブルについて、より細かい時間単位でテーブルを分割できるようになりました。
    • 変更前は、日付単位での分割にのみ対応していました。
    • 今回の変更で、テーブル分割の単位を以下の4つから選べるようになりました。
      • 1時間ごと
      • 1日ごと
      • 1ヶ月ごと
      • 1年ごと

2022-10-03

接続情報

  • PostgreSQL接続情報にて、AWS Systems Manager Session Manager経由での接続に対応しました。

転送設定

  • ファイル・ストレージ系コネクタにて、入力ファイル形式としてMicrosoft Excelファイル(xlsxおよびxls)に対応しました。
    対応したコネクタは以下のとおりです。
    • 転送元 - Amazon S3
    • 転送元 - Azure Blob Storage
    • 転送元 - Box
    • 転送元 - FTP・FTPS
    • 転送元 - Google Cloud Storage
    • 転送元 - Google Drive
    • 転送元 - HTTP(S)
    • 転送元 - SFTP
    • 転送元 - ローカルファイル

ワークフロー

  • ワークフロー失敗時の自動リトライについて、次回リトライ実行までの時間間隔を指定できるようになりました。
    • ワークフロー設定画面でリトライ回数を1以上に指定したときに、時間を指定できます。

データカタログ

  • troccoのデータマート機能を利用して生成したカラムについて、生成元カラムのデータソースに関するメタデータを自動で引き継げるようになりました。
    ただし、メタデータを自動で引き継ぐためには以下の条件があります。
    • データマート定義上で、カラムの値に加工を加えていない。
    • データマート定義のクエリ実行モードとして、データ転送モードを用いている。

2022-09-20

APIアップデート

Google Ads

マネージド転送設定

  • マネージド転送設定の編集画面が拡充されました。
    • 登録されている転送設定の転送元・転送先に関する設定や、共通設定を一括で変更できるようになりました。

その他UI・UX

転送設定一覧

  • 通知設定の有無で、転送設定を絞り込みできるようになりました。
  • スケジュール設定の有無で、転送設定を絞り込みできるようになりました。
  • 選択した転送設定に付けられているラベルを、一括で取り外せるようになりました。

2022-09-12

APIアップデート

Yahoo!広告

  • APIバージョンが、v8にアップデートされました。
    • APIアップデートにより、旧指標は廃止されました。
    • 今後はカラム名に「(旧)」を含むカラムが指定されている場合、自動的に新カラムが取得されます。
  • 新バージョンについて、詳しくはYahoo!広告 API v8 システムリリース完了のお知らせを参照ください。

Criteo

  • APIバージョンが、v2022.07にアップデートされました。
  • 新バージョンについて、詳しくはVersion 2022.07 release notesを参照ください。

データカタログ

  • テーブル情報タブにて、クエリエディタを開くボタンが追加されました。
    • ボタンをクリックすると、クエリエディタが立ち上がります。
    • テーブル情報タブで開いていたテーブルがFROM句に指定された状態のクエリが表示されます。
  • データカタログ設定にて、Googleアカウントの再認証ができるようになりました。

2022-09-05

転送設定

  • 転送元としてtroccoが追加されました。
    • troccoのデータカタログで保持している、「ユーザー定義メタデータ」および「カラム参照一覧」に関するデータを転送することができます。
  • 転送先Marketoにて、静的リストIDを指定できるようになりました。

マネージド転送設定

  • テーブル増減検知のSlack通知内容に、検知したテーブルの名前も含まれるようになりました。
    • これまでは追加・削除されたテーブルの件数を表示していました。
    • 今後は追加・削除されたテーブルの件数に加えて、テーブルの名前も表示されます。

dbt連携

  • ジョブ設定の実行コマンドのオプション値にて、カスタム変数をご利用いただけるようになりました。

データカタログ

  • 「ユーザー定義メタデータ」の値をMarkdownエディタで編集いただけるようになりました。
    • フィールドの値をMarkdownエディタで編集したいときは、「ユーザー定義メタデータ用テンプレート」のデータ型にて「Text(Markdown)」を指定してください。
  • 「テーブル情報」配下のプレビューにて、カラム名の直下に論理名が表示されるようになりました。

その他UI・UX

  • アカウント・ユーザー画面にて、各ユーザーの認証方式をご確認いただけるようになりました。
    • 2段階認証およびSAML認証がそれぞれ有効かどうかをご確認いただけます。

2022-08-29

おしらせ

  • HubSpot APIキーは、2022年11月30日以降、HubSpot APIにアクセスするための認証方法として使用できなくなります。
    • 今後、認証方式としてはOAuth 2.0をお使いください。
    • 詳しくは、公式ドキュメントを参照ください。

転送設定

  • 転送設定 STEP2「データプレビュー・詳細設定」のフィルター設定にて、フィルター値にカスタム変数をご利用いただけるようになりました。
  • 転送元HTTP(S)にて、HTTPヘッダのキー・値にカスタム変数をご利用いただけるようになりました。

データカタログ

  • 基本メタデータ項目「説明」欄の編集時に、Markdownエディタをご利用いただけるようになりました。
  • クエリエディタにて、クエリの実行結果をCSV形式でダウンロードいただけるようになりました。
    • ダウンロードできるデータは最大10MBで、サイズ上限を超えた行は切り捨てられます。

マネージド転送設定

マネージド転送設定について、詳しくは2022年8月のリリースノートにて紹介いたします。

その他UI・UX

  • 転送設定一覧にて、絞り込みの項目に「作成者」を追加しました。
    • 選択したユーザーが作成した転送設定に絞って、一覧表示することができます。
  • 転送設定一覧にて、 絞り込みの項目「名前(部分一致)」がAND検索に対応しました。
    • スペースで区切って入力することで、AND検索することができます。
  • 転送設定一覧にて、選択した転送設定に一括でラベルを追加できるようになりました。

2022-08-22

dbt連携

  • dbt GitリポジトリのアダプターにSnowflakeおよびRedshiftが追加されました。

データカタログ

  • trocco基本メタデータ設定が追加されました。
    • trocco側で規定する基本メタデータ項目「論理名」および「説明」について、カラム一覧に表示するかどうかを選択できるようになりました。

2022-08-08

転送設定

  • 転送元Marketoのターゲットで、フォルダーを選択できるようになりました。
  • 転送先としてHubSpotが追加されました。
    • Contactオブジェクトに対応しています。今後、対応するオブジェクトは追加される予定です。
  • 転送元Twitter Adsでレポート種別にline_itemを選択したとき、転送内容にcampaign_idを含めるようになりました。

dbt連携

  • dbt連携機能がリリースされました。
    • OSS版dbtの実行環境と、GitHub連携を提供しています。
    • ETLからデータモデリングの流れを、troccoワークフロー機能上に定義することができます。
    • 今後のリリース予定等、詳しくはプレスリリースを参照ください。

2022-08-01

転送設定

  • 転送元Marketoのターゲットで、プログラムメンバーを選択できるようになりました。
  • 転送先BigQueryのSTEP2・出力オプションで、カラム設定のデータ型にNUMERIC型を選択できるようになりました。

2022-07-25

ワークフロー

  • ワークフローが失敗した際に、自動リトライが行えるようになりました。
    • ワークフロー設定画面で、自動リトライを行う回数を指定することができます。

2022-07-19

転送設定

  • 転送先としてGoogle Driveが追加されました。
  • 転送元・転送先でBigQueryを選択したとき、データセットのロケーションで指定できるリージョンを更新しました。

データマート

  • データマート定義でBigQueryを選択したとき、データ処理ロケーションで指定できるリージョンを更新しました。

データカタログ

  • troccoオリジナルメタデータを設定できるようになりました。
    • ユーザー定義メタデータとは別に、trocco側で既定のメタデータを設定する枠を設けました。

その他UI・UX

  • 転送設定・データマート定義・ワークフロー定義・各種アカウント設定の全画面が英語でご利用いただけるようになりました。

2022-07-11

転送設定

  • 転送元Shopifyにて、ターゲットにtransactionオブジェクトを指定できるようになりました。
    • transactionオブジェクトに格納されているデータを取得できるようになりました。
  • 転送元Marketoにて、ターゲットにスタティックリスト別リードを指定したとき、取得したいリストIDを指定できるようになりました。

ワークフロー

  • 入れ子のワークフローが途中で失敗した場合、再実行時に子ワークフローの停止位置から再実行するようになりました。

データカタログ

  • ユーザー定義メタデータ用テンプレートで、カラム一覧に表示するフィールドを複数選択できるようになりました。
    • データカタログのカラム情報で、ユーザー定義メタデータ用テンプレート編集画面で設定した順番通りに表示されます。
  • troccoのデータマートで作成されたBigQueryのテーブルに対し、一次テーブルのメタデータを引き継げるようになりました。
    • メタデータを引き継いだテーブル間では、カラムベースのリネージを表示できるようになりました。

2022-07-04

転送設定

  • 転送元にてCDCを使用している場合、一括で5回までリトライするようになりました。
    • binlog転送フェーズでエラーが発生した場合、自動で5回までリトライします。

データカタログ

  • クエリエディタで、ON句にサジェストが表示されるようになりました。
    • データカタログに登録されている依存関係をもとに条件のサジェストが表示されます。

2022-06-27

ワークフロー

  • ワークフロータスクにtrocco一括登録が追加されました。
    • 一括登録に紐づく転送設定を一括で実行することができます。

2022-06-20

転送設定

  • 転送元Shopifyにて、ターゲットにMetafieldを指定できるようになりました。
    • Metafieldリソースに格納されているデータを取得できるようになりました。

データカタログ

  • データカタログ画面でタブ情報をURLに保持するようになりました。
    • タブを遷移してブラウザバックで元の画面に戻ったときに、遷移前の箇所に戻れるようになりました。

2022-06-06

転送設定

  • 転送元Google Ad Managerにて、最上位の広告ユニットを表示するか全ユニットを表示するか指定できるようになりました。
    • 子、孫広告単位の深い階層のレポートも取得できるようになりました。

データマート

  • データマート定義にて、Redshiftで自由記述モードが追加されました。
    • RedshiftのDWHに対して、DDL文など任意のクエリを発行していただくことが可能です。

2022-05-30

データマート

  • データマート定義にて、Snowflakeで自由記述モードが追加されました。
    • SnowflakeのDWHに対して、DDL文など任意のクエリを発行していただくことが可能です。

2022-05-23

転送設定

  • 転送先Google Ads コンバージョンに拡張コンバージョンを追加しました。
    • これまでtroccoでは、転送先Google Adsとしてオフラインコンバージョンのみ対応していましたが、拡張コンバージョンにも対応しました。
    • それに伴い、「転送先Google Ads オフラインコンバージョン」は、「転送先Google Ads コンバージョン」と名称を変更しました。
  • 転送元ローカルファイルにて、STEP1で文字コードを指定できるようになりました。
  • 転送元Facebook Ads Insightsにて、レポートテンプレート機能が使えるようになりました。
    • 転送元Facebook Ads Insightsの転送設定編集画面STEP1で、レポート種別ごとに主なフィールドをテンプレートで取得できるようになりました。

データマート

  • BigQueryでのデータマート定義で自由記述モードを使用した際に、データ処理ロケーションを指定できるようになりました。
    • これまでクエリの対象はUSリージョンのみでしたが、対象データセットのリージョンを指定できます。

その他UI・UX

  • データマート定義一覧画面、ワークフロー定義一覧画面で最大50件まで定義情報を表示できるようになりました。

2022-05-16

転送設定

  • 転送元Shopifyにて、カスタムアプリに対応しました。

    • Shopifyの接続情報作成についても、カスタムアプリを選択できるようになりました。
  • 転送先としてZoho CRMが追加されました。

  • 転送設定一覧画面で最大50件まで転送設定を表示できるようになりました。

データカタログ

  • クエリディタにて、BigQueryのスキャン量を表示できるようになりました。
    • 同時に、無効なクエリを発行するとエラー箇所を返されるようになりました。

2022-05-02

転送設定

  • 転送元AmazonS3にて、解凍設定としてtar.gz形式が選択可能になりました。
    • tar.gz形式で解凍する場合は、解凍後の相対パスを正規表現で設定可能になりました。

データカタログ

  • ユーザー定義メタデータ更新時に、インデックスも同時に更新するようになりました。
    • ユーザー定義メタデータを更新すると同時に検索にヒットするようになりました。

2022-04-25

ワークフロー

  • ワークフローのタスク種別ごとにアイコンを分けました。
    • フロー上のタスクが何を表しているのか、直感的にわかりやすくなりました。

データカタログ

  • クエリエディタにて、前回起動時に選択していたプロジェクトをそのまま利用できるようになりました。
    • 主に利用しているプロジェクトを、クエリエディタ起動のたびに選択する必要がなくなりました。
  • テーブル・カラムの依存関係を表示・削除できるようになりました。
  • メタデータ収集対象にPostgreSQLが追加されました。

2022-04-18

転送設定

  • 転送元としてRtoaster insight+ Googleアカウント連携が追加されました。
    • Rtoaster insight+ Googleアカウント連携を指定して、データ転送が行えるようになりました。
    • 転送元にRtoaster insight+ Googleアカウント連携を使用する場合は、お客様のGoogleアカウントをRtoaster insight+に追加する必要があります。
      Rtoaster insight+に追加する方法は、こちらのヘルプページを参照ください。

データカタログ

  • 登録したユーザー定義メタデータを画面上部検索バーより検索できるようになりました。
    • ユーザー定義メタデータに文字列型のフィールドがある場合、そのフィールド内の値を検索できます。
      (例:テーブルの「論理名」メタデータに「売上」という値を保存していた場合、検索バーで「売上」と入力すると、検索結果に表示されるようになりました。)
  • 検索時に「検索結果」画面に遷移し、詳細な情報の確認やフィルタ・ソートを行うことができるようになりました。

2022-04-11

転送設定

  • 転送元としてZohoCRMが追加されました。
    • ZohoCRM専用のSQLライクなクエリ(COQL)を用いてデータを抽出し転送することが可能となりました。
  • トリガージョブ機能を非推奨とする文言を追加しました。
    • GUIで操作でき、より柔軟な依存関係を定義できる、ワークフロー機能への移行をお願いいたします。

データカタログ

  • クエリエディタで、クエリの保存および保存したクエリの読み込みができるようになりました。

2022-04-04

接続情報

  • Oracle Database接続情報にて、SSH接続に対応しました。
  • HubSpot接続情報にて、認証方式としてOAuth2.0が選択できるようになりました。

転送設定

  • 転送元HubSpotにて、項目「パイプライン」、「パイプラインステージ」、「担当者」が取得できるようになりました。
    • 「deal」と「ticket」のパイプラインと、パイプラインステージのリストを取得できるようになりました。

セキュリティ

  • 転送設定などでデータプレビューを行う際に、troccoサービス内部にプレビュー内容を保存(永続化)するかを選択できるようになりました。
    • この機能を有効にした場合、設定完了後の一定時間経過後にプレビュー内容が自動削除されるため、よりセキュアにご利用いただけます。

2022-03-28

転送設定

  • 転送先kintoneにて、転送モードに「update」、「upsert」が追加されました。
    • kintoneに対してより柔軟にデータ連携を行うことが可能となりました。
  • 転送元RTB Houseにて、項目「subCampaignId」、「subCampaginName」が取得できるようになりました。
  • 転送元Salesforceにて、削除済み・アーカイブ済みレコードが取得できるようになりました。
    • 1年以上前に作成された(アーカイブされた)Task, Eventオブジェクトのレコードも取得可能となりました。

データカタログ

  • 任意のデータセット配下のシャーディングテーブルがまとめて表示されるようになりました。
  • クエリエディタの補完機能が強化され、より活用しやすいようになりました。
    • 入力したテーブルに関するメタデータや、入力した関数の利用方法などがサジェストされるようになりました。

2022-03-21

データマート

  • Snowflakeにて、接続情報の指定に誤りがあった場合のエラーメッセージがわかりやすくなりました。

その他UI・UX

  • データソースとして記載されている「FTP」が「 FTP・FTPS」、「 HTTP」が「HTTP(S)」に変更となりました。
    • 機能自体に変更はございません。UIの表記を機能に合わせた形となります。

2022-03-14

転送設定

  • 転送元Facebook Ads クリエイティブにて、広告アカウントIDがサジェストされるようになりました。
  • 転送先Google Spreadsheetsにて、転送モードに「全件洗い替え (既存シート引き継ぎ)」が追加されました。
    • 対象シートに直接転送内容を反映するため、Googleデータポータル等での参照切れが発生しないようになりました。
  • 転送先Snowflakeにて、転送ジョブ成功時、Snowflake上にステージが残らないようになりました。

データカタログ

  • メタデータ収集対象にkintoneが追加されました。

この記事は役に立ちましたか?