Qlik TECH TALK セミナー：Qlik Talend CloudのSnowflakeデータ連携ベストプラクティス

00:54:57
https://www.youtube.com/watch?v=qX8B5EEwyH4

摘要

TLDRThe video features a tech talk by Nakajima from Qlik Tech, discussing best practices for integrating Qlik Cloud with Snowflake. It covers the Click Talent Cloud's data integration capabilities, focusing on Change Data Capture (CDC) for real-time data transfer. Key topics include connection settings, authentication methods, performance optimization strategies, and common troubleshooting tips. The session also includes a Q&A segment addressing participant inquiries about task management, authentication, and upcoming events related to Qlik products.

心得

  • 🎤 Tech talk hosted by Nakajima from Qlik Tech.
  • 📊 Focus on data integration between Qlik Cloud and Snowflake.
  • 🔄 Discusses Change Data Capture (CDC) for real-time data transfer.
  • 🔑 Key pair authentication is recommended for security.
  • ⚙️ Performance optimization tips include adjusting file sizes and batch intervals.
  • 📅 Upcoming webinars and user meetups are planned.
  • 📚 More resources available on Qlik's help site and community.
  • ❓ Q&A session addresses common integration issues.
  • 👥 Use a dedicated Snowflake user for better management.
  • 🔍 Check logs for troubleshooting data integration problems.

时间轴

  • 00:00:00 - 00:05:00

    The webinar begins with Nakajima from Qlik Tech introducing the topic of best practices for data integration with Snowflake using Qlik Cloud. The series focuses on technical information related to Qlik products and is held weekly on Tuesdays. Participants are encouraged to ask questions via the Zoom Q&A feature, which will be addressed during the session and included in follow-up materials.

  • 00:05:00 - 00:10:00

    The session will cover Qlik Cloud's data integration capabilities, specifically focusing on Change Data Capture (CDC) for near real-time data integration with Snowflake. The speaker will first review what Qlik Cloud's data integration entails and its role in data management, including ETL and ELT processes.

  • 00:10:00 - 00:15:00

    Qlik Cloud offers a suite of data management features, including ETL and ELT options. The focus of today's discussion is on Qlik's data integration function, specifically the ELT method. The speaker will discuss best practices for effectively integrating data with Snowflake, including performance optimization and configuration tips.

  • 00:15:00 - 00:20:00

    The speaker highlights the importance of authentication methods when connecting to Snowflake, recommending key pair authentication for security. Participants are advised to ensure that the Snowflake user is properly set up with the necessary permissions for data integration tasks.

  • 00:20:00 - 00:25:00

    Common issues encountered during data connection setup are discussed, including the need for appropriate database permissions for the Snowflake user. Specific permissions required for CDC tasks are outlined, emphasizing the importance of granting only necessary permissions for security purposes.

  • 00:25:00 - 00:30:00

    The session covers the use of the Data Movement Gateway for accessing data sources and targets, explaining how to configure it for both source and target connections. The speaker emphasizes the need for proper driver setup and the importance of ensuring that the gateway can access Snowflake and its internal stages.

  • 00:30:00 - 00:35:00

    The speaker discusses session parameters for maintaining client sessions in Snowflake, particularly the 'Client Session Keep Alive' parameter, which can prevent session timeouts during idle periods. This setting is optional but can help avoid authentication errors during long periods of inactivity.

  • 00:35:00 - 00:40:00

    The session transitions to performance optimization strategies for data integration tasks, including scheduling and the use of live views for real-time data access. The speaker emphasizes the importance of balancing data freshness with resource costs when scheduling tasks.

  • 00:40:00 - 00:45:00

    The speaker discusses various performance tuning techniques, such as increasing file sizes for data uploads and adjusting batch processing intervals to improve efficiency. Recommendations for optimizing transaction processing and memory usage are also provided.

  • 00:45:00 - 00:54:57

    The session concludes with a summary of best practices for using Qlik Cloud with Snowflake, including the importance of keeping the Data Movement Gateway updated and monitoring performance through logs and query histories. Participants are encouraged to refer to Qlik's help site and community resources for further information.

显示更多

思维导图

视频问答

  • What is the main topic of the tech talk?

    The main topic is best practices for data integration between Qlik Cloud and Snowflake.

  • What is CDC in the context of this talk?

    CDC stands for Change Data Capture, which allows near real-time data transfer from source databases to Snowflake.

  • What authentication methods are recommended for connecting to Snowflake?

    Key pair authentication is recommended for better security.

  • How can performance be optimized during data integration?

    By adjusting file sizes, batch processing intervals, and using parallel task execution.

  • Is there a way to manage tasks efficiently in Qlik Cloud?

    Yes, Qlik Cloud provides a project management interface to monitor and manage tasks.

  • Are there any upcoming webinars or events related to Qlik?

    Yes, there are several upcoming webinars and user meetups planned.

  • Where can I find more information about Qlik's products?

    You can visit Qlik's help site and community for detailed information and resources.

  • Can I change default parameters for batch processing in Qlik?

    Currently, there is no feature to change default parameters at the account level.

  • What is the significance of using a dedicated Snowflake user for Qlik?

    Using a dedicated user helps in managing permissions and optimizing performance.

  • What should I do if I encounter issues during data integration?

    Check the logs in Qlik and Snowflake to diagnose and resolve issues.

查看更多视频摘要

即时访问由人工智能支持的免费 YouTube 视频摘要！
字幕
ja
自动滚动:
  • 00:00:00
    [音楽]
  • 00:00:04
    はい。え、ではお時間になりましたので、
  • 00:00:07
    え、クリックテックトーク始めさせて
  • 00:00:09
    いただきます。え、私クリックテックの、
  • 00:00:12
    え、中島が本日はお送りします。え、本日
  • 00:00:16
    のテーマは、え、クリックタレンド
  • 00:00:17
    クラウドの、え、スノーフレークへの
  • 00:00:20
    データ連携、え、に関するtheベスト
  • 00:00:24
    プラクティス、ま、テクニックtipsと
  • 00:00:26
    いったところをご紹介してまいります。
  • 00:00:31
    え、こちらのテックトークウェビナー
  • 00:00:33
    シリーズは、え、クリックの製品であっ
  • 00:00:35
    たり、機能といったところから、え、毎回
  • 00:00:39
    1つテーマを取り上げて、え、深掘りをし
  • 00:00:41
    て技術的な情報を、え、え、配信している
  • 00:00:45
    セミナーでございます。え、毎週大体
  • 00:00:48
    火曜日にですね、え、実施しております。
  • 00:00:52
    え、セミナーに関する質問に関しましては
  • 00:00:56
    、え、Zoomの、え、Q&Aのアイコン
  • 00:00:59
    からテキストで、え、入力、入力をして
  • 00:01:02
    ください。え、私以外にも、え、クリック
  • 00:01:05
    のパネラーがウェビナーに参加しており
  • 00:01:08
    ますので、え、随時テキストで、え、回答
  • 00:01:11
    の方をいたします。寄せられた質問と回答
  • 00:01:15
    につきましては、ウェビナーの最後に他の
  • 00:01:18
    参加者の皆様に、え、時間の許す限り、え
  • 00:01:21
    、私の方から、え、高等でも共有をさせて
  • 00:01:25
    いただきます。え、それから、え、寄せ
  • 00:01:27
    られた質問と回答については、え、後日
  • 00:01:30
    配布される資料の中にもですね、完末の方
  • 00:01:33
    に記載をさせて、え、記載をいたします。
  • 00:01:39
    え、本日の、え、テーマですが、え、
  • 00:01:41
    クリックタレンド、え、クラウドの中の、
  • 00:01:43
    え、クリックタレンドデータ
  • 00:01:44
    インテグレーションという、機能を使って
  • 00:01:46
    、え、ま、CDCですね、え、ニアリアル
  • 00:01:50
    タイムのデータ連携、ま、これをスノー
  • 00:01:51
    フレーク上に行っていく時の、ま、注意点
  • 00:01:53
    というのをお話ししていくということに
  • 00:01:55
    なります。
  • 00:01:57
    え、そこでまず最初にですね、クリック
  • 00:01:59
    タレンドデータインテグレーションって何
  • 00:02:01
    だっけというところから、え、全体の、え
  • 00:02:04
    、全体の、え、話からですね、え、少し
  • 00:02:07
    復習をしていきたいと思います。
  • 00:02:11
    え、弊車ですね、今クリッククラウドと
  • 00:02:13
    いう、ま、クラウドのプラットフォームで
  • 00:02:15
    、え、主にクラウド製品、サ数型の製品と
  • 00:02:17
    いうのを展開して、え、おります
  • 00:02:20
    。え、そのうちですね、え、ま、データ
  • 00:02:23
    統合からデータ分析まで、え、エンド
  • 00:02:26
    エンドでですね、データ活用をご支援
  • 00:02:28
    できるんですけれども、え、そのうち
  • 00:02:30
    データ統合やデータ品質といった、え、
  • 00:02:33
    どちらかというと、こうデータ、え、
  • 00:02:35
    マネジメントよりの製品ですね、え、機能
  • 00:02:37
    につきましては、え、クリックタレンド
  • 00:02:40
    クラウドというライセンスで、え、提供し
  • 00:02:43
    ておりまして、ま、このクリックタレント
  • 00:02:45
    クラウドというですね、これが、ま、え、
  • 00:02:47
    データファブリックなスイート、
  • 00:02:48
    データファブリックのスイートのような形
  • 00:02:50
    になっておりましてて、え、ETL、
  • 00:02:52
    ELT、それからデータクオリティ、
  • 00:02:55
    データカタログ、API統合と、え、いっ
  • 00:02:58
    たですね、様々な、え、データ、え、統合
  • 00:03:00
    に関する、データマネジメントに関する
  • 00:03:03
    機能というものを、え、製品スイートと
  • 00:03:07
    いう形で提供しているということになり
  • 00:03:09
    ます
  • 00:03:10
    。え、そのうち、え、その中でですね、
  • 00:03:13
    本日のテーマはどちらかというと、こう、
  • 00:03:15
    ETL、ELTの部分になってくるわけな
  • 00:03:17
    んですけれども、え、クリックタレント
  • 00:03:20
    クラウドの中でですね、え、提供されて
  • 00:03:23
    いるデータ連携、データ統合のオプショ
  • 00:03:25
    ンっていうのが、ま、2つございます。ま
  • 00:03:27
    、ETLとELTですね、それぞれござい
  • 00:03:30
    まして、え、今日の、ま、テーマ、え、に
  • 00:03:33
    関連するところというのは、え、ここに
  • 00:03:35
    ある左側の、え、クリックタレンドデータ
  • 00:03:37
    インテグレーションというですね、え、
  • 00:03:40
    ELT形式のデータ連携の機能という
  • 00:03:44
    ところになります。ま、そのうち、え、
  • 00:03:46
    さらに、え、そのうちですね、え、この
  • 00:03:49
    変更データキャプチャー、え、CDCと
  • 00:03:51
    言われる、ま、まさにこうデータをリアル
  • 00:03:53
    タイムにニアリアルタイムにですね、え、
  • 00:03:55
    ソース側のデータベースから、え、今回で
  • 00:03:58
    言えばターゲット側の、え、スノー
  • 00:03:59
    フレークですねのような、ま、データ
  • 00:04:01
    ウェアですね、データを、え、連携する、
  • 00:04:05
    随時連携するというようなですね、ま、
  • 00:04:07
    その部分において、え、ま、どうやったら
  • 00:04:09
    、ま、データ連携がうまくいくのかですと
  • 00:04:12
    か、え、パフォーマンスの問題、
  • 00:04:14
    パフォーマンス向上させるにはどうしたら
  • 00:04:16
    いいかとかですね、え、設定のコツはある
  • 00:04:18
    かとかですね。ま、そういったところに
  • 00:04:20
    ついてお話をしていくというセッションで
  • 00:04:22
    ございます。
  • 00:04:27
    え、それではですね、まず最初に
  • 00:04:29
    スノフレクターゲットの、え、接続設定の
  • 00:04:32
    ところで、え、注意点いくつかお話をして
  • 00:04:34
    いきたいと思います。
  • 00:04:38
    え、まず認証方式というところでござい
  • 00:04:40
    ますが、こちらヘルプサイトクリックの
  • 00:04:42
    ですね、クリッククラウドのヘルプサイト
  • 00:04:44
    を見ますと、え、スノーフレークのデータ
  • 00:04:47
    接続というとこ、え、スノーフレク
  • 00:04:49
    ターゲットというデータ接続のところでは
  • 00:04:51
    ですね、え、2種類の認証方式が選べる
  • 00:04:54
    ようになっています。え、ユーザー
  • 00:04:55
    パスワード認証もしくはキーペア認証と、
  • 00:04:58
    え、いうところから選択できるようには
  • 00:05:00
    なっております。え、ただしですね、2点
  • 00:05:03
    目のところにありますように、え、基本的
  • 00:05:05
    にセキュリティ面でですね、キーペア認証
  • 00:05:07
    が推奨されて、え、おります。え、ですの
  • 00:05:10
    で、え、スノーフレーク側でですね、
  • 00:05:12
    キーペア認証を有効にして、え、この
  • 00:05:15
    クリックタレンドクラウドの、え、データ
  • 00:05:17
    接続で使うユーザー、スノーフレーク
  • 00:05:20
    ユーザーにですね、対して、え、公開を、
  • 00:05:23
    ま、登録しておくというようなですね、
  • 00:05:25
    準備をしていただくというのが、え、いい
  • 00:05:27
    んではないかなというところで、え、
  • 00:05:29
    ございます。え、ま、設定の細かい、え、
  • 00:05:32
    やり方については、ま、スノーフレのです
  • 00:05:34
    ね、ドキュメントと、ま、それから、え、
  • 00:05:36
    クリックのヘルプサイトにですね、え、
  • 00:05:38
    どういった形式になっているのかっていう
  • 00:05:40
    ところが確認できるようになっております
  • 00:05:42
    。で、注意点といたしましてはこの
  • 00:05:44
    キーペア認証を使いになる場合は、え、
  • 00:05:48
    ゲートウェイですね、データブメント
  • 00:05:49
    ゲートウェの、え、バ、え、2024の、
  • 00:05:53
    え、5、え、5、え、5.14以降と、え
  • 00:05:57
    、いうものが必要になりますので、え、
  • 00:05:59
    そこにご、え、そこにはご注意ください
  • 00:06:01
    とこですね。ま、基本的には、あの、
  • 00:06:03
    データブムトゲートウェイですね、常に
  • 00:06:04
    最新のバージョンを使っていただくのが、
  • 00:06:06
    ま、推奨、メーカー推奨とはなっており
  • 00:06:08
    ますので、ま、そこ、え、気をつけて
  • 00:06:10
    いただければ、え、いうところでござい
  • 00:06:12
    ます。
  • 00:06:18
    え、それから、え、よくそのデータ接続と
  • 00:06:20
    ですね、接続確認のところで、え、ま、
  • 00:06:23
    色々こう実際にやっていくと、え、うまく
  • 00:06:26
    繋がらなかったりとかですね。あの、我々
  • 00:06:28
    も検証の中でそういったところに
  • 00:06:31
    出くわすことが、ま、たまにあるんです
  • 00:06:34
    けれども、ま、そういったところで、え、
  • 00:06:36
    よく注意していく、よく起きるですね、
  • 00:06:39
    地象としていくつか紹介をしていきますと
  • 00:06:41
    。え、まずはあの、え、データベースの
  • 00:06:43
    権限の付与というところですね。え、ま、
  • 00:06:45
    基本的にはスノーフレークの、え、ま、
  • 00:06:47
    ユーザーを1つ使ってデータ接続を作る
  • 00:06:49
    わけですけれども、え、その対象の
  • 00:06:52
    スノーフレクユーザーにはですね、え、ま
  • 00:06:53
    、必要最低限の権限を、え、付与すると
  • 00:06:56
    いうことになりますと。で、特に、ま、
  • 00:06:58
    クリックのランディングストレージタスク
  • 00:06:59
    、ま、これCDCの部分ですね。え、ここ
  • 00:07:01
    に関しては、え、以下の権限が必要になる
  • 00:07:05
    というとこですね。え、データベースの
  • 00:07:07
    優先事限と、え、対象スキーマに、え、に
  • 00:07:11
    対する優先事減ですね。え、それから、ま
  • 00:07:14
    、え、スキーマ作成自動化する場合は
  • 00:07:16
    クリエイトスキーマ、え、権限も必要に
  • 00:07:18
    なりますと。え、それから、ま、テーブル
  • 00:07:21
    作成権限ですね。クリエイトテーブル権限
  • 00:07:23
    と。で、え、この最後の2つが、え、特に
  • 00:07:26
    ですね、あの、ま、忘れがちになるんです
  • 00:07:28
    けれども、え、クリックがですね、データ
  • 00:07:32
    をソース側のデータベースから
  • 00:07:33
    キャプチャーをして、え、補くして
  • 00:07:35
    ターゲットに、ま、書き込む時にですね、
  • 00:07:37
    一度こうファイル形式で、え、それを
  • 00:07:40
    スノーフレークの、ま、ステージ領域に
  • 00:07:43
    ですね、え、ま、プットすると、え、置き
  • 00:07:46
    に行くということをやるわけなんです
  • 00:07:47
    けれども、ま、その時にですね、え、ま、
  • 00:07:49
    ステージ、一部、一時ステージを作る必要
  • 00:07:51
    があったりですとか、え、それから、え、
  • 00:07:53
    ファフォーマット権限ですね。え、
  • 00:07:55
    ファイル形式の定義用に、え、この
  • 00:07:57
    クリエイトファイルフォーマット権限が
  • 00:07:59
    必要になるというところが、え、ま、よく
  • 00:08:01
    見落としがちになりますので、ま、ここも
  • 00:08:03
    含めてですね、合わせて、え、ご確認
  • 00:08:05
    いただくというのはいいんではないかなと
  • 00:08:07
    いう風に思います。え、ま、ただですね、
  • 00:08:09
    一方で、あの、当然セキュリティのため、
  • 00:08:12
    え、確保のためにですね、え、この
  • 00:08:15
    クリック用に使うスノーフレクユーザーに
  • 00:08:17
    は、え、必要十分な権限のみをですね、え
  • 00:08:20
    、与えるというところが、え、ま、原則に
  • 00:08:22
    なるというところは合わせて、え、5認
  • 00:08:26
    いただくのがいいんじゃないかなという風
  • 00:08:28
    に思います
  • 00:08:30
    。え、それから先ほど少し出てきましたが
  • 00:08:33
    、え、データムーブメントゲートウェイ
  • 00:08:35
    ですね。え、こちらを使って、え、
  • 00:08:38
    アクセスするというケースですね。あの、
  • 00:08:41
    よくデータソース側から、え、ターゲット
  • 00:08:44
    にアクセスするのに、ま、データソース側
  • 00:08:46
    のですね、オラクルとかSQLサーバーと
  • 00:08:47
    か、ま、そういったデータソース側の、え
  • 00:08:50
    、接続設定に、え、ゲートウェイを設定
  • 00:08:54
    するというパターンもありますし、え、
  • 00:08:56
    もう1つはですね、ターゲット側の
  • 00:08:58
    スノーフレークの、え、ターゲットデータ
  • 00:08:59
    接続の設定内でも、え、ゲートウェイを
  • 00:09:02
    ですね、指定することができる、え、
  • 00:09:05
    できるようになっていますと。え、これ
  • 00:09:06
    例えば、あの、データを、え、移動した後
  • 00:09:09
    ですね、CDCした後に、え
  • 00:09:12
    、クリッククラウドから、え、その先の
  • 00:09:17
    変換タスクですとかデータマットタスクで
  • 00:09:19
    、え、クリッククラウドからこうSQLを
  • 00:09:21
    ですね、あの、通常ですと、え、直接
  • 00:09:23
    インターネットから、え、スノーフレーク
  • 00:09:25
    のパブリックなせ、え、なんですかね、
  • 00:09:28
    接続先に、え、接続して、ま、そこで
  • 00:09:32
    SQLを送るという形に、え、指示を出す
  • 00:09:34
    ということになるんですけれども、ま、
  • 00:09:36
    例えばそれがあのスノーフレークへの
  • 00:09:38
    アクセスが、ま、プライベートリンク環境
  • 00:09:40
    ですとか、ま、そういった平気の環境に、
  • 00:09:42
    え、なるようなケースではですね、え、
  • 00:09:44
    ターゲット側のスノーフレークのデータ
  • 00:09:46
    接続に関しても、え、データmムメント
  • 00:09:48
    ゲートウェイをですね、え、して仕上げる
  • 00:09:50
    必要がありますと。で、その場合は当然
  • 00:09:53
    あのゲートウェイの、え、サーバーにです
  • 00:09:54
    ね、え、スノーフレークにも対応した
  • 00:09:57
    ドライバーというものを、え、ちゃんと
  • 00:09:58
    ですね、え、セットアップする必要があり
  • 00:10:00
    ますので、ま、そこも合わせて、え、ま、
  • 00:10:02
    ヘルプの方にですね、細かい手順ここに
  • 00:10:05
    貼っておきましたので、え、確認いただく
  • 00:10:07
    のがいいんじゃないかなという風に思い
  • 00:10:08
    ます。で、プライベリトリンク接続に関し
  • 00:10:11
    てはこの後また注意事項ですね、え、個別
  • 00:10:13
    にお話をいたします。
  • 00:10:17
    え、そして最後ですね、こちらはあの
  • 00:10:20
    データ接続の設定の中で、え、ま、2位の
  • 00:10:23
    設定になってくるわけなんですけれども、
  • 00:10:25
    あの必須の設定ではないんですけれども、
  • 00:10:27
    え、セッション位置のためのパラメーター
  • 00:10:30
    設定というのがあります。これあの
  • 00:10:32
    スノーフレク側でのあの設定になります。
  • 00:10:35
    え、クライアントセッションキープ
  • 00:10:38
    アライブというですね、え、パラメーター
  • 00:10:40
    が、え、スノーフレークに、え、ござい
  • 00:10:42
    ます。で、これ何かと言いますと、これ
  • 00:10:45
    デフォルトではフォールスに設定されて
  • 00:10:47
    いるんですけれども、え、スノーフレーク
  • 00:10:49
    への、ま、接続、ま、セッションがですね
  • 00:10:51
    、え、4時間以上アイドル状態、ま、
  • 00:10:53
    無双者、無差状態になると、あの、認証
  • 00:10:56
    トークンがですね、この状態ですと、ま、
  • 00:10:58
    執行してしまって、ま、再認証が必要に
  • 00:11:00
    なるというものになりますと。ま、ずっと
  • 00:11:02
    ですね、あの、例えば4時間以上全く
  • 00:11:05
    CDC、ま、変更が、え、データソース側
  • 00:11:07
    に変更が走らない、更新がないような状態
  • 00:11:10
    が、え、ま、あの、あるようなケースー
  • 00:11:12
    スっていうのがありますので、ま、そう
  • 00:11:13
    いった時にですね、あの、データ
  • 00:11:15
    ゲートウェイから、ま、4時間以上経って
  • 00:11:17
    またスノーフレックに、え、変更を適用
  • 00:11:19
    する時にですね、え、ま、例えばこのよう
  • 00:11:22
    なあの、え、オーセンティケーション
  • 00:11:24
    トークンが、ま、エクスパイアー、ま、
  • 00:11:26
    切れてますよっていうようなエラーがです
  • 00:11:28
    ね、え、出るようなあのことがありますと
  • 00:11:31
    、で、そういったとこ、え、そういった
  • 00:11:33
    ところに、え、ま、警告やエラーが出ない
  • 00:11:36
    ようにするためにですね、え、設定を、
  • 00:11:39
    設定が、え、ができるようになっています
  • 00:11:41
    と。で、これあの、スノーフレック側で、
  • 00:11:44
    え、このクライアントセッション、
  • 00:11:45
    キーパーアライブというものをですね、ま
  • 00:11:47
    、え、クリックのクリックで使うその
  • 00:11:51
    スノーフレクのユーザーに対して、ま、
  • 00:11:52
    オルタユーザーして、え、ま、セット
  • 00:11:55
    クライアントセッションキーパーライブ=
  • 00:11:56
    toという形で、え、やっていただいて、
  • 00:12:00
    ええ、そしてですね、ま、あの、小
  • 00:12:01
    パラメーターズっていうですね、あの、
  • 00:12:02
    またクエリーがありますので、え、そこで
  • 00:12:05
    、え、like先ほどのクライアント
  • 00:12:07
    セッションキーパーライブインユーザーと
  • 00:12:10
    いう形でやっていただくと、ま、この右側
  • 00:12:12
    にあるような形でですね、え、この
  • 00:12:15
    パラメーターが、え、このvalリューっ
  • 00:12:17
    ていうカラムにですね、になってますよと
  • 00:12:19
    かですね、あの、今の設定状態がこの
  • 00:12:21
    VALUというカラムに入ってきますので
  • 00:12:23
    、ま、ここで設定状態確認できるという
  • 00:12:26
    ような状況でございます
  • 00:12:28
    。で、当然ですね、これ、あの、ま、最初
  • 00:12:31
    にご説明したような、ま、アイドル状態が
  • 00:12:33
    ずっと続くようなあの状態、ま、状況によ
  • 00:12:38
    の場合はですね、設定してくださいという
  • 00:12:40
    ようなパラメーターになりますので、ま、
  • 00:12:42
    そういったことがあまり、え、予見され
  • 00:12:44
    ないようなケースではですね、ま、不要な
  • 00:12:46
    場合は、え、当然あのセッションをですね
  • 00:12:48
    、ずっとオンにしておくよりは定期的に、
  • 00:12:51
    ま、切ってしまう方が、ま、セキュリティ
  • 00:12:52
    上のリスクはですね、多少こう下げること
  • 00:12:55
    ができると思いますので、え、ま、必ず
  • 00:12:58
    やらなきゃいけない設定ではないよという
  • 00:13:00
    ところは合わせてご確認いただければと
  • 00:13:03
    思っております
  • 00:13:06
    。で、ここまでが、え、基本的なデータ
  • 00:13:09
    接続の設定のところでございます。で、
  • 00:13:11
    もう1つですね、AWSのプライベート
  • 00:13:13
    リンク統合というところで、こちらもよく
  • 00:13:16
    検証でですね、あの、引っかかってくる点
  • 00:13:18
    なので、え、合わせてご案内したいなと
  • 00:13:21
    いう風に思いますと。で、え、先ほどあの
  • 00:13:25
    、え、各データソースまたはクリック
  • 00:13:27
    クラウドからですね、スノーフレークに
  • 00:13:29
    接続する時に、え、ま、データソースから
  • 00:13:32
    、え、直接スノーフレークにですね、え、
  • 00:13:34
    いわゆるCDCをするところていうのは
  • 00:13:36
    基本的にはデータソース側の、え、データ
  • 00:13:38
    接続にゲートウェイを設定してですね、
  • 00:13:41
    この、ま、オラクルですとかSLサーバー
  • 00:13:43
    の例ですけれども、こちらの方に
  • 00:13:45
    ゲートウェイをステして、ま、そこで、え
  • 00:13:47
    、スノーフレークのですね、え、
  • 00:13:48
    プライベートリンクの、ま、アクセス先を
  • 00:13:51
    指定してあげると、ま、そこから
  • 00:13:52
    ランディングできるようになって、え、き
  • 00:13:54
    ますと。で、それに加えて、え、
  • 00:13:56
    ランディングした後のですね、え、
  • 00:13:57
    ストレージタスク、変換タスク、データ
  • 00:13:59
    マットタスク、それから、ま、データの
  • 00:14:01
    登録とかもそうですけど、ま、スノー
  • 00:14:03
    フレークに対して直接クエリーをSK力
  • 00:14:05
    投げるような、え、ケースですね。ま、
  • 00:14:07
    そういった時に、ま、通常は何もしないと
  • 00:14:10
    こうクリッククラウドから直接ですね、
  • 00:14:12
    こういう風に、あ、えっと、直接
  • 00:14:14
    インターネット経由でですね、送られてき
  • 00:14:15
    てしまうんですけれども、ま、それが当然
  • 00:14:17
    プライベートリンク環境だと、え、難しい
  • 00:14:19
    ですので、え、ターゲット側の先ほどの
  • 00:14:22
    スノーフレークのデータ接続に対してです
  • 00:14:24
    ね、え、データゲットウェイを指定して
  • 00:14:26
    あげて、で、ま、そのゲットウェイは当然
  • 00:14:27
    ですね、スノーフレークにこの、ま、
  • 00:14:29
    VPCにですね、え、スノーフレクに
  • 00:14:31
    アクセスできるところに配置していただい
  • 00:14:33
    て、で、え、また、え、プライベート
  • 00:14:36
    リンクで、え、接続先を指定してあげると
  • 00:14:39
    。で、そうすると、ま、ゲートウェイ経由
  • 00:14:41
    でですね、安全に、え、こうえ、こ、ま、
  • 00:14:43
    踏み台にするような形で、え、スケールが
  • 00:14:46
    、え、実行されると、ま、転送されてくる
  • 00:14:48
    というようなですね、え、形で設定する
  • 00:14:51
    ことが、え、できるようになっております
  • 00:14:54
    。で、このプライベートリンクの設定の
  • 00:14:56
    ところで、ま、基本的な設定はスノーフレ
  • 00:14:58
    、スノフレ側の、ま、ドキュメントとです
  • 00:15:01
    ね、AWAWSのドキュメント確認して
  • 00:15:03
    いただくと、え、いうことにはなりますが
  • 00:15:06
    、ま、よくあの、え、検証とかでですね、
  • 00:15:09
    え、うまく接続がいかないというような、
  • 00:15:11
    ま、引っかかるような点というところ
  • 00:15:13
    でいきますと、え、ま、2つですね、こう
  • 00:15:16
    スノーフレクのデータベースに対して、え
  • 00:15:19
    、プライベートリンクの設定をしていただ
  • 00:15:20
    くっていうところは、ま、皆さんやって
  • 00:15:22
    いただくんですけれども、え、もう1つ
  • 00:15:24
    ですね、あの、スノーフレックの、え、
  • 00:15:25
    内部ステージを使う場合にその、え、
  • 00:15:27
    スノーフレクの内部ステージ、ま、S3
  • 00:15:29
    ですけれども、え、これを、え、ここに
  • 00:15:33
    対してもですね、あの、エンドポイントを
  • 00:15:35
    しっかり、え、スノー、え、指定して
  • 00:15:38
    いただく必要が、設定してしていただく
  • 00:15:40
    必要がありますので、え、必ずですね、
  • 00:15:42
    その内部ステージ用の設定というところも
  • 00:15:44
    、え、行っていただくようお願いいたし
  • 00:15:47
    ますと。で、必ずあの、ま、うまくせ、え
  • 00:15:51
    、データゲートウェイのサーバーから
  • 00:15:53
    スノフレクトとかですね、その内部
  • 00:15:54
    ステージにあるいは内部ステージに
  • 00:15:56
    アクセスできないというような、え、こと
  • 00:15:59
    がですね、起きるような場合はですね、え
  • 00:16:01
    、必ず、え、まずあの、ゲートウェイの
  • 00:16:03
    リナックスサーバーから、え、直接、う、
  • 00:16:07
    そのクリ、
  • 00:16:09
    クリタンドのランディングタスクとはまた
  • 00:16:12
    別にですね、え、ゲートウェイのサーバー
  • 00:16:14
    から直接ですね、スノーフレークとかに、
  • 00:16:16
    え、例えばあの、スノー、え、スケとかで
  • 00:16:18
    ですね、え、ちゃんと接続ができるかとか
  • 00:16:21
    ですね、ファイルをプットできるかとか
  • 00:16:22
    ですね、え、そういったようなところを
  • 00:16:25
    まずサーバーレベルでですね、え、確認し
  • 00:16:27
    て、え、いただくということはですね、え
  • 00:16:29
    、望ましいのではないかなという風に思い
  • 00:16:31
    ます。ま、そ、そこでですね、エラー見て
  • 00:16:33
    いただくと、え、ま、どこに、え、原因が
  • 00:16:36
    あるのかっていうところの切り分けにも
  • 00:16:37
    なってきますので、ま、そこをやって
  • 00:16:39
    いただく必要があるかなというところで
  • 00:16:40
    ございます
  • 00:16:41
    。ま、よくですね、そのプライベート
  • 00:16:44
    リンク設定はせ、設定が正しくされてい
  • 00:16:46
    ないですとか、ま、他にもその、え、
  • 00:16:48
    サーバーがDNSに参加してないとかです
  • 00:16:50
    ね、あるいはAWS側の、え、設定がです
  • 00:16:54
    ね、うまくいってないとかですね、ま、
  • 00:16:55
    そういったようなケースっていうのが
  • 00:16:56
    まあまあありますので、あの、そこも
  • 00:16:58
    合わせて確認いただく必要があるかなと
  • 00:17:00
    いうところでございます。はい。
  • 00:17:06
    え、続いてですね、え、ここから、ま、
  • 00:17:08
    パフォーマンスですとか、ま、
  • 00:17:10
    スケジューリングといったところの最適化
  • 00:17:12
    についてお話をしていきたいと思います。
  • 00:17:16
    え、まずスケジューリングですけれども、
  • 00:17:18
    え、クリックタレントデータ
  • 00:17:20
    インテグレーションではですね、え、
  • 00:17:22
    CDC、ま、ランディングタスクを使って
  • 00:17:24
    データを、ま、え、リアルタイムに
  • 00:17:26
    スノーフレク側に持ってきますと。で、
  • 00:17:28
    この時にですね、あの、ターゲット側の
  • 00:17:31
    スノーフレークのですね、中に、ま、
  • 00:17:33
    チェンジテーブル、変更テーブルと変更
  • 00:17:35
    サ分テーブルというものができて、え、
  • 00:17:37
    そこに対してですね、そのCDCされてき
  • 00:17:40
    たデータっていうのは、え、ま、その
  • 00:17:42
    テーブルの、え、ま、次にこうアペンドさ
  • 00:17:43
    れていくと、ま、インサートされていくと
  • 00:17:45
    いうようなですね、え、ま、処理を行い
  • 00:17:48
    ますと。で、そ、その後ですね、じゃあ
  • 00:17:50
    そのインサートされた変更テーブルと、え
  • 00:17:54
    、ま、元々あったですね、フルロードとか
  • 00:17:56
    で持ってきた、え、元のテーブルとですね
  • 00:17:58
    、ま、それを麻処理するっていう必要が、
  • 00:18:00
    あの、あ、あの
  • 00:18:04
    、次の、ま、ストレージタスクという
  • 00:18:06
    ところで、え、行っていきますという
  • 00:18:08
    ところですね。で、ここのストレージ
  • 00:18:10
    タスクに関しては、え、リアルタイムとか
  • 00:18:12
    都度処理っていうわけではなくて、基本的
  • 00:18:14
    にはスケジュールでですね、え、何分単位
  • 00:18:16
    とか、え、いう形で、え、設定をして、え
  • 00:18:20
    、定期的に、ま、え、あるしこバッチで
  • 00:18:22
    実行するということになりますと。で、ま
  • 00:18:26
    、ただですね、ま、そのマジした、え、
  • 00:18:28
    テーブルマージすると、ま、その時点で、
  • 00:18:30
    え、ソースがほぼほぼイコールになるわけ
  • 00:18:32
    ですけれども、ま、そのテーブルを実際に
  • 00:18:35
    は、ま、分析とかに使いたい、え、わけ
  • 00:18:37
    ですよね。もしくはその皇続の変換処理に
  • 00:18:39
    使いたいわけなので、え、ま、そこの、ま
  • 00:18:42
    、新鮮さというんですかね、データの、ま
  • 00:18:43
    、更新頻度を、え、ま、高くすれば高く
  • 00:18:46
    するほど、ま、早く更新すればするほど
  • 00:18:48
    ですね、あの、データは新鮮さを保つこと
  • 00:18:51
    はできるんですけれども、ま、当然その分
  • 00:18:54
    ですね、あの、マージ処理するために、ま
  • 00:18:56
    、スノーフレークのクエリーとですね、え
  • 00:18:59
    、クエリを実行するので、スノーフレーク
  • 00:19:01
    の、ま、いわゆるコンピューターリソース
  • 00:19:02
    をですね、え、使って、え、いただく必要
  • 00:19:05
    がありますと。なので、ま、そのスフレク
  • 00:19:07
    の、え、そのクエリのコストと、え、ま、
  • 00:19:10
    そこはトレードオフになると、え、データ
  • 00:19:12
    の新鮮さというのはトレードオフになって
  • 00:19:13
    いくというのが基本的な考え方になります
  • 00:19:16
    と。ま、ですので、あの、必要最低限の
  • 00:19:19
    ですね、あの、データ更新頻度という
  • 00:19:22
    ところで、え、スケジュールをですね、
  • 00:19:25
    設定をすることが、ま、望ましいとされ
  • 00:19:27
    てると。ま、必要最低限のというのは、ま
  • 00:19:29
    、そのあくまでその先のデータの活用の
  • 00:19:32
    ですね、え、段階での、え、ま、要件と
  • 00:19:34
    いうところですね。ま、ビジネス上ですと
  • 00:19:37
    か業務の中で、え、これぐらいの、え、
  • 00:19:40
    これくらい前のデータであれば、え、その
  • 00:19:42
    データの用途としては問題ないですよって
  • 00:19:44
    いうところを、え、指定していただく必要
  • 00:19:47
    があるんじゃないかなというところで
  • 00:19:48
    ございます。で、え、ま、そのマージ処理
  • 00:19:51
    、ストレージタスクのマージ処理っていう
  • 00:19:53
    ところと、え、ま、1、え、にですね、
  • 00:19:56
    あの、ライブビューという機能も、え、
  • 00:19:58
    ありますので、ま、もう本当に今
  • 00:20:00
    ランディングタスクに来た、え、ばかりの
  • 00:20:03
    ですね、ランディングタスクで処理した
  • 00:20:04
    ばかりの、え、変更テーブルにしかない
  • 00:20:07
    ですね、あの、データもですね、え、その
  • 00:20:11
    都ど度、ま、ビューなので、ま、都ツど
  • 00:20:13
    そのクエリを発行して、え、ビューとして
  • 00:20:16
    ですね、あの、そこの処理、未処理の
  • 00:20:18
    ランディングタスクのデータも、え、
  • 00:20:21
    都ど回味してですね、見るっていうような
  • 00:20:22
    ことが、ま、ライブビューでですね、
  • 00:20:24
    できるようになっておりますので、これね
  • 00:20:27
    、はい。ま、それも含めてですね、あの、
  • 00:20:32
    組み合わせでスケジュールでの、ま、実行
  • 00:20:35
    とライブビューの利用っていうところを、
  • 00:20:36
    ま、用途に合わせてですね、え、検討して
  • 00:20:39
    いただくということが、え、いいんじゃ
  • 00:20:41
    ないかなという風に思います。はい。で、
  • 00:20:44
    あるいはですね、あの、この辺のタスクの
  • 00:20:46
    ストレージタスクの実行というところも、
  • 00:20:48
    あの、APIで実行できるようになって
  • 00:20:50
    ますので、え、キックできるようになって
  • 00:20:52
    ますので、ま、例えばですね、クリックで
  • 00:20:54
    あれば、あの、クリックタレンドクラウド
  • 00:20:56
    に、え、負しているですね、クリック
  • 00:20:59
    アプリケーションオトメーションという
  • 00:21:00
    ですね、え、iPassの機能を使って、
  • 00:21:02
    これ、あの、APIを使ってですね、
  • 00:21:04
    いろんなシステムの、え、ま、制御が
  • 00:21:08
    できるというものですけれども、ま、この
  • 00:21:10
    アプリケーションオトメーションなどを
  • 00:21:11
    例えば使って、え、PIベースでですね、
  • 00:21:14
    ええ、タスクをキックしたりですとか、
  • 00:21:16
    あるいは、ま、別のタスクが終わったら、
  • 00:21:18
    え、完了して成功したら他のタスクを実行
  • 00:21:21
    するとかですね、ま、そういった、え、
  • 00:21:23
    連動してですね、タスクを、ま、え、
  • 00:21:25
    チェイニングするということもできますの
  • 00:21:27
    で、ま、こういった形でですね、あの、
  • 00:21:29
    より高度な、え、タスク実行の
  • 00:21:31
    スケジューリングができるようになります
  • 00:21:33
    ので、ま、これも合わせてですね、あの、
  • 00:21:36
    ご利用をご検討いただければと思います
  • 00:21:39
    。で、ここは、ま、スケジューリングの
  • 00:21:41
    最適化という話でございました。
  • 00:21:45
    え、そしてですね、え、続いて、え、
  • 00:21:48
    パフォーマンスの、ま、いよいよ
  • 00:21:49
    パフォーマンスの最適化というところに
  • 00:21:50
    入っていきたいと思います
  • 00:21:52
    。え、スノーフレのデータ接続を作って、
  • 00:21:55
    え、そして、え、いよいよですね、データ
  • 00:21:57
    のパイプラインを作っていくということに
  • 00:21:59
    なりますが、え、ま、今回の話はですね、
  • 00:22:02
    基本的にはELTのところで、あの、
  • 00:22:04
    パイプラインプロジェクトというところを
  • 00:22:06
    ですね、ベースにお話をしています。あの
  • 00:22:08
    、クリックタレントデータ
  • 00:22:09
    インテグレーションには、ま、プライム
  • 00:22:11
    プロジェクトというですね、ま、分析用の
  • 00:22:13
    、え、データマートまでを作っていくって
  • 00:22:15
    いう、ま、プロジェクトと、ま、もう1つ
  • 00:22:17
    ですね、あの、データのレプリケーション
  • 00:22:18
    だけ、え、複製だけを行っていく、え、ま
  • 00:22:21
    、その、あの、レプリケーション
  • 00:22:22
    プロジェクトというものをですね、ま、2
  • 00:22:24
    つの、え、主にですね、大きく2つの
  • 00:22:26
    プロジェクトタイプがありますけれども、
  • 00:22:29
    え、ま、その全車の方ですね、え、
  • 00:22:31
    パイプラインのプロジェクトていうのを
  • 00:22:32
    ベースにお話をしていきますと。で、その
  • 00:22:35
    中の、ま、CDCの部分ですね。え、これ
  • 00:22:37
    パフォーマンスを上げていく方法っていう
  • 00:22:39
    のをいくつかご紹介するということになり
  • 00:22:41
    ます。はい。で、まず、え、1つ目です
  • 00:22:44
    けれども、え、ファイルサイズの、え、
  • 00:22:48
    拡大というところになりますが、え、
  • 00:22:50
    スノーフレークにですね、ソース側の変更
  • 00:22:52
    分を、え、基本的にはそのステージング
  • 00:22:54
    領域、スノーフレークのステージング領域
  • 00:22:56
    に、え、CSVファイルをですね、え、ま
  • 00:22:59
    、プットすると、え、転送するというのが
  • 00:23:01
    、え、基本的なまずあのデータ
  • 00:23:04
    ゲートウェイのですね、データメト
  • 00:23:05
    ゲートウェの動きになるというところで
  • 00:23:06
    ございます。で、この、え、CSV
  • 00:23:09
    ファイルの、ま、最大サイズですね、え、
  • 00:23:11
    が、ま、え、デフォルトではですね、
  • 00:23:15
    100MBごとにですね、ま、ファイルを
  • 00:23:17
    1個区切って、え、その100M、の
  • 00:23:20
    ファイルを送るっていうようなですね、え
  • 00:23:22
    、スノーフレクのステージング領域に送る
  • 00:23:24
    ということをやりますと。で、そうすると
  • 00:23:26
    、ま、基本的にあの、より大きなファイル
  • 00:23:30
    サイズでですね、ま、まとめて変更分を
  • 00:23:32
    送ってしまえばですね、そのファイルの
  • 00:23:34
    アップロードの回数っていうのを基本的に
  • 00:23:36
    は減らすことができますので、え、ま、え
  • 00:23:39
    、そこ、え、なんて言うんですかね、え
  • 00:23:41
    、ま、スノーフレクトのやり取りが減
  • 00:23:44
    るっていうところで、ま、パフォーマンス
  • 00:23:45
    、パフォーマンスも良くなるというところ
  • 00:23:46
    になりますと。で、ま、先ほど申し上げた
  • 00:23:49
    通りデフォルト値が、ま、100Mなん
  • 00:23:51
    ですけれども、ま、例えばですね、あの、
  • 00:23:52
    クリックがテストしたとる、ま、え、
  • 00:23:54
    大きなデータベースでテストした時の、え
  • 00:23:57
    、ポートによると、ま、例えば200MB
  • 00:23:59
    とかにですね、まずしてみて
  • 00:24:00
    パフォーマンス改善、え、するかどうか
  • 00:24:02
    ですね、え、そのファイルの転送のところ
  • 00:24:04
    の、え、状態を見ていただくというのが、
  • 00:24:07
    ま、おすめとなってますと。で、あの、
  • 00:24:09
    最大ですね、2000MB、ま、え、大体
  • 00:24:12
    2GBまでですね、あの、増やすことが
  • 00:24:14
    できますので、え、ここ、ま、様子を見
  • 00:24:16
    ながらですね、増やしていただくと、え、
  • 00:24:19
    ま、パフォーマンス改善、よりですね、
  • 00:24:21
    パフォーマンス改善につがるようなケース
  • 00:24:23
    というのがありますというとこですね。で
  • 00:24:26
    、あ、ごめんなさい。順番前後しましたが
  • 00:24:28
    、こちら、あの、ランディングタスク内に
  • 00:24:29
    、あの、後ほど画面お見せしますが、ま、
  • 00:24:31
    設定というボタンがありますので、え、
  • 00:24:33
    そちらから、え、データのアップロードと
  • 00:24:35
    いうところのタブにですね、え、ある設定
  • 00:24:37
    でございます。
  • 00:24:40
    え、そしてもう1つですね、え、変更処理
  • 00:24:44
    の、ま、チューニングというところで、え
  • 00:24:46
    、今度はその送ったファイルから実際に
  • 00:24:50
    テーブルに対してですね、え、書き込みを
  • 00:24:52
    行っていくということになるんですけれど
  • 00:24:54
    も、ま、そこの、え、に関してもですね、
  • 00:24:58
    あの、トランザクション体で1個1個、え
  • 00:24:59
    、全部順にあの適用するわけではなくて、
  • 00:25:03
    え、クリプターレンドクラウドのその
  • 00:25:04
    パイプラインプロジェクトでは基本的には
  • 00:25:06
    、ま、マイクロバッチというかですね、
  • 00:25:08
    あの、少しずずつ、あ、少しずつというか
  • 00:25:10
    ですね、いくつかの変更を、ま、まとめて
  • 00:25:13
    、え、ある時点で、え、ターゲットの
  • 00:25:15
    テーブルに、え、書き込むっていうことを
  • 00:25:17
    やりますと、え、なのでですね、ま、この
  • 00:25:20
    、え、バッチの感覚をですね、あ、基本的
  • 00:25:22
    には最短1秒、最長30秒っていうのが
  • 00:25:25
    デフォルトで、え、組まれてるんです
  • 00:25:27
    けれども、え、例えば、ま、これをですね
  • 00:25:29
    、少し、え、問題なければもう伸ばして
  • 00:25:33
    あげてですね、え、伸ばしてあげるとです
  • 00:25:35
    ね、ま、スノーフレクトのテーブルに
  • 00:25:37
    対するやり取り、ま、オーバーヘがですね
  • 00:25:39
    、え、減りますので、え、ま、そこもです
  • 00:25:41
    ね、え、ま、パフォーマンス改善につがる
  • 00:25:44
    と、また、ま、スノーフレークのですね、
  • 00:25:45
    コストっていうところでもですね、
  • 00:25:46
    書き込み回数が減るので、あの、コスト
  • 00:25:49
    パフォーマンス上もですね、良くなって
  • 00:25:51
    くるというような改善が見込め
  • 00:25:53
    るっていうような、え、ケースがござい
  • 00:25:55
    ます。で、この設定値としては今申し上げ
  • 00:25:57
    た、ま、その、え、秒数ですね、最小、
  • 00:26:00
    最短期間、最長期間っていうところの、え
  • 00:26:02
    、秒数と、え、もう1つですね、え、その
  • 00:26:05
    処理メモリ、メモリーが、ええ、このなん
  • 00:26:09
    ですか、一定を超えた時に、ま、そのなん
  • 00:26:12
    ですかね、え、データ量を超えた時に、え
  • 00:26:14
    、適、え、その時点でクエリを発行するっ
  • 00:26:17
    ていうようなですね、え、設定とですね、
  • 00:26:20
    ま、両方ありますので、ま、そのいずれか
  • 00:26:21
    1つが超えた時に、え、DLがですね、
  • 00:26:26
    クエリーが発行されるということになり
  • 00:26:27
    ますので、ま、それをですね、あの、ま、
  • 00:26:30
    その冷天使が、え、許す限りというんです
  • 00:26:33
    かね、え、ま、少し伸ばしてあげたり
  • 00:26:35
    増やしてあげたりすると、え、ま、一気に
  • 00:26:38
    ですね、適用のか、え、適用の、ま、です
  • 00:26:41
    かね、パフォーマンスが上がってくると
  • 00:26:42
    いうことになります。で、当然あの、0点
  • 00:26:44
    指導はトレード同になりますので、え、
  • 00:26:46
    バランスした設定というのを考えて
  • 00:26:49
    いただく必要があるというところです。で
  • 00:26:51
    、私もあの過去にあのいろんな
  • 00:26:54
    プロジェクトですね、こういった検証をさ
  • 00:26:56
    せていただいた時に、ま、最初なかなか
  • 00:26:58
    あのすごい大きなトランザクションがあっ
  • 00:27:00
    たりとか大量のトランザクションがあって
  • 00:27:02
    、え、例えば、え、なかなか処理が終わら
  • 00:27:05
    ないといった、え、ご相談を受けた時に
  • 00:27:07
    ですね、ま、この辺の、え、先ほどの
  • 00:27:10
    ファイルサイズだったり、え、バッチ
  • 00:27:11
    サイズだったり、ま、それぞれあの
  • 00:27:13
    ステージングの領域と、ま、それから
  • 00:27:15
    テーブルに書き込むっていう領域とですね
  • 00:27:16
    、あのボトルネックをですね、ま、
  • 00:27:18
    サーバーの状況そのフレーク側の
  • 00:27:20
    モニタリングとかを通して、え、ま、情報
  • 00:27:23
    、状況ですね、ま、見極めて、ま、この
  • 00:27:25
    辺りの設定をですね、え、チューニングし
  • 00:27:27
    てあげるとですね、あの、ま、本当に、え
  • 00:27:30
    、転走の、え、速度っていうですかね、
  • 00:27:32
    0.Cが、ま、1/5ぐらいにですね、
  • 00:27:34
    縮まるようなケースっていうのも、え、
  • 00:27:36
    ありましたので、え、ま、すごくですね、
  • 00:27:39
    あの、この辺の設定、え、見直していただ
  • 00:27:41
    くっていうのはいいんじゃないかなという
  • 00:27:43
    風に思います
  • 00:27:44
    。はい。で、もう1つですね、え、同じく
  • 00:27:48
    ランディングタスクの設定の中の変更処理
  • 00:27:50
    のチューニングのところにですね、え、
  • 00:27:52
    これも単純にチェックボックス入れるだけ
  • 00:27:53
    ですけども、え、一括変更複数のテーブル
  • 00:27:56
    に、ま、同時に適用っていうですね、
  • 00:27:58
    オプションですね。ま、当然あの、え、ま
  • 00:28:00
    、いろんな変更があるのを、ま、
  • 00:28:01
    ターゲットの複製のテーブルに、え、ま、
  • 00:28:04
    並行してですね、え、適用してくれるので
  • 00:28:06
    、ま、あの、CDCのパフォーマーマンス
  • 00:28:08
    良くなるよというところなんですよね。で
  • 00:28:10
    、これ、あの、例えばですね、あの、
  • 00:28:12
    ランディングタスク内に1個しかテーブル
  • 00:28:14
    がターゲットテーブルがなくてもですね、
  • 00:28:16
    一応このオプションをオンにしておくと、
  • 00:28:19
    え、いうことでですね、え、ま、より効率
  • 00:28:22
    的なですね、実行パスっていうのを、ま、
  • 00:28:24
    クリックが、え、ま、考えることがあの
  • 00:28:27
    できるというのがですね、検証で確認され
  • 00:28:30
    てますので、ま、その辺も含めてあります
  • 00:28:32
    ので、え、ま、特に問題なければここ
  • 00:28:35
    チェックして、え、いただくとですね、え
  • 00:28:37
    、いいんではないかなというところになり
  • 00:28:38
    ます。ま、一部ですね、あの、エラー処理
  • 00:28:40
    と、え、ここのチェックボックスをですね
  • 00:28:42
    、オンにすると、え、一部のそのエラー
  • 00:28:45
    処理がですね、うまくあのいかないという
  • 00:28:47
    かですね、エラーしてもそのまま無視して
  • 00:28:48
    タスクを、え、進め
  • 00:28:50
    るっていうようなですね、オプションが
  • 00:28:51
    選べないとかですね。え、ま、その辺の
  • 00:28:53
    若干のトレードオフはあるんですけれども
  • 00:28:55
    、ま、その辺りは、あの、ま、その時の
  • 00:28:57
    エラー処理の要件とですね、あの、見比べ
  • 00:29:00
    て、え、設定していただくのがいいんじゃ
  • 00:29:02
    ないかなと思います。
  • 00:29:06
    え、それから、え、もう少しですね、え、
  • 00:29:09
    あ、ごめんなさい。こちらは、あの、
  • 00:29:10
    どちらかというとプロジェクトの、え、
  • 00:29:12
    最初の新規作成の時点で決めなきゃいけ
  • 00:29:14
    ないことですけれども、え、
  • 00:29:16
    スノーフレークのターゲット接続を、え、
  • 00:29:19
    選んだ時にですね、え、ランディング、ま
  • 00:29:23
    、データが、え、ファイルとして先ほど
  • 00:29:25
    CSVでですね、あの、プットされると
  • 00:29:27
    いう話がありましたけれども、で、この時
  • 00:29:30
    に、スノーフレークの内部ステージを使う
  • 00:29:33
    パターンと、え、スノーフレークの、え、
  • 00:29:36
    外部ステージングを使うと、ま、これS3
  • 00:29:38
    とか、え、ADLSとかGoogle
  • 00:29:41
    Clラoudストレージとかですね、こう
  • 00:29:42
    いったものを、ま、お客様がご用意されて
  • 00:29:45
    、え、それを、ま、ステージング領域とし
  • 00:29:47
    て使うっていうのとですね、ま、その2つ
  • 00:29:49
    内部と外部どちらかを選ぶことができる
  • 00:29:51
    ようになっておりますというところなん
  • 00:29:53
    ですけれども、え、基本的にですね、あの
  • 00:29:57
    、この内部ステージを使うパターンでは
  • 00:30:00
    ですね、ま、そこに対して、ま、プットと
  • 00:30:02
    かリムーブのコマンドを発行していくこと
  • 00:30:05
    になりますので、ま、そこでも当然あの、
  • 00:30:07
    スノーフレークのクレジとを使うことに
  • 00:30:10
    なりますので、え、ま、特にですね、あの
  • 00:30:12
    、口術の問題がなければ、あの、外部
  • 00:30:14
    ステージングをですね、使っていただくと
  • 00:30:17
    、ま、その辺もですね、あの
  • 00:30:19
    、効率的にご予算をご利用いただけると
  • 00:30:23
    いうようなですね、え、ことも確認されて
  • 00:30:26
    いるというところですね。はい。で、ま、
  • 00:30:29
    注意しなきゃいけない点としては、ま、
  • 00:30:30
    当然外部ストレージ使うと、え、外部
  • 00:30:32
    ステージング利用するってことは、え、
  • 00:30:34
    その、そこのステージングに料金に関して
  • 00:30:37
    は、あの、お客様の方でですね、設定して
  • 00:30:40
    いただく必要がありますので、え、ま、
  • 00:30:43
    その構成が少し複雑になるですとか、
  • 00:30:45
    あるいはそのストレージ自体の利用量が
  • 00:30:47
    ですね、クラウドの利用量がかかってき
  • 00:30:49
    ますので、ま、そこもあの合計でですね、
  • 00:30:52
    え、どちらの方がいいのかっていうところ
  • 00:30:54
    は、あ、ま、コスト、え、メリットがある
  • 00:30:56
    のかっていうところは確認していただく
  • 00:30:58
    必要があるかなという風に思います。
  • 00:31:04
    え、それからですね、え、タスクの分割
  • 00:31:07
    並列実行というところでございます。あの
  • 00:31:09
    、取り込みたいテーブル、データソースの
  • 00:31:11
    、ま、データベースが1つであってもです
  • 00:31:13
    ね、え、そこに当然テーブルがたくさん
  • 00:31:14
    あってですね、え、ターゲットの側の
  • 00:31:17
    スノーフレークに持ってかなきゃいけない
  • 00:31:18
    テーブルもたくさんあるというケースがま
  • 00:31:20
    、え、ありますと。で、え、その中で本当
  • 00:31:22
    にテーブルが多い、え、ケースにおいては
  • 00:31:25
    ですね、あの、1つのタスクに全テーブル
  • 00:31:28
    含めて、え、一気に実行するよりはですね
  • 00:31:31
    、え、ま、論理的にタスクを分割って書い
  • 00:31:33
    てますけど、単純に、ま、あの、
  • 00:31:34
    ランニングタスクをいくつか作って、え、
  • 00:31:37
    そこで処理するテーブルを、え、その
  • 00:31:39
    タスクボトにですね、分けてですね、
  • 00:31:42
    いただくっていうことも、え、有効だと
  • 00:31:44
    いうとこです。え、例えば2つ目のとこ
  • 00:31:47
    ですけども、更新頻度が非常に高い、え、
  • 00:31:49
    大規模のテーブルに関しては専用のタスク
  • 00:31:52
    を当ててあげるですとか、え、ですね、で
  • 00:31:55
    、それ以外のテーブルと分けてあげるとか
  • 00:31:57
    ですね。え、ま、こういうこと、こうする
  • 00:32:00
    ことでですね、え、ま、処理中、大規模
  • 00:32:02
    テーブルの、え、処理中に、ま、あの、他
  • 00:32:04
    のテーブルの適用待ち行列が発生するのを
  • 00:32:06
    防いだりとかですね、いうようなことが
  • 00:32:08
    できるようにもなってますというとこです
  • 00:32:11
    ね。また、ま、あの、スノーフレク側でも
  • 00:32:12
    、あの、当然そのタスクが、え、
  • 00:32:16
    ランディングタスクが分れていれば
  • 00:32:18
    それぞれに対してですね、あの、
  • 00:32:20
    ウェアハウスとかを分けていただくことも
  • 00:32:22
    、ま、できるかなと思いますので、え、ま
  • 00:32:24
    、そういったような処理もですね、できる
  • 00:32:26
    かなというとこですね。はい。で、当然、
  • 00:32:29
    ま、あの、1タスク内にですね、テーブル
  • 00:32:31
    数、ま、乗り的には、え、ま、無限にって
  • 00:32:34
    いうかですね、あの、設定することができ
  • 00:32:36
    ますので、ま、平行でそ、それを処理
  • 00:32:39
    するっていうことも、え、できるんです
  • 00:32:41
    けれども、え、ま、タスク間列の方が
  • 00:32:43
    どちらかというと、ま、スケービリティは
  • 00:32:45
    高いという風に、え、言われて、え、おり
  • 00:32:48
    ます。はい。
  • 00:32:52
    え、それから、え、こちらは
  • 00:32:54
    データムメントゲートウェイのですね、L
  • 00:32:57
    のサーバーのリソースの話でございます。
  • 00:32:59
    ま、これ当たり前の話といえば当たり前
  • 00:33:01
    ですけれども、あ、当然CPUですとか
  • 00:33:03
    メモリー容量っていうところをですね、
  • 00:33:06
    あの、十分に、え、割り当てていただく
  • 00:33:09
    必要がありますよというところでござい
  • 00:33:11
    ます
  • 00:33:12
    。で、同様にですね、え、ゲートウェイの
  • 00:33:15
    、え、ソフトウェア自体もですね、え、
  • 00:33:17
    メーカーとしては、ま、常に最新
  • 00:33:19
    バージョンにアップグレードをして、え、
  • 00:33:22
    それに、え、そのゲ、そのバージョンの
  • 00:33:26
    ゲートウェイに対応しているスノーフレの
  • 00:33:28
    ドライバーですね。これ、あの、
  • 00:33:29
    ゲートウェイの中で、え、確認することが
  • 00:33:31
    できますので、え、スノーフレークの
  • 00:33:33
    ドライバーもそのバージョンを当てて
  • 00:33:35
    いただくっていうことが重要になります。
  • 00:33:37
    あの、ゲートウェイのですね、ま、何台も
  • 00:33:39
    例えば使ってるとあるいはその
  • 00:33:41
    ゲートウェイ自体も非常に頻繁に更新が
  • 00:33:43
    かかりますので、えー、アップ、
  • 00:33:46
    アップデートするの、あ、アップグレード
  • 00:33:47
    するのがなかなか大変だったりと考え
  • 00:33:49
    られるかもしれないんですけれども、あの
  • 00:33:51
    、ゲートウェイ自体のアップグレードの
  • 00:33:53
    手順もですね、非常にあの、シンプルです
  • 00:33:55
    ので、あの、そちらも、ま、コマンド1発
  • 00:33:58
    でですね、基本的には、あの、アプデ、
  • 00:34:00
    アップグレード自体はできますので、あの
  • 00:34:02
    、できればですね、最新の状態、え、
  • 00:34:04
    少なくとも、ま、あの、え、サポートが
  • 00:34:07
    切れるようなことはないようにですね、
  • 00:34:09
    あの、ご利用いただくっていうのがお勧め
  • 00:34:10
    、え、して、え、おります。はい。で、
  • 00:34:13
    あの、スノーフレク向けの、え、最適化
  • 00:34:17
    っていうところもですね、ゲートウェイの
  • 00:34:18
    、ま、改善というところで行われており
  • 00:34:20
    ますし、クリック側でも行っておりますし
  • 00:34:22
    、ま、当然スノーフレクもドライバーの
  • 00:34:24
    ですね、え、改良を行っているかなと思い
  • 00:34:27
    ますので、え、ま、そういった面でもです
  • 00:34:29
    ね、単純に、ま、エラー、え、ま、んです
  • 00:34:32
    かね、不具合が出るというレベルではなく
  • 00:34:34
    て、え、単純にその、え、データロードの
  • 00:34:37
    、ま、データの処理のですね、
  • 00:34:38
    パフォーマンス向上であったり、ま、より
  • 00:34:39
    効率的にクレジット消費するというところ
  • 00:34:43
    もですね、え、期待できるんではないかな
  • 00:34:45
    という意味でもですね、え、是非、ま、
  • 00:34:47
    ゲートウェイは常に最新の状態でお使い
  • 00:34:49
    いただくというのをお勧めしております。
  • 00:34:58
    え、そして、え、続いてですけれども、
  • 00:35:02
    え、スノーフレークのデータ接続を
  • 00:35:04
    クリック上で作る時にもですね、え、ま、
  • 00:35:06
    スノーフレークの、え、先ほどの、ま、
  • 00:35:08
    ユーザーをですね、使っていただく必要が
  • 00:35:10
    あります。え、当然使う必要があるんです
  • 00:35:12
    けれども、え、それもですね、あの、
  • 00:35:15
    クリック専用のユーザーを使って、え、
  • 00:35:17
    作っていただいてかつ、ま、え、そこに
  • 00:35:19
    専用のスノーフレクのウェアハウスをです
  • 00:35:21
    ね、え、割り当てていただくというのが
  • 00:35:24
    いいんではないかなというところでござい
  • 00:35:26
    ます。ま、これあのスノーフレック側の話
  • 00:35:28
    ではありますけれども、え、分析だったり
  • 00:35:30
    ETLとかのですね、他のクエリットです
  • 00:35:32
    ね、え、分けていただく方がですね、より
  • 00:35:35
    効率的に、え、データのロードができるん
  • 00:35:39
    じゃないかなというところでございます。
  • 00:35:42
    で、スノーフレのウェアハウス自体もです
  • 00:35:44
    ね、あの、ま、皆様ご存知の通り、あの、
  • 00:35:47
    垂直水平にですね、ま、スケールすること
  • 00:35:49
    ができますので、ま、そこも合わせてです
  • 00:35:52
    ね、え、ま、CDCものもですね、え、
  • 00:35:55
    ものによっては一時的にですね、非常に
  • 00:35:59
    負荷がかかるようなですね、あの、ケー
  • 00:36:01
    スっていうのも、ま、あるんじゃないかな
  • 00:36:03
    と思いますので、ま、そういったところで
  • 00:36:05
    、え、スノフレック側のチューニングと
  • 00:36:07
    いうのも合わせてですね、え、ご検討
  • 00:36:09
    いただくといいかなという風に思います。
  • 00:36:13
    で、ま、こういったところをですね、あの
  • 00:36:15
    、どこをチューニングすればいいのかと、
  • 00:36:17
    え、いうところもですね、あの、ま、重要
  • 00:36:19
    になりますので、え、クリック側ではです
  • 00:36:23
    ね、そのプロジェクトの、ま、監視タブに
  • 00:36:25
    あるですね、そのモニター、え、ログと
  • 00:36:27
    いうところを、え、常に確認して、え、
  • 00:36:31
    いただくていうのが、え、必要になるかな
  • 00:36:33
    と思いますと。ま、何か不具合があれば
  • 00:36:36
    ですね、あの、ライセンスご契約のお客様
  • 00:36:39
    であれば優勝、え、ま、サポ、テクニカル
  • 00:36:41
    サポートもですね、ご利用いただけるかと
  • 00:36:43
    思いますので、ま、ログを見ていただいて
  • 00:36:45
    、え、そこで、ま、診断パッケージという
  • 00:36:48
    ですね、え、ログと、ま、関連ファイルを
  • 00:36:50
    一括でダウンロードするような機能もあり
  • 00:36:52
    ますので、ま、それと合わせてですね、
  • 00:36:54
    ケースを起していただくですとか、え、
  • 00:36:56
    そういった形で、え、やり取りして
  • 00:36:58
    いただくと、ま、クリック側のエラーに
  • 00:37:00
    ついてはですね、え、ま、迅速に対応する
  • 00:37:02
    ことが、え、側もできるののではないかな
  • 00:37:05
    という風に思います。で、合わせてですね
  • 00:37:07
    、あの、スノーフレク側も、あの、当然、
  • 00:37:10
    え、どっかで例えばCDCが止まって
  • 00:37:11
    しまってない、え、止まってしまってる
  • 00:37:13
    ような状況とかっていうのはありますので
  • 00:37:15
    、え、ちゃんとターゲット側に、え、
  • 00:37:17
    ファイルがプットされてるかとかですね、
  • 00:37:19
    え、その後、え、クエリがちゃんと発行さ
  • 00:37:22
    れてるかとかですね、どこで、あの、その
  • 00:37:25
    実行がですね、止まってしまっているか
  • 00:37:27
    みたいなところをですね、え、スノフレク
  • 00:37:29
    側でも、え、クエリのヒストリーですとか
  • 00:37:30
    、ま、そういったところを確認して、え、
  • 00:37:33
    いただくとですね、え、いいんではないか
  • 00:37:35
    なと思います。ま、よくそのターゲットの
  • 00:37:38
    スノーフレークのまずあのなんですかね、
  • 00:37:40
    CSVのファイルをプットして
  • 00:37:42
    ステージングにプットしてでそれを、え、
  • 00:37:45
    プットのけ、え、実行結果を受けてですね
  • 00:37:47
    、え、次にテーブルへのその、え、データ
  • 00:37:51
    のロードとクエリーの発行というところを
  • 00:37:53
    ですね、ゲートウェイから行っていただく
  • 00:37:54
    という、ま、そういったなんですかね、2
  • 00:37:56
    段階になるわけですけれども、え、ま、
  • 00:37:58
    プットした結果がですね、え、
  • 00:38:00
    スノーフレク側からそのプットが通っ
  • 00:38:03
    たっていう結果が帰ってこないとですね、
  • 00:38:04
    ゲートウェイは次のあのファイルを処理
  • 00:38:07
    するというあ、データをロードするという
  • 00:38:09
    ですね、あの処理を、え、指示を送りませ
  • 00:38:11
    んので、ま、どこでそのゲートウェイと
  • 00:38:13
    スノーフレークとのやり取りがですね、
  • 00:38:15
    あの、途切れてしまうのかっていうところ
  • 00:38:17
    をですね、ま、あの、見る際にも必ずです
  • 00:38:20
    ね、そのスノーフレーク側のクエリの
  • 00:38:21
    ヒストリーっていうのは、あの、見て
  • 00:38:24
    いただく必要がありますので、え、ま、
  • 00:38:26
    そこをですね、合わせて確認いただくのが
  • 00:38:29
    、え、いいかなという風に思います
  • 00:38:32
    。はい。今日はですね、あの、非常に、え
  • 00:38:35
    、トーク中心になってますけれども、え、
  • 00:38:38
    の内容としては、え、以上というところに
  • 00:38:41
    なります。ま、あとは画面でですね、少し
  • 00:38:43
    だけご覧いただくと、ま、スノーフレック
  • 00:38:46
    であれば、ま、先ほど、ま、別にいいかな
  • 00:38:49
    各種、え、を、え、お伝えした
  • 00:38:52
    パラメーターとかですね、クライエント
  • 00:38:54
    セッションキーパーアライブの、え、
  • 00:38:56
    オルタユーザーのクエとかですね、え、
  • 00:38:59
    いうところですとか、あとは、え、タスク
  • 00:39:03
    内の設定の画面ですかね。
  • 00:39:13
    え、これが、え、ま、とあるデモ
  • 00:39:15
    プロジェクトで、ま、ま、ASQLが
  • 00:39:17
    ソースになって、スノーフレークが
  • 00:39:19
    ターゲットになってるんですけど、ま、
  • 00:39:21
    ランディングタスクがここにありますと。
  • 00:39:23
    で、ランニングタスク開けていただくと、
  • 00:39:26
    今ちょっと実行中なので、あの、監視側の
  • 00:39:29
    タブがですね、デフォルトで開きますけど
  • 00:39:32
    、ま、設計タブの方に、行っていただくと
  • 00:39:35
    、ま、おなじみのタスクの設定画面が出て
  • 00:39:37
    きまして、で、その真ん中上あたりにです
  • 00:39:40
    ね、設定というボタンがありますので、ま
  • 00:39:42
    、ここから、え、いろんなパラメーター
  • 00:39:44
    チューニングしていくということになり
  • 00:39:45
    ますというとこですね。で、え、ま、
  • 00:39:49
    データのまずファイルのアップロード
  • 00:39:51
    サイズですね。あの、デフォルト100に
  • 00:39:53
    なってますけど、ま、水奨では200とか
  • 00:39:55
    、え、もっと大きく、ま、2000とかに
  • 00:39:57
    しちゃってもいいんですけれども、え、
  • 00:39:59
    ここのサイズを、え、増やすということが
  • 00:40:02
    できますよと。で、あとは、え、変更処理
  • 00:40:06
    のチューニングのところですね。え、いく
  • 00:40:08
    つかありますけど、
  • 00:40:12
    えっと、資料でご紹介したのはバッチ
  • 00:40:14
    チューニングのとこですかね。え、その
  • 00:40:15
    マイクロバッチの感覚、え、時間感覚と、
  • 00:40:18
    え、それから、え、サイズですね、え、と
  • 00:40:21
    いうのを、え、最大値をですね、ここで
  • 00:40:23
    設定することはできるので、え、ま、
  • 00:40:25
    デフォルトよりも少しこう多めに長めに
  • 00:40:28
    ですね、え、していただくとかですね、え
  • 00:40:31
    、処理メモリもですね、増やしていただく
  • 00:40:33
    とかですね、いう風に、え、していただく
  • 00:40:36
    といいかなと。で、合わせて同じ
  • 00:40:38
    バッチューニングの中にあるんですね、
  • 00:40:39
    この一括変更を複数のテーブルに同時
  • 00:40:42
    できようというところですね。これあの
  • 00:40:43
    デフォルトでオフになってるので、え、
  • 00:40:45
    特にあの口術の問題がなければオンにして
  • 00:40:48
    いただくというのがいいかなと思います。
  • 00:40:50
    で、今あのオンにすると出てきましたけど
  • 00:40:53
    、え、エラー処理の、え、中でですね、
  • 00:40:55
    レコードを無視するっていうオプションが
  • 00:40:57
    ですね、ありますので、ここですね。え、
  • 00:41:01
    どこかな?こかな
  • 00:41:04
    ?あ、そうですね。ま、この辺とかに出て
  • 00:41:07
    くるんですけど、ま、それがあのオフに
  • 00:41:08
    できない。あの、無視するというですね。
  • 00:41:11
    え、普通ですとこうタスクが止まったり
  • 00:41:13
    テーブルが、え、そのテーブルの処理だけ
  • 00:41:15
    一時停止したりとかっていうオプション
  • 00:41:17
    だけになってるんですけど、え、こちらを
  • 00:41:20
    オフにすると確かここじゃないか。あ、
  • 00:41:25
    ここですね。え、データエラーの時にです
  • 00:41:27
    ね、え、ま、無視するっていうような
  • 00:41:28
    オプションが出てきてですね、選べるよう
  • 00:41:31
    になってると、ま、無視して、ま、データ
  • 00:41:32
    エラーを起こしても、ま、そのままタスク
  • 00:41:34
    止めずに、え、レプリケーションを続ける
  • 00:41:36
    と、え、いうようなですね、え、ことが
  • 00:41:38
    できるんですけど、え、ま、
  • 00:41:40
    マイクロバッチのですね、さっきの、え、
  • 00:41:42
    この一括、え、複数テーブルの並行して
  • 00:41:45
    適用するっていうオプションオンにすると
  • 00:41:47
    、先ほどの無視するっていうオプション、
  • 00:41:49
    エラー処理はですね、え、使えなくな
  • 00:41:51
    るっていうような、ま、若干のトレード
  • 00:41:52
    オフは、え、存在するということになって
  • 00:41:55
    ます。はい。あとは、ま、資料では紹介し
  • 00:42:00
    ませんでしたが、この変更処理の中の、え
  • 00:42:03
    、トランザクションオフロードのチュー
  • 00:42:05
    ニングっていうのもありますね。こちらも
  • 00:42:07
    、あの、ま、基本的にこのゲートウェイは
  • 00:42:10
    ですね、あの、先ほどのバッチの処理と
  • 00:42:13
    いうところでですね、え、メモリー上で、
  • 00:42:16
    え、ま、トランザクションを処理するって
  • 00:42:17
    いうのが基本的な動きになります。メモリ
  • 00:42:19
    上で、ま、高速に処理するという風になる
  • 00:42:22
    んですけど、ま、え、大きな
  • 00:42:23
    トランザクションとかですね。え、いうの
  • 00:42:25
    発生した時にメモリに乗り切らないような
  • 00:42:28
    時にですね、ま、ディスクにスワップする
  • 00:42:30
    と、え、ま、え、負荷をですね、オフ
  • 00:42:32
    ロードするっていうような、え、動きをし
  • 00:42:35
    ますと。で、その、ま、え、式位置って
  • 00:42:37
    いうんですかね、え、ここまでメモリー
  • 00:42:39
    サイズ使っていいですよっていうような
  • 00:42:40
    ところが、え、ここでですね、え、ま、
  • 00:42:42
    指定することができます。ま、メモリー
  • 00:42:44
    サイズもしくはトランザクションに、え、
  • 00:42:46
    処理にかかる時間ですかね、え、あ、
  • 00:42:49
    トランザクション自体の時間ですかね。え
  • 00:42:51
    、ま、秒数っていうのと、え、指定する
  • 00:42:53
    ことができて、え、ま、例えばメモリー
  • 00:42:55
    サイズで言えば通常と、ま、1GBですか
  • 00:42:57
    ね、え、指定、え、がデフォルトになって
  • 00:42:59
    ますけど、え、これ、ま、あのなんですか
  • 00:43:02
    ね、え
  • 00:43:04
    、1GBだから、まだ4テラとかですかね
  • 00:43:07
    、え、上げられると、え、いうような
  • 00:43:09
    ところですね。え、ま、当然あのサーバー
  • 00:43:11
    のサイズメモリの容量あると思いますけど
  • 00:43:14
    、え、それ、え、までですね、限界まで
  • 00:43:17
    開けるということも一応できるようになっ
  • 00:43:19
    てるというところですね。はい。という
  • 00:43:22
    ような、ま、この辺の処理をしていただい
  • 00:43:24
    て、え、からですね、実行すると、え、ま
  • 00:43:27
    、パフォーマンス改善に繋がりやすいと
  • 00:43:30
    繋がるというところでございます。はい。
  • 00:43:34
    で、え、今回の、
  • 00:43:36
    [音楽]
  • 00:43:37
    えと、いろんなティップスですけれども、
  • 00:43:41
    え、当然あのクリックのヘルプサイトです
  • 00:43:44
    ね、クリッククラウドのヘルプサイトの
  • 00:43:45
    スノーフレターゲットのところにですね、
  • 00:43:47
    あの、まず基本的な情報を載ってます。
  • 00:43:49
    先ほどのあの1番最初に出てきたようなの
  • 00:43:52
    権限の話ですとか、え、キーピア認証の
  • 00:43:55
    認証の話ですとか、え、それから
  • 00:43:57
    プライベートリンクの注意点とかですね。
  • 00:43:59
    ま、この辺はヘルプサイトにもある程度
  • 00:44:01
    情報が載っております。で、もう1つです
  • 00:44:04
    ね、あの、え、後半にお話しした、え、
  • 00:44:07
    パフォーマンス、あ、ベストプラクティス
  • 00:44:09
    の話ですね。え、ここに関しては、え、
  • 00:44:11
    これ実は、あの、え、なんですかね、我々
  • 00:44:15
    のクリックコミュニティの、え、サポート
  • 00:44:17
    の記事にあります。え、この
  • 00:44:19
    クリックレプリケートベストプ
  • 00:44:20
    PRスフォースノフレドビシズというです
  • 00:44:22
    ね、え、クリック車内で、え、この
  • 00:44:24
    クリックレプリケートというですね、あの
  • 00:44:26
    オンプレミス型のソフトウェア
  • 00:44:28
    インストール型のですね、製品を、え、
  • 00:44:30
    使ってスノーフレクにCDCするという時
  • 00:44:33
    の、え、ベストプラクティスの、ま、あの
  • 00:44:36
    、検証と、え、実際に検証した時の、え、
  • 00:44:39
    まとめ記事みたいなものがですね、ま、
  • 00:44:40
    英語になりますけど存在しておりまして、
  • 00:44:42
    ま、この、え、記事をですね、これ
  • 00:44:44
    クリックレプリケート版なんですけれども
  • 00:44:46
    、この記事をベースに、え、
  • 00:44:50
    データムブベントゲートウェ、え、の方で
  • 00:44:52
    もですね、言えることと、え、適用できる
  • 00:44:55
    ことというのを、ま、今回ちょっと
  • 00:44:56
    取りまとめて、え、少し編集をして、え、
  • 00:44:58
    ご提供したということになります。え、
  • 00:45:02
    実際にはあのレプリケートを使ってですね
  • 00:45:04
    、あのゲートウェイと、ま、エンジンは
  • 00:45:06
    あの共通しているんですけれども、その
  • 00:45:08
    クリックレプリケートを使って検証した、
  • 00:45:11
    え、ま、こういうテーブル、え、こういう
  • 00:45:12
    データベースで、え、実際にロードして、
  • 00:45:14
    え、スノーフレクの、え、クレジットが
  • 00:45:16
    どうだったとか、パフォーマンス後どう
  • 00:45:18
    だったみたいなですね、検証結果も含めて
  • 00:45:20
    、え、この記事にですね、細かい、え、
  • 00:45:22
    内容が載っていたりしますので、ま、
  • 00:45:24
    合わせて参考記事としてご紹介しておき
  • 00:45:26
    ましたので、合わせてですね、ご確認
  • 00:45:29
    いただければと、え、いう風に思います。
  • 00:45:33
    はい、では本日はですね、え、本編は以上
  • 00:45:36
    でございまして、お、あ、ABの、あ、
  • 00:45:40
    なんこれ変なことしちゃった。Q&Aが、
  • 00:45:44
    え、来てますね
  • 00:45:46
    。はい。え、記載いただいたバッチ感覚の
  • 00:45:51
    チューニングパラメーターについて
  • 00:45:53
    アカウント管理者が、え、デフォルトを
  • 00:45:57
    変更するような機能はありますかと。あ、
  • 00:46:00
    それは、え、クリック側で、あ、そういう
  • 00:46:03
    ことですね。あの、環境単位でデフォルト
  • 00:46:07
    を変更するっていうことは、あの、今の
  • 00:46:08
    とこそういった機能はないというところに
  • 00:46:10
    なります
  • 00:46:12
    。で、もう1つ質問ですね。え、タスクを
  • 00:46:16
    効率的に管理するためのクリッククラウド
  • 00:46:19
    の標準機能にはどういったものがある、ま
  • 00:46:22
    、ありますでしょうかというところですが
  • 00:46:25
    、ま、基本的にはどうですかね、効率的に
  • 00:46:29
    管理するっていうのは、あの、
  • 00:46:30
    プロジェクト単位で、あの、1つの画面で
  • 00:46:33
    、あの、いろんなこう、ランディングとか
  • 00:46:34
    ストレージとかタスクありますけど、ま、
  • 00:46:36
    そこからあの管理できるようになっている
  • 00:46:39
    といえばなっているというところですね。
  • 00:46:41
    え、というのと、あとはあの、ま、
  • 00:46:43
    ちょっとあの質問の意図に即してるか
  • 00:46:45
    分からないですけど、Gギitubとかも
  • 00:46:47
    ですね、最近サポートしましたので、ま、
  • 00:46:49
    そういったところで、え、ま、ま、文字
  • 00:46:52
    っていうかコードでですね、あの、一元的
  • 00:46:54
    に管理するなんていうことも、え、できる
  • 00:46:56
    かなというところでございます。これまだ
  • 00:46:59
    映ってるよね。え、で、ま、あの、そう
  • 00:47:01
    ですね、各タスクごとっていうところで
  • 00:47:03
    あれば、このタスクを開いて、ま、あの、
  • 00:47:05
    監視とか設計のところから見ていただくと
  • 00:47:08
    いうことになりますし、え、プロジェクト
  • 00:47:10
    単位っていうところであれば、ま、この
  • 00:47:12
    画面から、え、色々ですね、スケジュール
  • 00:47:15
    をこう表示したりですとか、ま、こういっ
  • 00:47:17
    た形で今の状態を一括で見たりですとか、
  • 00:47:22
    え
  • 00:47:26
    、ですとか、ま、あとギitの連携とか
  • 00:47:29
    ですねえ。あれ?あとどこだっけ?ここに
  • 00:47:32
    あれ
  • 00:47:33
    ?あれ?ここに出てこなかったっけ
  • 00:47:37
    ?あ、ま、こんな感じですかね。ちょっと
  • 00:47:40
    ごめんなさい。そんな感じかな。はい。
  • 00:47:43
    っていう形で、ま、ここUIで管理するか
  • 00:47:45
    、あとギットハブで管理するかという感じ
  • 00:47:47
    になるかなというところです。はい
  • 00:47:54
    。一旦質問は2
  • 00:47:56
    点のみだという理解で、あ、
  • 00:47:59
    もう1つあります。
  • 00:48:00
    回答済みに入ってるのか?回答済み。はい。あ、データブメントゲートへクリッククラウドのプライベートリンクはサポートしていないと理解していました。
  • 00:48:12
    え、今後提供する予定はありますかという
  • 00:48:15
    ご質問ですけど、え、クリッククラウド
  • 00:48:17
    自体はプライベートリンクを提供してい
  • 00:48:20
    ませんが、え、ま、当然あの今後提供さ
  • 00:48:22
    れる可能性も、ま、あるかもしれませんと
  • 00:48:25
    。え、ただ、ま、現時点で具体的な
  • 00:48:27
    スケジュールなどを公開できる情報は、え
  • 00:48:30
    、ございませんというところですかね。
  • 00:48:33
    はい。あの、グリッククラウドで、え、
  • 00:48:36
    ストレージタスクとかの、ま、クエリーを
  • 00:48:38
    ですね、発行して、え、スノーフレークに
  • 00:48:40
    送る時に、あの、ま、一旦ゲートウェの
  • 00:48:43
    サーバーまでですね、ま、そこまでは、
  • 00:48:45
    あの、クリッククラウドからゲートAまで
  • 00:48:46
    は当然インターネット通って、え、きます
  • 00:48:48
    よというところなんですよね。で、そこ
  • 00:48:51
    からゲートウェイから、え、VPC内の
  • 00:48:53
    ゲートウェイからスノーフレクに
  • 00:48:54
    プライベートリンクで、え、送るという
  • 00:48:56
    ような形になると、ま、そんなような接続
  • 00:48:59
    経路になってくるというところですかね。
  • 00:49:04
    はい、ではその他の情報に行きたいと思い
  • 00:49:07
    ます。え、クリックの、ま、我々
  • 00:49:10
    プリセルスのチームですが、ま、あの、
  • 00:49:12
    日々ですね、え、このテックプレイの各
  • 00:49:15
    サイトからイベント、ウェミナーなどの
  • 00:49:18
    告知を行っておりますので、是非、え、
  • 00:49:21
    グループの各グループのフォローをお願い
  • 00:49:23
    いたします。え、やっているものはですね
  • 00:49:25
    、さ、え、本日のような技術セミナー、
  • 00:49:28
    テックトークですとか、え、それから医療
  • 00:49:30
    データ勉強会、え、クリックティップス、
  • 00:49:32
    え、それから不定期で行っている
  • 00:49:34
    トレーニングとかですね。え、それから
  • 00:49:36
    ですね、え、近日中にあの詳細を発表する
  • 00:49:38
    と思いますが、え、今年も、え、クリック
  • 00:49:40
    データですね、コンテストをやりますので
  • 00:49:42
    、え、ま、そこ、え、そういったイベント
  • 00:49:44
    もですね、テックプレイの方でご案内をし
  • 00:49:47
    ていく予定でございます。で、現在ご予定
  • 00:49:50
    、あ、ご予定しているイベントとしまして
  • 00:49:53
    は、まずあのユーザーミートアップがです
  • 00:49:55
    ね、え、また行われます。え、こちら6月
  • 00:49:58
    18日の水曜日ですね。え、3時半から、
  • 00:50:02
    え、夕方まで、え、銀座周辺での開催と
  • 00:50:05
    なります。え、こちらですね、え、こ、
  • 00:50:08
    今回、ま、あの、ページに行っていただく
  • 00:50:10
    と、え、分かりますけれども、ええ、5者
  • 00:50:13
    ですかね、登壇が決まっておりまして、
  • 00:50:15
    クリックセンスの、え、ま、データ分析側
  • 00:50:18
    の話ですね、クリックセンスの実際の活用
  • 00:50:21
    ですとか、アプリを、え、見るようなです
  • 00:50:23
    ね、事例発表、それから、え、最新のです
  • 00:50:26
    ね、クリックアンサーズという、ま、ラグ
  • 00:50:27
    アプリケーション、LLM、LIのですね
  • 00:50:29
    、え、サービスありますけれども、ま、
  • 00:50:32
    そちらを、ま、国内で、え、実際に導入
  • 00:50:36
    いただいお客様がいらっしゃいますので、
  • 00:50:38
    ま、そのお客様からの発表ですとか、え、
  • 00:50:40
    そういったところもですね、あの、ご用意
  • 00:50:43
    しておりますので、是非ですね、え、ま、
  • 00:50:46
    雰囲気、楽しい雰囲気でやっておりますの
  • 00:50:47
    で是非、え、ビザウユーザーミートアップ
  • 00:50:50
    の方にもご参加、え、ご検討いただければ
  • 00:50:52
    と思います。え、そしてこのテック
  • 00:50:55
    トークなどのですね、Webブの、ま、
  • 00:50:58
    ウェビナーですけれども、え、来週5月
  • 00:51:01
    27、え、7日ですか、27日が、え、
  • 00:51:04
    こちらが、え、クリックタレンドクラウド
  • 00:51:07
    の、ま、データブリックスとの、え、
  • 00:51:08
    データ連携のベストプラクティスという
  • 00:51:11
    ですね。今日は、ま、スノーフレークでし
  • 00:51:12
    たが、来週はデータブリックスというのが
  • 00:51:14
    テーマになっております。え、そしてその
  • 00:51:16
    次の週が、え、ワッツニューですね、え、
  • 00:51:19
    クリックの、え、最新の、え、5月の
  • 00:51:22
    リリースされた最新機能のご紹介セミナー
  • 00:51:26
    でございます。こちら6月3日の火曜日
  • 00:51:29
    から火曜日の開催でございます。え、
  • 00:51:32
    そして、え、そのさらに翌習ですかね、6
  • 00:51:35
    月12日木曜日の、え、3時から1時間
  • 00:51:39
    ですね。え、こちらちょっとあの、テック
  • 00:51:40
    プレイえ側ではなくですね、あの、え、
  • 00:51:44
    なんですかね、弊社の、ま、え、公式の
  • 00:51:47
    サイトのあのマーケティングイベントの
  • 00:51:50
    ですね、ページから申し込めるようになっ
  • 00:51:51
    てるんですけれども、え、ウェブセミナー
  • 00:51:53
    ですね、え、データレイクハウスリアル
  • 00:51:56
    タイム統合の最前線というところですね。
  • 00:51:58
    ま、クリックが昨年、え、買収した、あ、
  • 00:52:02
    昨年今年ですかね、買収した、え、アップ
  • 00:52:04
    ソルバーというですね、あのオープン、え
  • 00:52:06
    、データフォーマットのですね、アイス
  • 00:52:08
    バーグに対応するというところでですね、
  • 00:52:11
    大きな方針を打ち出しておりますので、え
  • 00:52:13
    、その、え、データレックハウスに
  • 00:52:16
    クリック対応するってどういうことなん
  • 00:52:17
    だろうというところをですね、あの、弊社
  • 00:52:19
    のプリセウスの安倍の方からですね、え、
  • 00:52:22
    ご紹介があるというようなウェビナーも
  • 00:52:24
    予定しております。ま、アイスバーグです
  • 00:52:27
    ね、え、で、データレイクハウス非常に
  • 00:52:29
    注目を集めておりますので、え、こちらも
  • 00:52:31
    是非ですね、ご参加いただければと思い
  • 00:52:33
    ます。はい。で、本日の、え、資料含めて
  • 00:52:37
    ですね、あの、え、セミナーの動画や資料
  • 00:52:40
    というのは、え、先ほどのテックプレイの
  • 00:52:42
    ですね、イベントページに、ま、資料と
  • 00:52:44
    いうタブがですね、一両実にできますので
  • 00:52:46
    、え、アップロードされますので、ま、
  • 00:52:48
    そこからですね、え、確認いただけるよう
  • 00:52:50
    になってます。え、動画もですね、
  • 00:52:52
    YouTubeの方にもアップロードされ
  • 00:52:54
    ますし、え、資料は、え、合わせて
  • 00:52:56
    スライドシェアの方がですね、あの、
  • 00:52:58
    アップロードされますので、ま、それぞれ
  • 00:53:00
    の、え、プラットフォームでもですね、ご
  • 00:53:03
    確認いただけるようになってます。
  • 00:53:05
    え、クリックティプスですね。こちらは
  • 00:53:08
    クリックセンスを始めとするクリック製品
  • 00:53:10
    のですね、え、ちょっとした、え、なんて
  • 00:53:13
    言うんですかね、テクニックを毎回、え、
  • 00:53:15
    15分単位とかでご紹介しているような
  • 00:53:17
    勉強会ですけど、ま、こちらの過去
  • 00:53:20
    チップスもですね、え、YouTubeの
  • 00:53:22
    方に、ま、プレイリストでまとめ、
  • 00:53:24
    まとまっていますので合わせて、え、ご
  • 00:53:26
    確認ください。え、それから、え、
  • 00:53:29
    クリックセンス、BI2のクリックセンス
  • 00:53:31
    の、え、ハンズオンセミナーですね。え、
  • 00:53:34
    こちらも、え、ま、入門編から応用
  • 00:53:38
    編バンスですね。それから、え、実際の、
  • 00:53:41
    ま、ケースを想定した、え、実践的な売上
  • 00:53:45
    管理の作成と、ま、3つのですね、
  • 00:53:47
    ウェビナーがオンデマンドで、え、ご視聴
  • 00:53:49
    、え、いただけるようになっておりますの
  • 00:53:51
    で、え、BIツールの、え、操作の、え、
  • 00:53:54
    学習にはこちらのウェビナーを、え、ご
  • 00:53:58
    利用いただけれ、え、いただければ幸いで
  • 00:54:00
    ございます。
  • 00:54:02
    え、その他ですね、YouTube
  • 00:54:04
    コミュニティ、日本語のコミュニティ、
  • 00:54:06
    それから日本語のデモンアプリ、え、それ
  • 00:54:09
    から日本語のブログというものもですね、
  • 00:54:12
    クリックコミュニティなどであるいは
  • 00:54:14
    YouTube等々のですね、各
  • 00:54:15
    プラットフォームで提供しておりますので
  • 00:54:17
    、え、ご確認ください。クリックセンスに
  • 00:54:20
    関しては本ですね、え、電子書籍、それ
  • 00:54:23
    から紙の書籍も公評発売中でございますの
  • 00:54:25
    で、え、ご確認いただければとます。はい
  • 00:54:28
    。え、ということで、え、以上でですね、
  • 00:54:31
    少し早いですけれども、え、追加の質問も
  • 00:54:35
    来てえいないようですので、え、少し早い
  • 00:54:38
    ですがこちらで、え、終了したいと思い
  • 00:54:40
    ます。え、え、本日もですね、最後までご
  • 00:54:43
    成聴いただきまして、え、ありがとう
  • 00:54:45
    ございました。また来週の、え、セミナー
  • 00:54:47
    でお会いしましょう。え、ありがとう
  • 00:54:49
    ございました。
  • 00:54:52
    [音楽]
标签
  • Qlik
  • Snowflake
  • Data Integration
  • CDC
  • Best Practices
  • Webinar
  • Tech Talk
  • Performance Optimization
  • Authentication
  • Q&A