こんにちは。Data Engineeringチームの河野(@matako1124) です！ Airflowで依存関係の設定にExternalTaskSensorを使っているのですが、ExternalTaskSensorを使用する時は、以下2つを注意しなければいけません。 実行時間が同じでなければいけない DAG名、Task名も正確に記載しないといけない これを間違えてしまうと、Pokingし続けてしまいます。 特にリファクタでDAG名やTask名が変わるといったことはよく起こりうると思います。 今回は「D

こんにちは。Data Engineeringチームの河野(@matako1124) です！ Airflowで依存関係の設定にExternalTaskSensorを使っているのですが、ExternalTaskSensorを使用する時は、以下2つを注意しなければいけません。 実行時間が同じでなければいけない DAG名、Task名も正確に記載しないといけない これを間違えてしまうと、Pokingし続けてしまいます。 特にリファクタでDAG名やTask名が変わるといったことはよく起こりうると思います。 今回は「D

はじめに ドキュメントを残さないといけないことはなんとなくわかる。 なのでNotionなりkibelaなり社内で使うツールにちょこちょこドキュメントを残していたりもする。 だけどさ、残したドキュメント見られてます？使われてます？ 本当に大事なことは自分が理解できるドキュメントではなく、読者が理解できるドキュメントを残すことなんじゃないか・・・!? ちなみにタイトルはbingが考えてくれました。 執筆のきっかけ 業務でAmazonPersonalizeを利用した機械学習、推論の作業を引き継ぐこととなった。

はじめに 初めまして！株式会社ココナラの第1期新卒メンバーとして4月からジョインしました、Falcon（ファルコン）と申します。 本記事では、入社に先立ち1月末から3月末にかけて参加した、内定者インターンシップについて書いていきたいと思います。 自己紹介 私は2023年1月から3月末までは、内定者インターンシップとしてアプリ開発グループ・Androidチームに所属し、4月からは正式にココナラ新卒一期生としてジョインしました。 高校・大学の7年間を「早押しクイズ」に捧げてしまったちょっとヘンな人です。私の青

エンタープライズクラウド部の松田です。こんにちは。 IAM Identity Centerを使ったコマンドラインツールからのアクセスを試してみたので、方法や注意点などをまとめてみます。 ※ちなみにAmazon Linux 2023で試しています。 発端 アクセス方法 AWS IAM Identity Center credentials を使う 手順1. aws configure sso を実行 手順2. 表示された URL にアクセス 手順3. 認証コードを入力 手順4. AWSアクセスポータルにサイ

無料で利用できる「さくらのクラウドシェル」が2023年5月25日（木）にリリースされました。この機会に「シェルに触ってみようかな」と考えている方向けに、さくらのクラウドシェルの使い方を簡単に紹介します。 さくらのクラウド […]

こんにちは。FAANSブロックiOSチームの加藤です。 日本時間の6月6日から10日にかけて WWDC23 が開催されました。 WWDC23では、空間コンピュータ「Apple Vision Pro」を始め、iOS 17、SwiftDataなどワクワクする発表が目白押しでした。 今年は去年と同様に、抽選に当選すれば現地で開催されるApple Parkのパブリックビューイングにも参加できました。ZOZOからは2名が当選して、現地に赴きました！ 本記事では、WWDC23におけるZOZOのiOSアプリ開発メンバー

Seleniumとは Seleniumの特徴 SeleniumはWebブラウザの操作を自動化することができるフレームワークです。現時点のSeleniumのコンポーネントは、簡単にブラウザ操作をレコードして再生できる「Selenium IDE」、プログラミング言語を利用してより複雑な操作を実現できる「Selenium WebDriver」、Selenium WebDriverを複数のOSやブラウザで動かすことができる「Selenium Grid」があります。 オープンソース（Apache License V

カイポケフルリニューアルプロジェクトの2つのチームのモブプロ事情 「カイポケ」のフルリニューアルプロジェクト で開発を行っている soranakk と setoh の所属しているそれぞれのチームでは、モブプログラミング(モブプロ)が盛んに行われています。今回はモブプロについて、良いところや注意しないといけないところ、工夫して改善しているところについて聞きました。 話し手の紹介 soranakk : プラットフォームチームに所属する元Androidエンジニア。Kotlinを使ったバックエンドやReactを使

Amazon ECS (Elastic Container Service) のタスクを実行・停止する2つのアクションが、Cloud Automatorに新しく加わりました。 「ECS: タスクを実行 (Fargate)」アクション 「ECS: タスクを停止」アクション 概要 今回リリースされた2つのアクションは、主なターゲットとして「開発環境や検証用途のために、ECSのタスクをFargateで実行している方」を想定しています。 常時稼働が不要なタスクをECSで実行・停止する場合には以下のような方法があり

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 みずほリサーチ&テクノロジーズ株式会社の舘山と申します。 当記事では Cloud Monitoring 指標スコープ を活用して複数プロジェクトを横断してリソースの消費状況をモニタリングする事例を紹介します。 当ブログは G-gen × みずほRT によるコラボ記事です はじめに 複数プロジェクトとオンプレミス環境の接続 個別システムと共通基盤の役割分掌 VPC ピアリンググル

こんにちは。 セーフィーで知財のマネージャーをしている渡辺と申します。 セーフィーでは、2022年1月に知財部門を立ち上げ、それと同時に私が入社して知財の体制づくりを進めてきました。 そこから約１年半が経ち、知財の基本的な機能は整ってきて、最近では特許もいくつか登録されてきましたので、今回はそれら特許からセーフィーの技術のトレンドを読み解いてみようと思います。 トレンド① ◆特許7279241 ◆特許7265072 ◆特許7227423／特許7271803 トレンド② ◆特許7159503 さいごに トレ

要約 Vertex AI Pipelines の scheduler API がプレビューリリースされた。 これまで Vertex AI Pipelines の定期実行は、Cloud Scheduler などの他プロダクトを利用する必要があった。 scheduler API により、Vertex AI Pipelines の定期実行を Vertex AI だけで可能になった。 1. はじめに こんにちは、クラウドエース データML ディビジョン所属の田中です。 クラウドエースのITエンジニアリングを担うシ

はじめに こんにちは、KINTOテクノロジーズで、決済プラットフォームの開発チームに所属している西田です。 今回は、以前 こちら でも紹介した社内向けの決済に関する業務システムのバックエンドを AWS SAM で構築したお話をしたいと思います。 AWS SAM とは まずはじめに AWS SAM（Serverless Application Model）とは、Lambda や API Gateway などのサーバーレスなサービスを簡単に構築・デプロイができるツールです。AWS SAM を利用することで、我

Vertex AIのTimeseries Insights APIとは はじめに こんにちは、クラウドエース データML ディビジョン所属の直江です。 データML ディビジョンとはクラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門としております。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その