はじめに SQLFluffとは？ 導入の背景 SQLFluffの導入 SQLFluffをインストールする SQLFluffを試してみる .sqlfluffを作成する dbt templaterをインストールする SQLFluffの使用 CLIでの使用 dbt Cloud IDEでの使用 さいごに はじめに こんにちは、データエンジニアの加藤です。 クラシルのデータ基盤ではdbt(data build tool)を使ってデータを変換しデータウエアハウス・データマートを構築しています。 今回はdbtプロジェク

はじめに こんにちは、ニフティ インフラシステムグループ社内情報システムチームの仲上です。 先日、非エンジニアでもメール配信サービスからAPI経由で情報を取得できるように、Slack boltを使用してbotを作成しました。しかし、情報の取得・整形処理が想定より重く、エラーが頻発するようになってしまいました。その際にlazy listenerを使用してこの問題を解決したことについて紹介しようと思います。 Slack bolt と lazy listener 今回Slack botを作成するにあたって、機能

はじめに こんにちは、クラウドエース データ ML ディビジョン所属の後藤です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています

はじめに 2023年4月に入社した竹内博俊と池田柳之介と申します。 今年の3月にOpenAIはChatGPT APIを公開し、

目次 自己紹介 内定者時代にやっておけばよかったこと アウトプット（プログラミングに触れる） 読書 旅 最後に 自己紹介 こんにちは！新卒エンジニアのけんてぃです。 私は、授業でしかプログラミングに触れたことがないプログミング初心者です。 内定者時代は、技術書ばかり読みインプットばかり行っていて、 入社した当時は「プログラミング初心者でもなんとかなるだろうか」「本当にできるだろうか」など不安が多くありました。 今回は、エンジニア研修を通して得られた経験を元に、内定者時代に「やっておけばよかったこと3選」に

こんにちは、SRE ディビジョンの小堀内です。 今回も 前回に引き続き Google I/O 2023 で発表された Firebase の新機能 の中から紹介していきます。 本記事のテーマ Terraform integration to automate provisioning and configuration workflows （Terraform の統合によるプロビジョニングと構成のワークフローの自動化） 対象読者 Terraform に興味はあるが触ったことがない方 Terraform を通

こんにちは。 株式会社ココナラのインフラ・SREチーム所属の かず と申します。 今回は、Ansibleのメジャーバージョンアップを行ったため、その過程にて苦労したこと・工夫したことを紹介します。 進め方 まずはどのように進めるのかを検討します。 極端ですが、いきなり対象バージョンへあげて実行し、出てきたエラーを潰すという方法でも対応は可能です。実際にこの方法が最適な場合もあります。 しかし今回は、メジャーバーションアップであること、あとで述べる共通箇所に修正が多く必要となること、の2つがある程度わかって

ニフティ株式会社に新卒で入社した中井です。 突然ですが皆さん、退勤時の打刻を忘れたことはありませんか？ありますよね。私も入社してすぐの４月でやらかしました 背景 ニフティでは、勤怠管理のWebアプリ上で打刻ボタンを押してから退勤することになっています。私は自分をほとんど信じていないので、業務が終了する時刻に自動的にWebアプリのURLをブラウザを開くよう、Windowsのタスクスケジューラで設定していました。ところが… 起こったこと 研修の関係でいつもより早く業務が終了したので、打刻画面が自動的に表示され

こんにちは、カケハシの横田です。今回は我々の会社で実践しているテクノロジーについてお話しします。我々の開発チームは、日々 Apache Spark を活用し 100 個以上のバッチ処理を運用する中で、 AWS Glue という Apache Spark のマネージドサービスに大いにお世話になっています。 しかし、バッチ処理のテストを行う際にはいくつかの課題に直面します。特に想定外のデータへの網羅性を確認することが難しく、それを検証するために今までは本番データを使って毎回確認を行っていました。そうすると、1

ご挨拶

はじめましてTMです。私は普段ユーザー受入テストの設計、実装、実施まで一通り行う業務を担当しています。 この記事では、テスト分析・設計といったフェーズで、Chat GPTがどの程度活用できるのか実際に試したプロンプトと、得られた回答を紹介したいと思います。 AIにテスト設計をさせようと思った理由 生成AIであるChat GPTを活用することでテスト分析・設計が楽になるのでは？ 人間が考えた事と同じ事ができるか？ 今回AIを使って行なったこと テスト分析において人間が抽出したテスト要素と同じレベルでAIがテ

はじめに こんにちは！株式会社SHIFT（以下SHIFT）の能力開発部で、コミュニケーションやリーダーシップ教育を担当している岡田洋輔(ようさん)です！

マネージドサービス部 佐竹です。本ブログでは、AWS CLI を MFA を都度入力せずにスイッチロールと共に12時間連続で利用する方法として、実際のコマンドと設定について記載しています。この内容に関するブログは世の中に色々あると思うのですが、今回は比較的 AWS CLI 初心な方向けになるべく詳細な検証結果を添えてお伝えします。

はじめに 皆さんこんにちは。 SHIFTの第二新卒で自動化エンジニアの山根です。