# Apache AirflowのPoCをした話 はじめに 弊社『DELISH KITCHEN』のデータプラットフォーム上では、日々発生するデータをLakehouseプラットフォームに集約しており、Databricks上で処理される多数のETLジョブが存在しています。しかし、現在利用しているジョブ管理ツールでは、Databricksのジョブ同士の依存関係を細かく設定することが出来ず、実行ジョブが肥大化してしまう問題があります。 これらを適切な粒度で依存関係を設定出来るようにするため、DAGによるワークフロ

エンジニアの久保です。 ある日、GitLab CI を利用しているプジェクトで job を動かしたら以下のエラーで失敗するようになりました。 このときの対処方法をまとめました。 Running on runner via abcdef... Fetching changes... Reinitialized existing Git repository in /builds/example/example.com/.git/ error: RPC failed; curl 18 transfer clo

CI部 佐竹です。 本日は恒例の「東京リージョンで構築可能なインスタンスタイプのアベイラビリティーゾーン別一覧表」の更新ブログとなります。本ブログの最新情報については上記リンクより最新記事をご参照ください。 はじめに 結果(アベイラビリティーゾーン別一覧表) 前回からの変更点 マネジメントコンソールから確認 実際に構築してみました 前回のブログ まとめ インスタンスタイプ変更時の注意点 2021年8月25日 追記 はじめに 前回紹介させて頂きました、新しいインスタンスである M6i インスタンスが東京リー

弊社で毎月開催し PHP エンジニアの間で好評いただいている PHP エンジニアのための勉強会『 PHP TechCafe』。2021年7月のイベントでは社外でご活躍されている PHP エンジニアにもご参加いただいて「PHPerの今とその先」について語り合いました。今回はその内容についてレポートします。 rakus.connpass.com PHPerの今とその先 PHPの基本知識 PHPの歴史 1990年代の黎明期 2000年代以降の機能強化 PHPエンジニアの人口／人気／キャリア 言語別の求人数ではP

こんにちは、上野です。 前回に引き続き、Google Cloudのセキュリティ設定第２弾です。今回は監査ログ（Cloud Audit Logs）です。 監査ログは「誰が、いつ、どこで、何をしたか」を残すログで、AWSだとCloudTrailですね。目的はAWSと同じなのですが、設定方法や見え方がけっこう異なるので、概要を掴みつつ追加の保存設定を見ていきます。 Google Cloudの監査ログ 監査ログには、管理アクティビティ監査ログ、データアクセス監査ログ、システムイベント監査ログ、ポリシー拒否監査ログ

最近ランニングを始めたCI部2課の山﨑です。 今回はOrganizationsを用いたAWS環境を構成する上で、主要なセキュリティサービスを組織で一括で有効化する方法を整理しました。 はじめに Organizations組織への展開イメージ セキュリティサービスの設定方法一覧 First Step AWS CloudTrail AWS Config AWS Config Aggregator Second Step Management Account にて委任ならびに自アカウントでのセキュリティサービス

CI部の村上です。 今回はEKSのノードにデプロイ可能なPodの数をDatadogで見てみたという話です。 はじめに 今回検証した環境 ノードにデプロイできるPod数に制限があるのはなぜか インスタンスタイプごとの最大Pod数 実際に確かめてみる そもそも監視する必要があるのか Datadogで監視する ノードにデプロイできる最大Pod数 現在ノードにデプロイされているPod数 まとめ はじめに 今回検証した環境 t3.smallのノードが1つだけある構成です。 administrator:~/envir

CI部 佐竹です。本日は、AWS Organizations に統合された AWS Config をメンバーアカウントに委任した後、AWS Config アグリゲーターを活用したデータ集約の設定方法について記載します。AWS Config Rules の状況を組織（Organization）でまとめて閲覧されたい方にお勧めの機能です。

はじめに 関数名 処理内容を想像できる名前をつける 具体的な意味の英単語を使う まとめ はじめに PE部の谷です。 関数名や変数名、ファイル名をどうすれば良いか悩むことが多々あるので、調べてみました。 関数名 処理内容を想像できる名前をつける 関数名で処理内容を表せれば、関数の実装を見る必要がなくなり、コードを読む人が楽になります。 def item_csv(item): with open('item.csv', mode='w') as f: f.write(item.name) これでは処理内容が伝

はじめに こんにちは。アプリケーションサービス部の柳田です。 Serverless Framework を使って、Lambda の Provisioned Concurrency を設定する機会があったため、設定手順と確認したことを記載します。 また、細かい説明は省略しますが「Serverless Framework」 と 「Lambda の Provisioned Concurrency」については以下の通りです。 Serverless Framework サーバーレスアプリケーションの構成管理やデプロ

こんにちは。 株式会社 ラク スで先行技術検証をしたり、ビジネス部門向けに技術情報を提供する取り組みを行っている「技術推進課」という部署に所属している鈴木（ @moomooya ）です。 今回は最近プライベートで利用するようになったフロントエンド フレームワーク の Next.js について、使えるようになるまでに参考にした情報などをまとめようと思います。 Next.jsは ホスティングサービスを提供するVercel 社が開発しているReactベースのフロントエンド フレームワーク です。このNext.j

はじめに Rain Rainとは おすすめポイント 使ってみた インストール テンプレート作成 デプロイ 削除 まとめ はじめに PE部の谷です。 先日、AWS CloudFormationを触っていたら、たまたまRainというCLI実行ツールがあることを知りました。 使ってみたら便利だったので共有します。 Rain Rainとは AWS CloudFormationテンプレートとスタックを操作するためのコマンドラインツールです。 リソースを指定したら、そのリソースに合わせたテンプレートを自動で作成してく

NewsPicks のプロダクト開発組織のビジョンをつくったら、すごいパワーが生まれた話です。なぜチームビジョンを作ったのか・どう作ったのか・どんな効果があったのかを解説します。

PySpark SQLの簡単な紹介と、実際PySpark SQLを使ってみます。

PySparkスクリプトを書くときに、知っておいたらいい概念とポイントをまとめました。