PySpark SQLの簡単な紹介と、実際PySpark SQLを使ってみます。

PySparkスクリプトを書くときに、知っておいたらいい概念とポイントをまとめました。

スマートキャンプ、エンジニアの入山です。 前回のブログで、弊社プロダクトのインフラをEC2基盤からECS/Fargate基盤へ移行した話を紹介しました。 tech.smartcamp.co.jp 上記プロジェクトは大規模なインフラの刷新だったこともあり、CI/CDについても従来の仕組みからECS/Fargateの構成に合わせて変更しています。 CI/CDは、安定したプロダクト開発には必須且つ長期に渡って継続的に利用するものなので、いかにストレス少なく効率的に出来るかが重要だと考えています。 また、CI/C

対象読者 マイクロサービス化を検討しており、実際に作る場合の構成を参考にしたい。 ドメイン駆動設計について、基本的な用語の知識がある。 TypeScript を多少触ったことがある。理解がある。 はじめに こんにちは。エンジニアの吉村です。 現在、弊社が運営する teratail というサービスに携わっており、CakePHP で動作しているモノリシックな既存サービスをマイクロサービスに移行するというプロジェクトを進行中です。 この記事では、実務を通して得た知見として、マイクロサービス化によりどんな恩恵があ

こんにちは、コーポレートエンジニアリング部の竹田です。ZOZOテクノロジーズでは昨今の情勢を受け、日本全国どこに居住していても就業可能な 全国在宅勤務制度 を導入しています。また、ZOZOにおいてもアフターコロナを見据えた 週2出社・週3リモート というハイブリッドな働き方の導入を予定しています。 座席管理システム導入の経緯 そのような新しい働き方に対応すべく、本社屋である西千葉オフィスはフリーアドレスを導入しています。異なるワークスタイルを持つ2社の社員が利用するオフィスですので、それぞれの要望を満たす

PySparkで使用されるDataFrameというオブジェクトがどのようなものなのかを見てみます。

こんにちは！技術2課、濱岡です。 最近、カメラがついている耳かきを買いました。 耳かきをやりすぎることが多いのですが、これを買ってからやりすぎて傷がついたってのが減りました。 さて、今回はAmazon Cognitoの送信元メールアドレスを変更する方法をやってみます。 はじめに 前提としましてドメインは取得済みとします。 以下の手順でやっていきます。 ドメインの登録 トピックとサブスクリプションの作成 受信ルールの設定 メールアドレスの登録 メールアドレスの検証 Cognitoに設定 では実際にやってみま

こんにちは。Amazon Connect専任担当の丸山です。 今回はサーバーワークスの代表電話をAmazon Connectに変更してどのように効率化できたのかを数字で共有させていただきます。 代表電話のAmazon Connect化 オフィスにおける電話対応の背景 Amazon Connect導入だけで得られる効果 【効率化1】転送を回避する 【効率化2】電話にできるだけでない、という選択 どのくらいの成果があったのか 応対種別比率 着信番号の登録率 登録済み番号の応答種別比率 Amazon Conne

雨の日が気持ち良い季節ですね。 プロセスエンジニアリング課の礒です。こんにちは。 今回は ECS Fargateタスクに SSM からログインしたい方向けのTipsをご紹介します。 概要 まず、Amazon EC2 (以下 "EC2" )インスタンスや Fargate コンテナに AWS Systems Manager (以下 "SSM" )からログインするには、以下の作業が必要です。 (各機能の詳細については本記事では割愛させていただきます。) [インスタンス側] SSM エージェントのインストール [

こんにちは。 宿泊事業本部のいがにんこと山口です。 id:igatea 去年同様ヤフー社内で毎年開催されているハッカソンイベント「Internal Hack Day」が先日7/31～8/2に開催されました。 そのハッカソンに去年参加していたZ Holdingsのアスクル、一休、PayPay、ZOZOテクノロジーズに加えてLINEの参加が決定し計6社での開催となりました。 今年は自分と同僚に加えて、LINEの方とチームを組み参加させていただきました。 この記事ではInternal Hack Dayに参加して

CTOの海老原です。 これまでカケハシでは、情報発信するためのメディアとして コーポレートブログ は運用していましたが、いわゆる技術ブログ・開発ブログのようなものについては創業五年経った今に至るまでやってきませんでした。それはひとえに「顧客に価値を届けることに集中したい」という取捨選択の一つではありましたが、一方でその価値の源泉であるところの具体のサービス開発に携わるソフトウェアエンジニアの方、「名前は聞いたことがあるがどんな会社なんだろう?」と興味を持ってくれた方に知って頂く機会を提供しきれていなかった

エス・エム・エスで、チーム開発の支援を主に担当している西村（ @nawoto ）です。今回は、チームを支援するうえで心がけている視点について書いてみます。 ソフトウェアとチーム開発について 弊社のようなサービス開発を行なっている会社だけでなく、今は多くの事業においてソフトウェアの存在が不可欠になっています。事業を成長させていくのは簡単でシンプルではありません。そのため、事業に寄りそっていくソフトウェアづくり自体も複雑な課題に対峙することになり、一筋縄ではいきません。 僕は、ソフトウェアづくりには誰かスーパ

CI部 佐竹です。 本日は恒例の「東京リージョンで構築可能なインスタンスタイプのアベイラビリティーゾーン別一覧表」の更新ブログとなります。本ブログの最新情報については上記リンクより最新記事をご参照ください。 はじめに M6i インスタンス発表 M6i の特徴 Graviton は a1 として登場した その他の発表 新しい Amazon EC2 X2gd インスタンス – Graviton2 パワーでメモリを大量に消費するワークロードに対応 メモリの割合比較表 新しい Amazon EC2 G4ad イン

はじめに はじめまして。 2021年2月から、インターンとしてデータ＆AIチームでデータエンジニア業務に携わっている金安です。 入社からの約半年間、データに関わる多種多様なタスクを経験させていただきました。 ここではエブリーでのデータ分析の様子を紹介するとともに、業務を通して学んだことを整理しようと思います。 いきさつ 私は大学で情報処理技術・人工知能技術について勉強しており、アカデミックな研究の道と、ものづくりに携わるエンジニアとで進路に迷っていました。 そのような中で、何となく参加した逆求人イベントで

こんにちは、最近Google Cloudを頑張って勉強している上野です。 今回はSecurity Command Centerおよびその通知設定方法を紹介します。 Security Command Centerとは？ Security Command Center（以下SCC）は、Google Cloudの組織配下のプロジェクトにおいて、セキュリティリスクのある設定や、脆弱性（アプリも含む）を見つけてくれるサービスです。 見つけた結果を表示するダッシュボード機能もあります。 なお、SCCは組織に対して設定