はじめに 会員システムグループのkiqkiqです。最近PySparkというライブラリを触ってみたので紹介したいと思います。 Apache Spark・PySparkとは PySparkは、Pythonを使ってApache Sparkを操作するためのライブラリです。そのApache Sparkというのは、オープンソースの大規模データ処理フレームワークで、高速で汎用的なデータ処理エンジンです。Sparkには主に４つの特徴があります。 分散処理 Sparkはクラスター上で分散処理を行うことができ、大量のデータを

こんにちは、プラットフォームチームの taiki45 です。この記事ではGitHubのorganization-wide workflowsを実現するソフトウェアである “orgu” を紹介します。 https://github.com/Finatext/orgu GitHub organizationの全リポジトリまたは特定の属性のリポジトリ群に特定のジョブを実行し続けたい GitHubが用意している “Ruleset workflows” は似たことを実現できるがEnterpriseプランが必要 “o

この記事は every Tech Blog Advent Calendar 2024(夏) 27日目の記事です。 目次 はじめに 背景と問題点 既存設計の問題 新しい設計方針 リファクタリングの準備 テストを書く リファクタリング作業 実装する テストする まとめ 終わりに はじめに DELISH KITCHENのiOSアプリ開発を担当している池田です。DELISH KITCHENでは皆様の料理体験がより良いものになるよう、日々新しい機能を追加しています。今回は「リアーキテクチャを支えるテスト駆動開発：効

本記事は マイグレーションウィーク 4日目の記事です。 💻🖥 3日目 ▶▶ 本記事 ▶▶ 5日目 🖥💻 はじめに AWS Database Migration Serviceとは AWS DMSの特徴 AWS DMSを構成するコンポーネント 1. エンドポイント 2. レプリケーションインスタンス 3. データ移行タスク AWS DMSのデータ移行方式 AWS DMSでデータ移行をやってみる 検証内容 1. データベース環境の準備 1.1 移行元（ソース）環境の作成 1.2 移行先（ターゲット）環境の作成

みなさんはブラウザのパスワード保管機能（ブラウザパスワードマネージャー）を使っていますか？ パスワードを記憶し、自動で入力してくれるのはとても便利ですし、入力の手間も省けるので使用している方も多いのではないでしょうか。 では、ブラウザのパスワード保管機能の危険性について考えたことはあるでしょうか？ 結論から言うと、ブラウザのパスワード保管機能は危険があると言えます。ブラウザは 利便性を追求するものであり、安全性は二の次であること が最大の理由なのですが、今回はより具体的にブラウザのパスワード保管機能の危険

こんにちは，東京大学大学院 修士2年の兵藤弘明です．私は2024年3月から4月にかけて，CA Tec ...

この記事は、software as a service (SaaS) のためのリレーショナルデータベースのスケーリングに関するシリーズの続編です。SaaS プロバイダーは、 Amazon Relational Database Service (Amazon RDS) や Amazon Aurora などのリレーショナルデータベースを一般的にソリューションで利用しています。 Part 1 では、リレーショナルデータベースアーキテクチャをスケーリングまたは最適化する一般的な方法をいくつか紹介しました。これら

ビジネスが成長するにつれて、SaaS (Software as a Service) プロバイダーが直面する課題の 1 つは、 テナント のエクスペリエンスをどのように維持するかです。これには、テナントベースが拡大するにつれて、許容できるパフォーマンスとレスポンスタイムを確保することが含まれます。 Amazon Relational Database Service (Amazon RDS) や Amazon Aurora などのリレーショナルデータベースは、一般的に SaaS プロバイダーによって使用さ

はじめに こんにちは，東京大学大学院 修士2年の兵藤弘明です．私は2024年3月から4月にかけて，CA Tech JOBのインターンシップに参加し，株式会社AI Shift で議事録自動生成のための効果的な音声認識パイプラインの検証に取り組みました．この記事では取り組んだ内容を具体的に紹介します． タスクの背景 株式会社AI Shiftでは，オンライン会議の議事録を自動生成するシステムの技術検証を行っています．これは複数人の会話音声を入力とし，LLMを用いて会話の内容を要約し議事録のフォーマットにまとめた

こんにちは。コミュニケーションアプリ「LINE」のモバイルクライアントを開発している石川です。 この記事は、毎週木曜の定期連載 “Weekly Report” 共有の第 31 回です。Weekly R...

こんにちは、タイミーでデータアナリストをしている yuzuka です。 主にプロダクトの分析に携わっています。 ビジネス職からデータアナリストに転向して約1年経った私が、1年前の自分に教えてあげたい、BigQueryや LookerStudioに関する落とし穴を、いくつか挙げてみようと思います。 はじめに 弊社では、分析環境として BigQueryを採用しています。LookerStudioを使って、 BigQueryのデータを参照してダッシュボードを作ることもよくあります。 BigQueryの SQLを使

こんにちは。SRE部プラットフォームSREブロックの高塚です。 6月20日、21日の2日間に渡って幕張メッセで開催された AWS Summit Japan に、SRE部から10名以上のエンジニアが参加しました。この記事では熱気あふれる会場の様子と面白かったセッションについてご紹介します！ AWS Summit Japanとは 会場の様子 セッションレポート おわりに AWS Summit Japanとは www.youtube.com AWS Summit Japanは延べ3万人以上が参加する日本最大の「

Xin chào! クラウドコンサルティング課のアンです。 南国出身の私ですが実は日本の夏があんまり得意ではありません。 そのため、今の時期をどう乗り越えるか苦戦しています。 さて、EC2サーバの数が増えるにつれて、EC2のステータスチェックが失敗した時に気づかない経験がありませんか。 本ブログはそのような場合にAWS環境のみでステータスチェックの自動通知してくれる設定手順を紹介します。 構成図 設定手順 1. SNSトピックの作成 2. SNSサブスクリプションの設定 3.CloudWatchアラームの

6月11日、2025 年初頭までに新しい AWS リージョンが台湾に導入されることを発表しました。新しい AWS アジア太平洋（台北）リージョンは、ローンチ時に3つのアベイラビリティゾーンで構成され、台湾の AWS のお客様に、台湾に残す必要があるワークロードの実行とデータの保存を可能にします。 各アベイラビリティーゾーンは、リージョン内の他のゾーンから物理的に独立しています。低レイテンシーを必要とするアプリケーションをサポートするのに十分な距離でありながら、アベイラビリティゾーンレベルのイベントが事業継

みなさんこんにちは！ワンキャリアでデータエンジニアをやっている野田（Github： tsugumi-sys ）です！ 社会人になってからお酒にハマっております。最近はめっきり暑くなってきて、ビールの美味しい季節ですね。弊社のデータだけでなく、私の体重データもエンジニアリングする必要がありそうです。さて、私のわがままボディの話はこれくらいにして本題に入っていきましょう。 はじめに