「Scala」に関連する技術ブログ
企業やコミュニティが発信する「Scala」に関連する技術ブログの一覧です。
全80件中 1 - 15件目
Docker コンテナを使って AWS Glue 5.0 のジョブをローカルで開発・テストする
2025/04/14
ブックマーク
AWS Glue は、さまざまなデータソースからのデータを大規模に処理・統合できるサーバーレスのデータ統合サービスです。Apache Spark ジョブ用の最新バージョンである AWS Glue 5.0 は、バッチ処理とストリーム処理に最適化された Apache Spark 3.5 ランタイム環境を提供します。AWS Glue 5.0 を使えば、パフォーマンスの向上、セキュリティの強化、次世代の Amazon SageMaker のサポート、
スタンバイの最近の技術的な取り組み
2024/12/24
ブックマーク
スタンバイアドベントカレンダー 2024 の 12/24 の記事になります。 プロダクト部の辻です。 スタンバイでは事業の成長・拡大および中長期的な事業継続のため、機能開発に加えて技術的な改善活動もいくつか実施しております。 この記事では2024年の振り返りも兼ねて、最近のスタンバイの技術的な取り組みをいくつか紹介します。 取り組み全体の概要 昨年度以前から継
Scala と Go の正規表現の違いを比較
2024/12/20
ブックマーク
こんにちは、スタンバイで求人の取り込みシステムを開発・運用をしている鈴木です。 今回は Scala と Go に標準で組み込まれている正規表現エンジンの違いについてです。 概要 スタイバイでは Scala で書かれたシステムを Go にリプレイスする開発が進んでいます。 その中で Scala で実装されている正規表現が Go だと動かない事象に遭遇しました。その違いはどんなものが
Amazon S3 の新しいテーブル: 分析ワークロードのために最適化されたストレージ
2024/12/11
ブックマーク
Amazon S3 テーブル は、日々の購入取引、ストリーミングセンサーデータ、Apache Iceberg 形式の広告インプレッションなどの表形式データのために最適化されたストレージを提供します。これを使用することで、 Amazon Athena 、 Amazon EMR 、 Apache Spark などの一般的なクエリエンジンを使用して簡単にクエリを実行できます。セルフマネージドテーブルストレージと比較すると、ク
「Effect」ってなんだろう？
2024/11/25
ブックマーク
この記事はなに？ TypeScriptのライブラリの1つである Effect の導入してみて得られた知見と所感をもとに、 Effect の概要に関して内容をまとめたものです。 実際に導入を進めるにあたり公式ドキュメントを参照しましたが、既存の Result 型と思想が異なる部分があり、すんなり理解できなかった箇所がありました…。他の Result 型と比較して、何が異なるのか / なぜ異なるの
週刊生成AI with AWS – 2024/11/11週
2024/11/18
ブックマーク
こんにちは。AWS ソリューションアーキテクトの木村です。 みなさん、Rufus（ルーファス）という単語を聞いたことがありますでしょうか？ Rufus（ルーファス）とは、生成 AI を搭載した Amazon の新たな対話型ショッピングアシスタントの名前です。Amazon.co.jp で「登山に必要なものは？」「5歳児と雨の日に遊べるゲーム」「この商品の耐久性はどう？」「電気カミソリの種
Dataplex の Managed connectivity pipelines が一般提供（GA）になりました
2024/11/15
ブックマーク
はじめに こんにちは、クラウドエース株式会社 第一事業部の梅木です。 今回紹介するのは、2024年9月30日に GA となった Dataplex の「Managed connectivity pipelines」についてです。 Managed connectivity pipelines により、サードパーティソースのデータベースから Dataplex Catalog へメタデータをインポートする Workflows のパイプライン テンプレートが提供されました。 サードパーティソー
ZOZOMETRYでのマルチテナントシステム設計のアプローチ 〜テナント間分離の変遷〜
2024/10/24
ブックマーク
目次 目次 はじめに 我々のチームについて ZOZOMETRYについて ZOZOMETRYでのBtoB開発で取り入れたこと プールモデルによるマルチテナント管理 Cognito+DBによるユーザー情報の管理 RLSによる行単位でのデータアクセス制御 RLSの利用を見送った理由 理由1 : コネクションプールの管理 理由2 : O/RマッパーでのRLSの利用 DDDにおけるテナントのアクセス制御 MySQLを採用した理由 AWS Aurora
Amazon Kinesis Data Analytics for SQL から Amazon Managed Service for Apache Flink および Amazon Managed Service for Apache Flink Studio への移行
2024/10/18
ブックマーク
本記事は AWS Principal Product Manager の Julian Payne による投稿の日本語訳です。原文は こちら よりご確認いただけます。 Amazon Kinesis Data Analytics for SQL は、ストリーミングソースに対して独自の SQL コードを実行し、時系列分析の実行、リアルタイムダッシュボードへのデータ供給、リアルタイムメトリクスの作成を支援するデータストリーム処理エンジンです。AWS は、 2026 年 1
Amazon Kinesis Data Analytics for SQL アプリケーションから Amazon Managed Service for Apache Flink Studio への移行
2024/10/18
ブックマーク
本記事は、AWS の Worldwide Public Sector におけるパートナーソリューションアーキテクトである Nicholas Tunney によって作成されたものの日本語版です。原文は こちら よりご確認いただけます。 2024 年 10 月 17 日: Amazon Kinesis Data Analytics for SQL の提供終了が発表されました。詳細は AWS News Blog をご覧ください。 2024 年 2 月 9 日: Amazon Kinesis Data Firehose は Amazon Data Firehose に名称変更さ
計測システムにおける計測データの管理方法の進化
2024/10/15
ブックマーク
はじめに こんにちは。計測プラットフォーム開発本部バックエンドチームの佐次田です。普段はZOZOMATやZOZOMETRYなどの計測技術に関わるシステムの開発、運用に携わっています。 本記事では計測システムにおける計測データの管理方法を進化させた点についてご紹介します。 目次 はじめに 目次 計測プラットフォーム開発本部 バックエンドチームとは ユビキタス言語 3D
Azure Cosmos DB for MongoDBのデータベース移行： Azure DatabricksとAzure Data Factoryの比較
2024/09/30
ブックマーク
はじめに 背景 Azure Data Factory利用時の注意点 Azure DatabricksとAzure Data Factoryの比較 Azure Databricksの利用方法 Azure Databricksの作成 クラスターの作成 PySparkの記述方法 storesコレクション ordersコレクション merged_storesコレクション 終わりに はじめに 電通 総研XI本部AIトランスフォーメーションセンターの岩本です。この記事では、Azure Cosmos DB for MongoDBのデータベース移行手段として
rpy2を用いてPython上でRを使用した効果検証手法の簡単な実装
2024/09/20
ブックマーク
カケハシでデータサイエンティストをしている島吉です。 カケハシのデータサイエンティストは、AI在庫管理のエンジニアと連携したり、機械学習を使う業務が多いため、データ分析にはPythonを使用することが多いです。 しかし、統計的な手法のライブラリはRに多く存在しています。 たとえば、現在の業務では、効果検証に傾向スコアマッチングを使用しており、さま
週刊AWS – 2024/9/2週
2024/09/09
ブックマーク
みなさん、こんにちは。ソリューションアーキテクトの根本です。 今週も 週刊AWS をお届けします。 関東は、秋めいた日も増えたように感じますが皆さんの地域はいかがでしょうか？ この時期になるとre:Inventが楽しみな気持ちもありつつ、その前にもいくつかイベントが予定されています。 その一つが10月31日に開催されるAWS AI Dayです。本日からオンサイト参加の登録サ
新しいチームでTypeScriptに素早くキャッチアップするためにやったこと
2024/09/04
ブックマーク
カケハシのプラットフォームチームでソフトウェアエンジニアをしているすてにゃん ( id:stefafafan ) です。今回は、私が TypeScript をメイン言語として採用しているチームに参加した際、言語や周辺技術のキャッチアップを行った方法について紹介します。 この記事は 秋の技術特集 2024 の 3 記事目です。 この記事の想定読者 私が元々持っていたスキルセット 認知負荷の増