G-gen の杉村です。当記事は BigQuery について徹底的に解説する記事の 応用編 です。BigQuery に初めて触れる方は、まず 基本編 の記事をご参照ください。 基本編の記事 外部データ連携の概要図 外部テーブル 外部テーブルとは 用途 Cloud Storage 外部テーブル Google ドライブ外部テーブル Bigtable 外部テーブル BigLake BigLake とは データソース 通常の外部テーブルとの違い 利点 権限の持たせ方 BigQuery コネクタ BigQuery

AI事業本部の黒崎( @kuro_m88 )です。 MySQL、PostgreSQLのようなRDBと ...

お久しぶりです、noseです。前回の投稿から約4か月ぶりとなってしまいました。普段はインフラエンジニアとしてスマートフォンゲームを中心にサーバ構築・運用・保守などを担当しています。(私が所属するチームの紹介はこちら)そんな私が、今回は2023年4月20日と21日に幕張メッセで開催された AWS Summit Tokyo 2023 の参加レポートを書きたいと思います！ 概要 今回のAWS Summitは4年ぶりのオフライン開催で、私自身も現地参加は初めてでした。 サミット全体的な概要としては、 AWSが取り

AWSコストをいますぐ最適化しませんか？ キャッシュフロー、ユニットエコノミクス、改善しませんか？ この記事では、とにかくいますぐなんとかしたい方向けの方法を金額面で大きい傾向にあるサービスごとに26個紹介します。 以下各見出し内の💰はコスト削減度、⚡はおまけでパフォーマンス改善度を指します。 (1) 💰💰💰 CloudWatch Logs: とにかくログを出さないこと、まとめること AWS料金のうち、CloudWatch Logsが上位を占める傾向にあります。保存期間が無期限だから費用がかかる...と見

はじめに こんにちは。ブランドソリューション開発本部FAANSバックエンドブロックの田村です。普段はサーバサイドエンジニアとしてFAANSのバックエンドシステムの開発をしています。 FAANSとは、弊社が2022年8月に正式ローンチした、アパレル店舗のショップスタッフの販売サポートツールです。FAANSでは、データベースとしてGCPのサーバレスでドキュメント指向のNoSQLデータベースである Cloud Firestore を当初採用していました。Cloud Firestoreはサーバレスなので運用負荷が

こんにちは！金融ソリューション事業部の孫です。 今回の記事では、GameLiftを用いたUnrealEngineゲームセッションのマッチング基盤の構築をご紹介します！ 実施事項が多い為、Part1~3の3記事に分けて連載します。 また、GameLiftを用いたゲームセッションの作成、接続については 前回の記事 でご紹介しておりますので、そちらもご覧いただければ幸いです。 Part1である今回は、 AWS GameLiftにおいてFlexMatchに関する コンポーネント の構築を行います。 Part2の記

当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 G-gen の片岩です。Google Cloud の Cloud Spanner について徹底解説します。Cloud Spanner は強整合性を持ちながらグローバルな負荷分散が可能なサービスです。高い可用性、データの完全性が求められる金融分野での活用が見込まれるデータベースです。 Cloud Spanner の概要 Cloud Spanner とは 強整合性と結果整合性 水平スケーリ

こんにちは、t-kurimuraです。DataEngineeringチーム所属ですが、最近はすっかりサーバーチームの業務に邁進しております。 さて、アドベントカレンダーの時期を前に、LUUPの サーバーチームが「どんな感じ」で「なにをしているのか」 をバックログの例を含め説明した上で、今後の課題や展望などをお伝えしたいと思います。 開発範囲 サーバーサイドチームの主な開発範囲は主に2つです。 Cloud Functions を利用したバックエンド開発 Web管理画面のためのフロントエンド開発 2は文字通り

はじめに 本記事は前回の記事である「 ソフトウェア設計についてtwada技術顧問と話してみた 〜 A Philosophy of Software Design をベースに 〜 - NTT Communications Engineers' Blog 」の続編です。 前回の記事の内容がベースとなっていますので、「APoSD って何だっけ？」という場合はぜひ前回の記事をご覧になってから、以下にお進みください。 ということで、後編の対話パートにさっそく入っていきましょう！ Pull Complexity Do

勤怠開発課のy_konnoです。 暇があるとNoSQLを漁りだす癖があるんですが、今回はRethinkDBが気になったので試してみたので書いてみようと思います。 NoSQLとは RethinkDBとは セットアップ 基本的な使い方 接続 DB作成・テーブル作成 INSERT UPDATE SELECT DELETE Change Feeds いじってみた感想 NoSQLとは まず先にNoSQLについて軽く触れておきましょう。 NoSQLとはデータを関係テーブルとは異なる何らかの方法で保存するタイプのデータ

この記事は、2021年9月7日(火)に行われた さくらの夕べ Tech Night #4 Online での発表を記事化したものです。 はじめに この記事では、7月にリリースした、さくらのクラウドで使える機能の1つである 「エンハンスドデータベース(TiDB)」 というサービスについて紹介します。サービスの紹介に加えて、その裏で使っているTiDBという分散データベースの技術についても簡単に触れようかなと思っています。 分散データベース / NewSQLについて NewSQLとは さて、皆さんは「分散データ

こんにちは。テクノロジー本部の稲垣です。 LIFULLでは、提供するサービスによって、様々なDBが稼働しています。 異なるDBエンジン間でのデータ移行が必要となるプロジェクトが立ち上がることとなり、AWSが提供しているAWS Database Migration Service（AWS DMS）による検証を行う機会がありました。 www.lifull.blog AWS Database Migration Service（AWS DMS）がリリースされて間もないころに、一度検証目的で使ったことがありました

Amazon EMRを一度も利用したことがなかったので、data-analytics-specialty試験の学習ついでに実際にさわりながら自分へのメモを兼ねて情報を残します。 Amazon EMRとは aws.amazon.com Apache Spark、Apache Hive、Apache HBase、Apache Flink、Apache Hudi、Presto などのオープンソースのツールを 使用して膨大な量のデータを処理するための業界をリードするビッグデータのクラウドプラットフォーム との事で

はじめに こんにちは。SRE2課の福島です。 先日、以前から持っていたAlexaに追加でSwitchBotハブミニを買い、 リビングの電気を声でオン、オフできるようにしました。便利ですね～。 今回は、MarkLogicをAWSにデプロイする方法をブログにまとめたいと思います。 そもそも、MarkLogicとは... MarkLogicサーバーは、NoSQLと、信頼性の高いエンタープライズデータ管理機能の両方を備えたマルチモデルデータベースです。 また、データハブの基盤として最適なデータベースです。 引用：

スタメン エンジニアの松谷( @uuushiro )です。 2019年12月01日(日)〜12月06日(金)に AWS 最大のカンファレンス AWS re:invent 2019 がラスベガスで開催されました。 AWS Summit Tokyo 2019 の Startup Architecture Of The Year で スタメンがグランプリを獲得したとき の副賞として re:invent のペアチケットを頂いたので、CTOの小林と2人で初参加してきました！ 目的 re:inventの予定を組む前に