「Google Cloud」に関連する技術ブログ
企業やコミュニティが発信する「Google Cloud」に関連する技術ブログの一覧です。
全1293件中 1171 - 1185件目
データの民主化を目指して ~ データ基盤ができるまで ~
2021/08/04
ブックマーク
こんにちは、データプラットフォームグループの樋口です。エンジニアとしてデータ基盤の構築・運用を約4年ほど担当しています。 今回は私達が「データの民主化」を目指してこれまでに取り組んできた事を振り返りながらご紹介したいと思います。 はじまり（2017年10月〜） 当時社内では以下のようなキーワードがトレンドでした。 データドリブン経営 データの民主
海外赴任から帰ってきたエンジニアマネージャーの学びと取り組み
2021/08/02
ブックマーク
こんにちは、LIFULLのエンジニアマネージャーをやっております。河津です。 私は、2015年の6月〜2018年の6月までの丸3年間をLIFULLグループの会社であるTrovitに常駐しスペインで過ごしました。 帰国してすぐに、スペインでのエンジニアの働き方を書いてみようかとも思っていたのですが書けずに2年が経ってしまいました。 ですが、2年ほど日本での働き方も再度経験したこ
急成長するLINE配信対象ユーザー数にGCPアーキテクチャの改善で立ち向かった話
2021/07/28
ブックマーク
はじめに こんにちは、EC基盤本部・MA部・MA基盤チームでマーケティングオートメーションのシステムを開発している長澤（ @snagasawa_ ）です。この記事では、社内で運用しているLINEメッセージ配信基盤の課題を、アーキテクチャ改善によって解決した話をご紹介します。 当時、LINEメッセージ配信基盤では、配信処理を担っていたApp Engineで2つの課題を抱えていました。「
Flex Slotsを用いたBigQueryのコストパフォーマンス改善と運用
2021/07/12
ブックマーク
こんにちは、SRE部の谷口（ case-k ）です。私たちのチームではデータ基盤の開発や運用をしています。1年ほど前からBigQueryのコストパフォーマンス改善を目的にFlex Slotsを導入しています。 本記事ではFlex Slotsの導入効果や運用における注意点、ワークフロー設計についてご紹介します。BigQueryのコストやパフォーマンスで課題を抱えているチームや管理業務を行っている方
Google Apps Script× BigQuery × Googleスプレッドシート × データポータルで簡易CRMを作ってみた
2021/07/07
ブックマーク
こんにちは!! BASE BANK 株式会社 Dev Division にてSoftware Developerをしている永野( @glassmonkey )です。 普段はGo/Python/PHPを主に生業に開発・運用から何でもござれの精神でフルサイクルエンジニアをしています。 現在、自分たちのプロダクトである YELL BANK の分析基盤を構築しています。 その際に、BigQueryで扱っているデータをGoogle App Script(以下GAS)、Googleスプレッドシートとデータ
エッジコンピューティングでアクセス集中、パーソナライズ、プライバシー保護の課題を解決
2021/06/21
ブックマーク
エンジニアの木村です。最近は負荷対策のための リファクタリング やリアーキテクティングのリードや、データ基盤・ML・検索基盤を担当するチームのマネージャーとしてデータ関連の案件に携わっております。 先週、webinar 形式で行われた Akamai TechWeek 2021 Japan にて、6/16 に「EdgeWorkersの導入について」というテーマで、昨年末にバイマに導入したEdgeWorkersという Akamai の
Anthosについて (Ingress for Anthos)
2021/06/20
ブックマーク
本記事は、2020年5月に掲載されたEngineer Blog（Medium）からの転載です。 みなさん、こんにちは。GWはロードバイクで新潟まで行きたかった蔵谷です。(もちろん中止しました。。。) 今回からWordPressからMediumへ移行しました！ 最近BeaconBankに導入すべくAnthosについて勉強しています。Anthosでググるとマルチクラウドの記事がいっぱい出てきますが、他にも便利な機能がたくさん
Anthosについて (Anthos Service Mesh)
2021/06/20
ブックマーク
本記事は、2020年6月に掲載されたEngineer Blog（Medium）からの転載です。 みなさん、こんにちは。バイオハザードRE:3にハマっている蔵谷です。 今回は私の中でイチオシの機能のAnthos Service Mesh(ASM)について解説していきます。 Anthos Service Mesh(ASM)とは？ 最近流行りのマイクロサービス化ですが、あまりにもサービスが増えすぎると、どのサービスとサービスが通信してるんだっ
KubeflowによるMLOps基盤構築から得られた知見と課題
2021/05/21
ブックマーク
はじめに こんにちは。SRE部MLOpsチームの中山（ @civitaspo ）です。みなさんはGWをどのように過ごされたでしょうか。私は実家に子どもたちを預けて夫婦でゆっくりする時間にしました。こんなに気軽に実家を頼りにできるのも 全国在宅勤務制度 のおかげで、実家がある福岡に住めているからです。「この会社に入って良かったなぁ」としみじみとした気持ちでGW明けの絶
Aurora MySQLからCloud SQLへのレプリケーション構築における注意すべき2つのポイント
2021/05/12
ブックマーク
こんにちは、MA部でエンジニアをしている田島です。 以前に弊社の塩崎が「Amazon AuroraのデータをリアルタイムにGoogle BigQueryに連携してみた」という発表を行いました。 こちらの発表では、Amazon Aurora MySQLのデータをGoogle BigQueryへリアルタイムにデータ連携する方法を紹介しています。リアルタイムデータ連携を実現するために、Aurora MySQLをレプリケーションソースとしてGo
倒れたときの応急処置をGCPにお願いする
2021/05/09
ブックマーク
倒れても自力で立ち上がろうとするインフラが好きなSREチームの川岡です。 サービスがダウンした時の応急処置くらいは自動化できないものかと思い、Cloud Pub/SubをトリガーにCloud FunctionsからCompute EngineへSSHでアクセスしてインスタンス上のアプリケーションを起動する検証をしてみました。
倒れたときの応急処置をGCPにお願いする
2021/05/09
ブックマーク
倒れても自力で立ち上がろうとするインフラが好きなSREチームの川岡です。 サービスがダウンした時の応急処置くらいは自動化できないものかと思い、Cloud Pub/SubをトリガーにCloud FunctionsからCompute EngineへSSHでアクセスしてインスタンス上のアプリケーションを起動する検証をしてみました。
CI/CDとは【まとめ】
2021/04/30
ブックマーク
はじめに 初めまして、tomo37kunです。 業務に携わる中でCI/CDの存在を意識することが多くなったので、CI/CDについて正しい知識と理解を得られるように学習を行いました。また、近年、自動化の重要性の高まりや アジャイル 開発の浸透進化といった背景から、実際にCI/CDに対する需要は急速に高まっています。 本記事のCI/CDの学習内容のアウトプットにより、CI/CDについて
会員数10万人のレガシーなコミュニティサイトを一から全部作り直した舞台裏
2021/04/20
ブックマーク
はじめに 規模の大小を問わず、レガシー化したサイトには色々な課題が存在します。課題の根本的な改善のためにソースコードをゼロから書き直してリニューアル（以後、このことをフルリニューアルと呼称します）するということは、とても魅力的な一方でリスクもあります。フルリニューアルすなわちアンチパターンとされていることも多いですね。 ここでは「
OSSにコントリビュートしてログ収集基盤におけるCloud Pub/Subのリージョン間通信費用を削減した話
2021/04/12
ブックマーク
こんにちはSRE部の川津です。ZOZOTOWNにおけるログ収集基盤の開発を進めています。開発を進めていく中でCloud Pub/Subのリージョン間費用を削減できる部分が見つかりました。 今回、OSSである fluent-plugin-gcloud-pubsub-custom にコントリビュートした結果、Cloud Pub/Subのリージョン間費用を削減できました。その事例を、ログ収集基盤開発の経緯と実装要件を踏まえて紹介します。