株式会社スクウェア・エニックス の技術ブログ
全99件
当ブログ更新停止のご挨拶
2024/11/05
ブックマーク
こんにちは、ホシイです。 お知らせ… 残念ですが、今回の更新を持ちまして、このブログは更新を停止することになりました。 最近になって特に大きな変化があったというわけではないのですが、このまま継続していくための原動力もまた大きくなくなってきた… というのが理由です。 2022年5月にこのブログをはじめてから二年半ほど、週にひとつ、または隔週
Google Cloud で GPU をかんたんに使う方法の試行錯誤 : Batch 編
2024/10/29
ブックマーク
以前、GKE や Cloud Run で GPU を使う記事を書きました。 Cloud Run の記事では、実際には Vertex AI の Custom Jobs が良さそうということも書いています。 GPU を手軽に使うとき、他にもよいものがあるのか? をすこし見てみると、Batch もあることを思い出しました。あまり使ったことがなく、さらに GPU を使うとなると使い勝手はどうなのか? と気になったので、今回は実際に試して
Spanner emulator で vector search をしてみます
2024/10/22
ブックマーク
Google Cloud の提供する Cloud Spanner (以下 Spanner) はスケーラブルなクラウドの database で、最近では graph database の機能が追加されたりなど、開発も盛んに行われています。 Google Cloud の database 製品では vector search の機能を持つものも多く、Big Query や Cloud SQL などその特性に合わせて選択することができます。Spanner に機能追加されたのもしばらく前だったと記憶していますが、
Firebase Genkit で RAG app をつくってみる
2024/10/15
ブックマーク
RAG (Retrieval-Augmented Generation, 検索拡張生成) を使用した application を開発できる framework として、Firebase Genkit なるものがあると知りました。 Firebase は、認証や database など web app やモバイルゲームなどの開発に便利な様々な機能を提供している platform です。Firebase を利用することによってこういった機能の組み込みの敷居が下がり、また Google Cloud などの外部サービスとの連
TiDBワークショップ『TiDBエキスパートへの道』に参加してきました！
2024/10/08
ブックマーク
はじめに スクウェア・エニックスでSREをしている伊賀といいます。 今回PingCAP様主催のTiDBワークショップに参加してきたので、TiDBの概要と魅力についてお伝えしたいと思います！ PingCAP様の公式ページにもTiDBの紹介や事例等の掲載がありますので興味があれば是非！ https://pingcap.co.jp/ PingCAP様公式ホームページ https://pingcap.co.jp/event/workshop/ TiDBエキスパートへの道：実践的
Cloud Run で NVIDIA GPU 使うのめっちゃかんたん ...ん?
2024/10/01
ブックマーク
以前の記事 で、処理を実行している間だけ GPU を専有する (料金を支払う) ために、GKE Autopilot を使用する例を書きました。これにより、新しく job を実行するだけで自動で GPU が割り当てられ、処理が終われば開放される、スケーリングも柔軟… とよい点は多いものの、インフラの用意はじゃっかん手間であったり、cluster の維持費用 ($0.10/h = 月に一万円程度) がかかる
機械学習での Feature Store の利用
2024/09/24
ブックマーク
Graph database を扱ってみた、前回 の続きです。 もともとは Spanner が graph database に対応 したというのを見たのが発端だったのですが、そこから Vertex AI samples > neo4j/graph_paysim (Jupyter Notebook) に入り、graph database に関しては見終わったものの、この例の後半にある Vertex AI を使用する部分には触れられなかったので、今回はそこを見てみましょう。という経緯です。 Spanner の gr
Graph database に馴染んでみよう
2024/09/10
ブックマーク
Spanner が Graph database に対応 したというのを見て、では何ができるのか… とすこし考えていました。 わたし自身は IT エンジニアの区分であり数学の素養はからっきしなのですが、AI エンジニアやデータサイエンティストのお仕事はスムーズにサポートできるようにしておきたいと思っています。Graph database が必要な業務に対して迅速にサポートできるように、日頃か
実行する AI
2024/08/28
ブックマーク
もはや最近は一日家で過ごしていると、人間よりも AI と会話しているほうが多い日もあるかもしれません。外に出るにも危険な日差しで、精神の健康を保つのに工夫が必要な日々と感じます 😓 さてかなり以前から映画などでは、人間をサポートする AI が膨大な知識と優れた判断力を使って素早く解決案を提示し、主人公を助けるというシーンをよく見ます。そこで主人
Kubernetes の custom controller を実装してみる
2024/08/06
ブックマーク
ホシイです。 拡張性が高い Kubernetes。様々な機能・ソフトウェアが、Kubernetes が備える機能拡張の仕組みである operator や controller で提供されるのを見るようになりました。GitLab Operator のような複雑な application や、MySQL Operator のように database 機能を提供するものもあります。より単純な機能としては、Pod などを監視しつつ条件に応じて scaling や backup するなどの機能が考
TiDB Serverless の Chat2Query を試してみる
2024/07/23
ブックマーク
はじめに NewSQLとして注目を集めているTiDBについて、今回はそのサーバレスDBaaSであるTiDB Servelessを取り上げます。 TiDB Serverless は無償で利用開始でき従量課金であるという特徴の他に、AIを利用して自然言語からクエリを生成してくれる Chat2Query という機能があるので、これを試してみます。 環境構築 少しレガシーなゲームのデバッグ用環境のDB(MySQL5.7.x)から、データをTiD
不安定な network を生き抜くシステム開発のくふう
2024/07/16
ブックマーク
こんにちは、ホシイです 👋 Internet 越しの API 呼び出しがより一般的になったことや、何より public cloud での運用が増えた昨今、network の遅延や packet loss は日常的なものとして認識しておく必要があります。server application の開発でも、普段からそのような環境での動作で問題が発生しないか確認しておくことが重要でしょう。 Docker を使って低品質 network 環境を模倣する 今
外部機能に依存する処理を非同期イベント機構とリトライで解決する
2024/07/09
ブックマーク
こんにちは、ホシイです 👋 今回は、記事タイトルを見てもぱっとイメージしにくい話題です。ちょっと複雑で、うまく説明できるか自信がないですが、ひとつずつ順を追って書いてみます。 ちなみに (いつもそうですが) 記事の内容は弊社すべてのシステムで採用している技術・ポリシーではなく、ひとつの解決案としてお考えください。 外部 API 呼び出しをするサーバ
Google Cloud API 入門 Python編
2024/06/25
ブックマーク
こんにちは、クラウドエンジニアのタケウチです。 スクウェア・エニックスに入社するまでは主にAWS環境での作業を業務としており、 初めて Google Cloud API について学習する機会があったので、 Compute Engine リソースの基本操作を Python ライブラリを利用して実施する場合についてまとめていきます。 主に Compute Engine リソースの基本操作を元に Python ライブラリを利用して
MySQL8.0 innodb_buffer_pool_sizeのオンライン縮小
2024/06/18
ブックマーク
はじめまして！インフラエンジニアのぺんぺんです。 今回は、直近で私の担当する案件で行った検証をノウハウとして残すという意味で以下についてお話させていただきたいと思います！ 『MySQL8.0でinnodb_buffer_pool_sizeをオンラインで縮小するときってどんな影響があるのでしょうか』 まず初めにこのパラメータを設定することによる利点ですが、innodb_buffer_pool_sizeを設定