はじめに こんにちは、クラウドエース データ/MLディビジョン所属の金です。 前回はDataprocを利用してJupyter notebook上、PySparkでデータ処理を試してみました。 そこで一つ残念だったのがやはりクラスタ管理が面倒なことでした。 今回はDataproc Serverlessを利用して前回面倒だったクラスタ管理などもせずにPySparkでデータ処理を試してみます。 前回の記事が気になる方は下記のURLからご覧ください。 https://zenn.dev/cloud_ace/arti

こんにちは! BASE BANKの松雪です。 来る2023/06/02(金)にオンラインでGo Conference 2023が開催されます。 我々BASE株式会社(BASE BANKチーム)は Goルドスポンサー で協賛し、スポンサーセッションにて1名登壇します! Go Conferenceとは Home | Go Conference 2023 GoCon2023 ※ The Go gopher was designed by Renee French. Illustrations by tottie

G-gen の杉村です。Google Cloud のフルマネージドな分析用データベースである BigQuery について、徹底的に解説します。当記事は 基本編 であり、当記事を読み終わったあとは 応用編 もご参照ください。 概要 BigQuery とは 利用方法 フルマネージド（サーバーレス） 他の Google Cloud サービスとの連携 他クラウドサービスとの連携 料金 料金体系の基本 ストレージ料金 ストレージ料金の基本 Physical Storage と Logical Storage Act

イベント概要 NIFTY Tech Talkは、ニフティ株式会社の社員が主催するトークイベントです。 本イベントでは、ニフティグループの社員が業務を通じて学んだことを発信しています！ 第11回目のテーマは「新人エンジニアに贈る最強の開発環境」です。 ニフティのエンジニアが、働き始めた新人エンジニアに開発環境を紹介する回となります。 概要 日程：5月30日（火）12:00〜13:00 配信方法：YouTube Live 視聴環境：インターネット接続が可能なPC/スマートフォン 参加方法 connpass に

はじめに 関西は兵庫播州、白鷺城のおひざ元に、ITの集いがございます。 お仕事でITに携わる人、ただ興味のある人、仕方なく取り組んでいる人、あるいはこれからIT業界を目指す人。さまざまな人がさまざまな事情で集まっているの […]

こんにちは。クラウドエースの阿部です。 このブログ記事では、 Container Registry の廃止予定と、 Artifact Registry への移行について紹介したいと思います。 Container Registry の廃止予定について 2023 年 5 月 15 日に、 Container Registry の廃止に関するスケジュールがリリースノートで公開されました。リリースノートはこちらを参照してください。 現在は非推奨の段階であり、2024 年 5 月 15 日までは変わらずに Cont

弊社で毎月開催し、 PHP エンジニアの間で好評いただいている PHP TechCafe。 2022年7月のイベントでは「PHPDoc」について語り合いました。 弊社のメンバーが事前にまとめてきたPHPDocの情報にしたがって、他の参加者に意見を頂いて語り合いながら学びました。 今回はその内容についてレポートします。 rakus.connpass.com そもそもPHPDocとは何か 活用するポイント 課題 代表的な書き方 基本的なタグ 型の記述 PHPDocに関する質問 最低限書いておきたいコメント 必

こんにちは。ML・データ部　データ基盤ブロックの塩崎です。最近はつちのこフェスタが4年ぶりに開催されたというニュース 1 でアフターコロナの訪れを感じています。 さて、データ基盤のためのデータ転送パイプライン構築といいますと、多くの方はMySQLなどのデータベースからのデータ連携を思い浮かべるかと思います。実際にシステムの保有する多くのデータはデータベースに保存されており、データベースからのデータ連携は大きな部分を占めます。当ブログでも数々の事例を紹介してきました。 しかし、それ以外にもデータを保有してい

こんにちは。ココナラ法律相談 の開発をしているエンジニアの大川と高崎です。 ChatGPT、話題にならない日がないくらい話題ですよね。 先日の ChatGPTを駆使して実現したAIアシスタント機能の開発ストーリー に引き続き、ココナラ法律相談でもChatGPTを組み込んで既存機能を改善した話をしていきます。 ChatGPTを活用した機能を企画・開発するにあたってさまざまな課題がありました。 今回は、その課題を解決するにあたり、何に苦労しどう工夫したかについて書いていければと思います。 もうすでに取り組んで

こんにちは。クラウドエースの阿部です。 この記事では以前紹介した Google Cloud の開発環境サービスである Cloud Workstations について説明します。 前回の紹介記事は下記リンクからご覧下さい。 https://zenn.dev/cloud_ace/articles/889f7b6619ba76 ! 2023年5月11日に Google I/O 2023 で Cloud Workstations が一般提供(General Availability)になったことが発表されました。

2023/5/19更新: 本記事のタイトルを「インターンシップ体験記 ～RedTeamでの攻撃技術検証業務～」から「インターンシップ生があるSaaSを用いた未知のC2脅威を実証してみた」に変更しました。内容に変更はありません。 イノベーションセンター RedTeamプロジェクトでは、2月に現場受け入れ型インターンシップを実施しました。 本記事は、本取り組みに参加していただいたインターンシップ生による寄稿となります。 インターンシップ生本人の希望により匿名での投稿とさせていただきます。 ※今回注目したあるS

TCP/IPスタックを改造!？ サービスの通信トラブルを解析する場合、弊社では通信パケットを取得して原因を探ることがあります。そういうことをやっていると、そのうちTCP/IPのやりとりについて途中で自由にパケットを弄れたらいいのに…という欲望がふつふつと湧いてくるときが来ます。 それじゃぁとLinuxのネットワークスタックのソースコードに挑むと、これがささっと手軽に改造してなにかできるような作りではありません。さあ、困りました。改造への思いをぶつける方法を探る必要があります。というわけで、

はじめに Hello World! RevCommのバックエンドエンジニアの矢島です。 今回はMiiTelのアーキテクチャや技術スタックと開発・運用体制についてご紹介します。 MiiTelってなに？ アーキテクチャや技術スタックの話題に入る前に、簡単にMiiTelについて紹介します。 MiiTelはAI搭載型クラウドIP電話です。 電話業務の可視化・分析を行うことで、セルフコーチングの機会を提供し、教育コストの削減・業績向上を実現するSaaSとして、電話営業やコールセンター、カスタマーサクセスなどの現場に

はじめに Pythonは世界的にも人気のあるプログラミング言語ですが、実行速度については課題があります。Pythonの実行速度を高速化したい、という要求は根強く、これまでにも様々な処理系が開発されています。 この記事はPythonで書かれたコードを35000倍に高速化するにはどのような方法があるかについてまとめたものです。 この記事は： Pythonで書かれたアルゴリズムを35000倍に高速化する 事前コンパイル、並列化、SIMD演算を駆使する 最終的に44000倍まで高速化できた なぜ35000倍？ 2