はじめに エス・エム・エス BPR推進部カスタマーデータGrで、「 ナース人材バンク 」等のキャリア事業を中心に、社内のデータ活用の推進、データ基盤の開発を担当しています、橘と申します。 私達カスタマーデータGrでは、Google CloudのBigQueryを中心としたデータ基盤を構築しており、社員がデータを利用して意思決定をする業務をサポートする役割を担っています。本記事ではそのデータ基盤についてご紹介したいと思います。 カスタマーデータGrのデータ基盤について 私達が運用するデータ基盤のデータ連携ア

概要 スマートキャンプでエンジニアをしている佐々木です。 本記事では、自然言語処理モデルを用いて新規サービスを作れないか試行錯誤した話をしようと思います。 今回は精度の良い検索はうまく実装できませんでしたが、機械学習モデルをインフラで動かす流れは学ぶことができました。 実際に実装したコード例ともに紹介します。 概要 経緯 検索の仕組み MLモデルのトレンド 採用した文章の類似度計算のアルゴリズム 類似度計算モデルのデプロイ 実際のコードの紹介 モデルの取得とデプロイ 必要なライブラリのimport 事前学

DXプラットフォーム部エンジニアの吉成です。 皆さんの日々の業務では、awk というプログラミング言語（あるいはコマンド）を活用されているでしょうか。 awk はテキスト処理が得意で、正規表現による文字列マッチング機能も強力です。 特にレコード・フィールドといった一定単位でのテキストの取り扱いに長けています。 レコードは awk プログラムにおけるテキストの処理単位で、典型的にはテキストデータの「行」などを指します。 フィールドはレコードをさらに細かく区切った単位で、典型的には csv ファイルの「,」で

はじめに 初めまして！イノベーションセンターテクノロジー部門　データ分析コンサルタントPJの松岡和志です。普段はお客様の経営課題に対して、データ分析を通して解決策を提示する仕事をしています。 この記事では内製開発サービスである ノーコードAI開発ツール Node-AI を用いた需要予測について紹介していきます。 読んでほしい人 AIについてこれから勉強しようと思っている人 AIを使ったデータ分析をやりたい人 AIを活用した需要予測を業務に導入したいと思っている人 効率的にデータ分析したい人 ノーコードツー

「エス・エム・エス社員に訊いてみた」第三弾として、介護事業者向け経営支援サービス「カイポケ」の事業責任者である園田さんへのインタビュー記事をお届けします。 事業責任者の役割 本日はよろしくお願いします。はじめに、園田さんの担っている「事業責任者」という役割がどんな役割なのかを教えてください。 カイポケに関わる組織のうち、プロダクトマネジメントとエンジニアリングの部署は田辺さん（ @sunaot ）が担当で、それ以外のセールス、マーケティング、カスタマーサクセス、事業開発といった部署を僕が担当しています。事

要約 serverless-python-requirements で設定値を変更した後は $ serverless requirements cleanCache を実行しておかないと変更が反映されないときがある。 そして、プロファイルごとに実行しよう。 はじめに こんにちは。アプリケーションサービス部の保田（ほだ）です。 気が付けば前回の投稿から丸一年経っていました。恐ろしいですね。 前提 Lambda の Python ランタイムに含まれない外部ライブラリも一緒に Serverless Framew

こちらの記事はDatabricks Advent Calendar 2022の25日目の記事になります。 こんにちは、カケハシでMusubi Insightという薬局向けBIツールのバックエンドエンジニアをしている高田と申します。 BIツールを開発しているということもあり日常的にETL処理の実装を行っていますが、普段の開発ではAWS Glueを採用しています。 しかし、カケハシでは全社的なデータ活用基盤のプラットフォームとしてDatabricksが採用されたこともあり、とあるプロジェクトでDatabric

こんにちは、インフラエンジニアの 高山 です。 この記事は Enigmo Advent Calendar 2022 の25日目の記事です。 はじめに エニグモ 入社後に AWS を徐々に触れ始め 数年経過しました。 最初はWebコンソールからポチポチしていたのですが、CloudFormationでコード化を進めたり AWSCLIや SDK を使うようになり、最近は Ruby で AWS リソースの情報取得や操作をすることが多くなってきました。 (以下、 RubyでAWSリソースの情報取得や操作をする こと

この記事は、 NTT Communications Advent Calendar 2022 24日目の記事です。 はじめに イノベーションセンターの木村と申します。初めてのアドベントカレンダー&Engineers’blog投稿です。普段の業務は、機械学習をもちいた時系列データ分析の研究開発やお客様データ分析案件支援を主として行っています。プライベートでは自転車にお熱でZwiftでバーチャルライドをしたり、最近ではテクニック向上のためバニーホップの練習に励んでいます（なかなか上達しません…）。 今

こちらの記事はDatabricks Advent Calendar 2022の24日目の記事です。 はじめに 初めまして。カケハシでデータサイエンティストをしている赤池です。 弊社はフルリモートで業務できるため今年9月から地元の仙台市で業務していますが、本格的な冬の到来を前に戦々恐々しています。（寒い。雪。路面凍結。） さて、あなたは「Pandas API on Spark」を知っていますか？ これは「pandasと同じ書き方でSpark上で処理を実行できる」という代物で、pandasでは処理に時間がかか

こちらの記事はDatabricks Advent Calendar 2022の23日目の記事です。 はじめに 初めまして。カケハシにてデータサイエンティストをしている赤池です。 業種的に、自己紹介の際に統計学のビッグネームとの関係性を聞かれることがたまにありますが全く関係ありません。統計学もがんばります。 突然ですが、あなたの分析環境では「DBから抽出したデータをPythonやRなどで利用する際にうまく連携できていない」なんてことはありませんか？ そして「この処理だけはRでやりたいが、そのためだけに別環境

この記事は、 NTT Communications Advent Calendar 2022 23 日目の記事です。 はじめに こんにちは、デジタル改革推進部の組橋です。普段は社内データの整備や分析をしています。 この記事では、社内ツールなどの自作ツールを管理する方法や関連するサービスを紹介します。 パッケージリポジトリとは パッケージ ソフトウェアにおけるパッケージとはいくつかの機能を1つにまとめて、管理しやすくしたものを指します。 例えば、Pythonのパッケージは pip コマンドでインストールでき

KAKEHASHI でテックリードをしている横田です。 KAKEHASHI に入社して早 5 年が経ちまして、色々な経緯から社内勉強会の運営をしてきました。 その中で感じた社内勉強会による共有知の有用性について、紹介させていただきたいと思います KAKEHASHI の勉強会について KAKEHASHI 社内では、エンジニア・非エンジニアに限らずさまざまな勉強会が立ち上がり、チームをまたがって学習する文化があります。 例えば、今まで私が参加した勉強会には以下のようなものがありました。 技術 Web API

クラウドエースでデータ ML エンジニアをやっている篠田です。 2022 年 4 月 6 日に Google Cloud が提供しているVertex AI Workbenchが一般公開(GA)になりました。 本記事では、Vertex AI WorkbenchマネージドノートブックのJupyterLab UIから、どのような使用感でBigQueryへアクセスできるのかを紹介します。 Workbenchとは データサイエンスワークフロー全体に特化したJupyterノートブックベースのフルマネージド開発環境です

こんにちは。SRE部 ECプラットフォーム基盤SREブロックの高塚です。 11/28〜12/2に開催されたAWS re:Invent 2022に、ZOZOのエンジニア10名が参加しました。 アドベントカレンダーの1日目 ではHave Funイベントなどを紹介しましたが、この記事では現地の様子とセッションについてレポートします！ AWS re:Invent 2022とは 現地の様子 セッション紹介 おわりに AWS re:Invent 2022とは re:Invent はAWS最大のカンファレンスです。20