こんにちは、タイミーでデータサイエンティストとして働いている小栗です。 今回は、機械学習モデルの予測の不確実性を定量化する手法であるConformal Predictionについてご紹介します。 Conformal Predictionとは 機械学習モデルの予測値がどの程度信頼できるか知りたい場面は多いと思います。 医療診断のように誤った予測が重大な問題につながる状況でモデルを使用する場合、予測の不確実性を定量化してそれを元に判断できると嬉しいです。 Conformal Prediction（以下CP）は

1. 前書き こんにちは。 サイオステクノロジーの田川です。 今回は、Elasticsearch で実際に日本語でのベクトル検索を行ってみたいと思います。 対象者 Elastic Cloud のアカウントを持っている人(トライアルライセンスを含む) Elasticsearch の初心者～中級者 できるようになること Elasticsearch で日本語のベクトル検索(ANN)を行えるようになる。 前提条件 Elastic Cloud (version: 8.15.0) Elastic Cloud 上に日本

GoPro は、イマーシブかつエキサイティングな方法で画像のキャプチャや共有をサポートしています。2002年の設立以来、GoPro は、お客様がコンテンツから最大限の価値と楽しみを得られるように、多用途のカメラとソフトウェアツールをリリースしてきました。Amazon Web Services (AWS) がサポートする GoPro サブスクリプション は、カメラ、マウント、アクセサリー、ライフスタイルグッズなどの GoPro のラインナップに加えて、無制限のクラウドストレージ、自動ハイライトビデオ、デバイ

こんにちは！ データアナリストの@takahideです。 タイミーではプロダクト向き合いの分析業務を行なっています。 先日、東京都立大学の経済経営学部にてデータアナリストの講義を行わせて頂きました。 データアナリストの魅力やアカデミックな知の重要性に改めて向き合うことができたので、ご紹介できたらと思います。 内容は以下になります。 講義の背景 講義内容 事業と組織に関して データアナリストの業務内容 アカデミックな知の活用 講義の御礼 最後に We’re Hiring! 講義の背景 講義に至った背景は、知

本ブログは 2024 年 10 月 10 日に公開されたBlog ” How AWS uses active defense to help protect customers from security threats ” を翻訳したものです。 AWS は、AWS でワークロードを実行しているお客様から信頼され、その信頼が維持されることに全力で取り組んでいます。セキュリティは常に最優先事項です。サービスの設計段階の最初からセキュリティを考慮に入れることや、潜在的な脅威を軽減するために積極的な対策を講じて

レシピメディアにおいて、たとえば検索数推移のような時系列的なデータを扱っていると、急激に検索数が伸びているワードを捕捉したいシーンがあります。 要因はものによって違いますが、これをSQLだけで完結してなるべく楽したい。が今回の目的です。 要するに異常検知をすることが目的なのですが、「上昇率がX%以上を検知する」ような単純なモデルではないが、ある程度統計的な根拠をもとに検知が可能で、かつPythonのライブラリをつかうほど複雑ではなくSQL上でわかりやすく書けることを主眼に置きます。 方針としては以下です。

はじめに こんにちは。 Kaggle で2024/06/27~2024/09/07の間に開催された ISIC 2024 - Skin Cancer Detection with 3D-TBP というコンペティション

こんにちは、 PS-SL アプリチーム新卒 1 年目の織田です 9/29 に OSC 広島に参加してきました。今回は自分が見た展示の中で特に印象に残ったものを紹介したいと思います。 NEMTUS 最初は NEMTUS さんが行っていたブロックチェーンについての展示です。 NEMTUS さんは NEM や Symbol といったブロックチェーン技術の普及や発展を促進する NPO 法人です。 展示では NEM や Symbol を実際の業務にどのように活用するかについて丁寧に教えていただけました。例えば、畜産

Amazon Web Services (AWS) 上で実行されるお客様のアプリケーションでは、個人を特定できる情報 (PII) や保護された健康情報 (PHI) などの機密データを扱う必要がある場合があります。その結果、機密ログデータがアプリケーションの Observability データの一部として意図的または意図せずに記録される可能性があります。包括的なログ記録はアプリケーションのトラブルシューティング、モニタリング、(原因)分析に重要ですが、記録された機密情報はデータセキュリティとコンプライアンス

カケハシでデータサイエンティストをしている島吉です。 カケハシのデータサイエンティストは、AI在庫管理のエンジニアと連携したり、機械学習を使う業務が多いため、データ分析にはPythonを使用することが多いです。 しかし、統計的な手法のライブラリはRに多く存在しています。 たとえば、現在の業務では、効果検証に傾向スコアマッチングを使用しており、さまざまな書籍でRを用いた使用例を多く見かけます。 そこで、PythonとRの両方を使用し、Rが適した部分はRで実装し、ほかの処理は使い慣れたPythonで実装しよう

こんにちは。最近BigQueryMLにハマっているSCSKの山口です。 もちろん今回もBigQueryMLに関するブログです。今回は 時系列予測 が可能な ARIMA+（ARIMA PLUS） でモデルを作成し、実際に使ってみようと思います。 時系列予測をするにあたって様々な知識が必要になりましたが、今回はできるだけ漏れなく最低限まとめています。少し長いですが最後まで読んでいただけると幸いです。 筆者はこんな人です。 ・Google Cloud歴：約2年 ・BigQueryのコンソール操作には慣れている

はじめに こんにちは。プロセス改善・アジャイルコーチで、Tech Blog編集長の高橋（ @Taka_bow ）です。 皆さんは、2021年6月に生まれた GitHub Copilot を利用していますか？ この生成AIベースのコーディング支援ツールは、コードの自動補完や生成、関数の自動生成、エラー修正支援など、開発者の作業を多面的にサポートします。 ファインディでは2023年3月から導入し、開発チーム全員が日常的に活用しています。Findy Team+で効果を測定した結果、コーディングの効率化やコミュニ

はじめに 最近、業界に生成AIが導入され、ソフトウェアの開発において開発品質を維持しながら生産性を向上させる新たな方法が提供されています。それに対して、QAの品質管理の生産性を向上させる方法はあまり取...

カケハシのプラットフォームチームのテックリードとして組織管理サービスと認証基盤を開発している kosui です。今回は、目的別データベースをプラットフォームチームではどのように実践しているかご紹介します。

はじめに Turing の生成 AI チームでインターンをしている塩野 (@onely7_deep) です。 生成 AI チームでは、完全自動運転の実現に向けてマルチモーダル基盤モデルの開発に取り組んでいます。 本記事では、Turing からリリースされた盛り沢山な GENIAC の成果物 の中の１つである The Cauldron JA と Wikipedia Vision JA データセットを紹介します！ The Cauldron JA データセット https://huggingface.co/da