【IIJ 2024 TECHアドベントカレンダー 12/23の記事です】 ※この記事は、原文「Fault-Tolerance for LLM Inference」の和訳です はじめに 大規模言語モデル...

本ブログは 2024 年 11 月 18 日に公開された「 Threat modeling your geneyfujiurarative AI workload to evaluate security risk 」を翻訳したものです。 生成 AI モデルがますますビジネスアプリケーションへ統合されるにつれ、それらがもたらす潜在的なセキュリティリスクを評価することが極めて重要になります。AWS は、AWS re:Invent 2023 で このトピックについてプレゼンテーションを行い 、何百ものお客様が

この記事は CyberAgent Developers Advent Calendar 2024 2 ...

はじめに こんにちは。機械学習エンジニアの田中健斗 (kent0304 ) です。まなび領域のスタディサプリで機械学習プロダクト・データ基盤の開

はじめに こんにちは、アナリティクスエンジニアの林田です。 データ推進室 データマネジメント部では、情報共有やコミュニケーショ

この記事は CyberAgent Developers Advent Calendar 2024 2 ...

この記事は、 NTT Communications Advent Calendar 2024 22日目の記事です。 こんにちは、イノベーションセンターの鈴ヶ嶺です。普段はAI/MLシステムに関する業務に従事しています。 本記事では、LLMのRetrieval Augmented Generation(RAG)などで用いられる近似最近傍探索(ANN)手法の1つとして最近注目されているDiskANNについて紹介します。 DiskANNはbillionクラスの大規模なデータセットに対してスケーラブルに機能し、S

はじめに この記事は株式会社ビットキー Advent Calendar 2024 21日目の記事です。 ビットキーでworkhubAppというオフィスワーカー向けのiOSアプリ開発を担当しているあらさん/arasan01です。 この記事ではチームビルディングの一環として毎日、技術雑談の時間を作ってみた結果を取り上げます。 解決したい課題 私たちのチームではメンバー間の開発スキルの差に課題があり、PRレビューの段階で大きな手戻りや指摘が発生することが多くありました。これは単純なフレームワークに対する知識の差

本記事は 新人ブログマラソン2024 の記事です 。 皆さんこんにちは！入社して間もない新米エンジニアの佐々木です。 前回は、Snowflake CortexAIを使ってドキュメント検索アシスタントを構築するチュートリアルに挑戦し、その様子を記事にまとめさせていただきました。多くの方々に読んでいただき、大変嬉しく思っています。 まだ読めていないという方は、以下の記事をまずは読んでいただけると幸いです！！ 新米エンジニアが挑む！Snowflake CortexAIでドキュメント検索アシスタントを構築してみる

本ブログは 2024 年 12 月 5 日に公開された「 Advancing AI trust with new responsible AI tools, capabilities, and resources 」を翻訳したものです。 生成 AI がさまざまな業界や私たちの日常生活にわたって革新を続ける中、責任ある AI の必要性がますます重要になってきています。AWS では、AI の長期的な成功は、ユーザー、顧客、そして社会からの信頼を得る能力にかかっていると考えています。この信念は、AI を責任を持

はじめに こんにちは、AI Shift のAIチームに在籍している長澤 ( @sp_1999N ) です！ この記事は AI Shift Advent Calendar 2024 の20日目の記事になります。 今回は比較的新しく登場した PydanticAI を使って、LLM の実運用におけるDependency Injection (DI, 依存性の注入) を検討してみたいと思います。 DI とは何かというトピックについても簡単に解説していますので、LLM を使用したアプリケーションを開発している方はど

はじめに こんにちは、『ゼクシィ』・『カーセンサー』・『じゃらん』に従事するデータエンジニア・機械学習エンジニア組織のマネ

本ブログは 2024 年 11 月 5 日に公開された「 Implement effective data authorization mechanisms to secure your data used in generative AI applications 」を翻訳したものとなります。 データセキュリティとデータ認可は、ユーザー認可とは異なり、ビジネスワークロードアーキテクチャの重要なコンポーネントです。人工知能（AI）技術の進化とともに、その重要性は増しており、生成 AI によって大規模言語モ

We just hit up Chicago 🇺🇸 みなさんこんにちは、データ推進室データテクノロジーラボ部の桐生です。もうすぐクリスマスですね！みなさんの元

はじめに こんにちは。メルカリEngineering Officeの @raven です。 この記事は、 Mercari Advent Calendar 2024 の14日目の記事です。 Engineering Officeはエンジニアリング領域における組織横断課題の解決に取り組んでいる部署です。エンジニアリング組織に対するナレッジマネジメントの改善も私たちの担当領域となります。 私は2024年4月にメルカリに入社しましたが、入社当初からメルカリでのナレッジの探しにくさを感じ、他の同僚に資料や情報の場所を