本記事はLabBase テックカレンダー Advent Calendar 2024 19 日目です。 https://qiita.com/advent-calendar/2024/labbase 概要 Leanは関数型パラダイムを持ちなおかつ定理証明支援系で、強力なメタプログラミング機能をそなえたという変わった言語です。 本記事ではLeanを書いている最中にもシェルを叩けるように、Leanのメタプログラミング機能のElaborationをつかって、Leanのソースコード内で使える簡単なコマンドを自作します

この記事は、  NTT Communications Advent Calendar 2024  17日目の記事です。 みなさんこんにちは、イノベーションセンターの平木です。 Network Analytics for Security 1 (以下、NA4Sec)プロジェクトのメンバーとして活動しています。 この記事では、利用終了ドメイン名観測の環境構築の知見を共有していきます。 明日の記事では観測されたログの分析結果を紹介したいと思います。 利用終了ドメイン名観測分析施策の背景と目的 工夫した点 DNS

はじめに こんにちは！小田島です。私は、さくらインターネットが提供するAI向けプラットフォームサービス「高火力 DOK」の開発マネージャーを務めています。 さて、2024年6月27日に高火力 DOK（以下「DOK」）がリ […]

11 月 1 日、米国西部 (オレゴン) AWS リージョンで、 Amazon Bedrock における Anthropic の Claude 3 Haiku モデル のファインチューニングの一般提供が開始されることをお知らせします。Amazon Bedrock は、Claude モデルをファインチューニングできる唯一のフルマネージドサービスです。Claude 3 Haiku モデルを独自のタスク固有のトレーニングデータセットでファインチューニングおよびカスタマイズして、モデルの精度、品質、一貫性を高め、

はじめに こんにちは、サイオステクノロジーの小野です。 昨今のAI開発において、便利なプラットフォームが数多く登場していますが、その中でもOpenShift AIに対する需要が高まっていると感じています 。したがってこの度、OpenShift AIの調査検証を行うことになりました。それにつきまして、これからOpenShift AIについての記事を記載します。今回は初回なので、OpenShift AIの概要について紹介します。 OpenShift AIとは OpenShift AIの概要 コンテナ技術を利用

こんにちは。SCSKの磯野です。 BigQueryのパーティションフィルタについて、気になったことをいくつか調べてみました。 パーティションフィルタとは パーティションフィルタを有効にすると、パーティション列を適切に指定したWHERE句が存在しないときに、エラーとすることができます。これにより、必ずパーティションが効くクエリしか実行できなくなるため、フルスキャンによる高額課金を防止することができます。 パーティション分割テーブルの管理  |  BigQuery  |  Google Cloud cloud

本ブログは「 Transition your Amazon Forecast usage to Amazon SageMaker Canvas 」を翻訳したものです。 Amazon Forecast  は、統計および機械学習（ML）アルゴリズムを使用して非常に正確な時系列予測を提供するフルマネージドサービスです。2019年8月にリリースされ、 Amazon SageMaker Canvas  よりも前に登場しました。Amazon SageMaker Canvasは、時系列予測モデルを含

本記事は 2024年2月2日に公開された ” Monitor embedding drift for LLMs deployed from Amazon SageMaker JumpStart ” を翻訳したものです。 生成 AI のワークロードで最も有用なアプリケーションパターンの 1 つが Retrieval Augmented Generation (RAG) パターンです。 RAG パターンでは、入力プロンプトに関連する参照コンテンツを探すために、埋め込みベクトル (テキスト文字列の数値表現) に

こんにちは。サイオステクノロジーの塙です。 今回はEKS上でGPUを扱う生成AIソリューションのデプロイを試し、実際にGPUがどう使われてどう見えるのかを検証してみたいと思います。 概要 前回は、Kubernetes をベースとしたプラットフォームでGPUを扱っていくための手法について解説してみました。 KubernetesでGPUを扱うためにはどんな準備が必要となるのか、またどんな設定をすれば良いかをまとめています。 ■前回の記事はこちら KubernetesでGPUを使用する   前回までの

6月19日、 Amazon SageMaker でのフルマネージド型 MLflow 機能 の一般提供についてお知らせいたします。 MLflow は広く使用されているオープンソースツールであり、機械学習 (ML) チームが ML ライフサイクル全体を管理する上で重要な役割を果たします。今回の新リリースにより、わずか数ステップで MLflow Tracking Server を簡単にセットアップおよび管理できるようになり、お客様はプロセスの合理化と生産性の向上を実現できます。 MLflow を活用すると、デー

はじめに 会員システムグループのkiqkiqです。最近PySparkというライブラリを触ってみたので紹介したいと思います。 Apache Spark・PySparkとは PySparkは、Pythonを使ってApache Sparkを操作するためのライブラリです。そのApache Sparkというのは、オープンソースの大規模データ処理フレームワークで、高速で汎用的なデータ処理エンジンです。Sparkには主に４つの特徴があります。 分散処理 Sparkはクラスター上で分散処理を行うことができ、大量のデータを

はじめに 2023年度未踏IT人材発掘・育成事業のために、さくらの専用サーバ 高火力シリーズの「NVIDIA V100（64GB）」プランを貸していただいた。プロジェクトのホームページからロボットが動く様子を事前に見てお […]

はじめに さくらのクラウドには、機械学習やディープラーニング(深層学習)に最適なGPUサーバを利用できる「高火力プラン」があります。 本記事では、Googleが提供している開発環境であるGoogle Colaborato […]

こんにちは AIチームの戸田です 固有表現抽出（NER）や品詞タグ付けなどのNLPタスクを行うためのPythonライブラリに spaCy があります。シンプルなAPIで拡張性も高く、AI ShiftでもプロダクトのNLPロジック部分やデータ分析など多くの場面で利用しています。 そんな非常にお世話になっているspaCyですが、処理パイプラインにLLMを統合できる spacy-llm がリリースされました。今回の記事ではそのspacy-llmを使って極性分類やNERなどのNLPタスクをzero-shotで解い

生成 AI の発展と共にモデルの規模はどんどん大きくなり、デプロイするためのインフラの選択や設定はますます複雑になっています。 Amazon SageMaker JumpStart は大規模言語モデルを最適な設定、かつワンクリックでデプロイする機能を提供します。 オープンソースコミュニティとの連携を通じ 、AWS はこれまで Meta の Llama2 や TII の Falcon 、 rinna の japanese-gpt-neox などを JumpStart で提供してきました。このたび 株式会社サ