GPU
イベント
注目のイベント
人気残席わずか
05/22(水)
19:00〜20:40
マガジン
技術ブログ
さくらのクラウド高火力プランでGoogle Colabを使う
2024/04/09
ブックマーク
はじめに さくらのクラウドには、機械学習やディープラーニング(深層学習)に最適なGPUサーバを利用できる「高火力プラン」があります。 本記事では、Googleが提供している開発環境であるGoogle Colaborato […]
Amazon Bedrock ワークショップ に参加しました!
2024/04/03
ブックマーク
はじめに こんにちは!トモニテにて開発を行なっている吉田です。 今回は先日参加した Amazon Bedrock ワークショップに参加させいただいたのでそこで学んだことについて紹介します! ワークショップは AWS 様からエブリー向けに開催いただきました。 Amazon Bedrock とは Amazon Bedrock は、高性能な基盤モデル (Foundation Model) の選択肢に加え、生成 AI アプリケーションの構築に必
Amazon SageMaker JumpStartによるエンドポイントデプロイのベンチマークと最適化
2024/03/12
ブックマーク
大規模言語モデル (LLM) をデプロイする場合、機械学習 (ML) の担当者は通常、モデルサービングのパフォーマンスの 2 つの測定値に注目します。1 つ目は 1 トークンの生成にかかる時間で定義されるレイテンシー、二つ目は 1 秒あたりに生成されるトークンの数によって定義されるスループットです。デプロイされたエンドポイントへの単一のリクエストは、モデルレイテ