「Jupyter」に関連する技術ブログ
企業やコミュニティが発信する「Jupyter」に関連する技術ブログの一覧です。
全40件中 1 - 15件目
さくらのクラウド高火力プランでGoogle Colabを使う
2024/04/09
ブックマーク
はじめに さくらのクラウドには、機械学習やディープラーニング(深層学習)に最適なGPUサーバを利用できる「高火力プラン」があります。 本記事では、Googleが提供している開発環境であるGoogle Colaborato […]
32,000トークン対応の商用利用可能な日本語チャットモデル CyberAgentLM2 をワンクリックで FineTune とデプロイ
2024/03/07
ブックマーク
生成 AI の発展と共にモデルの規模はどんどん大きくなり、デプロイするためのインフラの選択や設定はますます複雑になっています。 Amazon SageMaker JumpStart は大規模言語モデルを最適な設定、かつワンクリックでデプロイする機能を提供します。 オープンソースコミュニティとの連携を通じ 、AWS はこれまで Meta の Llama2 や TII の Falcon 、 rinna の japanese-gpt-neox などを JumpStart
rinna の日本語大規模言語モデルが AWS にワンクリックでデプロイできるようになりました
2023/09/26
ブックマーク
生成系 AI の発展と共にモデルの規模はどんどん大きくなり、デプロイするためのインフラの選択や設定はますます複雑になっています。 Amazon SageMaker JumpStart は大規模言語モデルを最適な設定、かつワンクリックでデプロイする機能を提供します。 オープンソースコミュニティとの連携を通じ 、AWS はこれまで Meta の Llama2 や TII の Falcon などを JumpStart で提供してきました
Amazon SageMakerのノートブックインスタンスや推論エンドポイントを自動停止・自動削除するLambda
2023/09/07
ブックマーク
機械学習をあれこれしていると、SageMakerのノートブックインスタンスや推論エンドポイントをしばしば使います。なのですが、ノートブックインスタンスはJupyterを閉じても起動し続けていることを忘れがち、推論エンドポイントは以外と気軽に作れてしまうのでいつの間にか増えがちです。（個人の感想です） 放っておくとかなりのコストがかかってしまうので、これら
Step Functions から Lambda を呼び Jupyter Notebook の実行まで繋げてみる
2023/07/26
ブックマーク
Step Functions から Lambda を呼び Jupyter Notebook の実行まで繋げてみました。本記事の目的は、Step Functions から Lambda を呼び出し、終了条件を満たすまで待機させるための構成を作る流れを掴んでもらうことです。 Step Functionsの個々のパラメータについて詳しくは触れていません。
Lambda関数とPapermillでJupyterノートブックをバッチ実行する
2023/06/30
ブックマーク
AWSにおいてJupyterノートブックを実行する場合は、通常はSageMakerの画面でノートブックインスタンスを起動してJupyterを画面を開いて実行します。 つまり、手作業なりますが、Papermillというツールを使えばバッチ実行が可能です。 本記事ではPapermillを利用し、Lambda関数でJupyterノートブックをバッチ実行する方法を紹介します。
BERTとSageMakerによる検索アルゴリズムの実装とデプロイ例の紹介
2023/01/20
ブックマーク
概要 スマートキャンプでエンジニアをしている佐々木です。 本記事では、自然言語処理モデルを用いて新規サービスを作れないか試行錯誤した話をしようと思います。 今回は精度の良い検索はうまく実装できませんでしたが、機械学習モデルをインフラで動かす流れは学ぶことができました。 実際に実装したコード例ともに紹介します。 概要 経緯 検索の仕組み MLモデ
時系列データ分析コンテンツ「ごちきか」を公開します
2022/12/24
ブックマーク
この記事は、 NTT Communications Advent Calendar 2022 24日目の記事です。 はじめに イノベーションセンターの木村と申します。初めてのアドベントカレンダー&Engineers’blog投稿です。普段の業務は、機械学習をもちいた時系列データ分析の研究開発やお客様データ分析案件支援を主として行っています。プライベートでは自転車にお熱でZwiftでバーチャルライドをしたり、最近で
データ分析の健全性を保つために行っている機械的データチェック（Pandera）の話
2022/12/22
ブックマーク
この記事は、Luup Advent Calendar の 22日目の記事です。 こんにちは、Data Scienceチームの長谷川（@chase0213）です。 Data Scienceチームでは、社内の様々な部署からデータ分析に関する依頼を受けたり、自ら課題を見つけ仮説検証したりして、単純な集計から複雑なモデリングまでデータにまつわることを幅広く行っています。 分析用のデータは基本的にデータウェアハウス（BigQuer
データ分析の健全性を保つために行っている機械的データチェック（Pandera）の話
2022/12/22
ブックマーク
この記事は、Luup Advent Calendar の 22日目の記事です。 こんにちは、Data Scienceチームの長谷川（@chase0213）です。 Data Scienceチームでは、社内の様々な部署からデータ分析に関する依頼を受けたり、自ら課題を見つけ仮説検証したりして、単純な集計から複雑なモデリングまでデータにまつわることを幅広く行っています。 分析用のデータは基本的にデータウェアハウス（BigQuer
huggingfaceのトークナイザーを学習する
2022/09/14
ブックマーク
はじめに こんにちは。人材領域でレコメンドシステムの機能開発をしている羽鳥です。 今日はみなさんが大好きなhuggingfa
便利な開発ツールをチーム内で共有する会をやってみました
2022/08/31
ブックマーク
プロダクトエンジニアリング3Uの二宮です。 リモートワークでは、ふとした時に便利なツールやTipsを教えてもらうことって減ってしまってませんか？ そこで私たちは「個人的に生産性向上のためにやっていることをなんでも共有する」という内容のグループワークを実施し、実際にいくつかの面白いツールや方法論をいくつか知ることができました。今回はその内容を紹
Vertex AI Pipelinesによる機械学習ワークフローの自動化
2022/06/07
ブックマーク
はじめに こんにちは。検索基盤部の倉澤です。 私たちは、ZOZOTOWNの検索機能の改善に取り組んでいます。ZOZOTOWNのおすすめ順検索ではランキング学習を用いた検索機能の改善に取り組んでおり、A/Bテストにて効果を測定しています。 ランキング学習やElasticsearch Learning to Rankプラグインについては過去の記事で紹介していますので、併せてご覧ください。 techblog.zozo.com techbl
JupyterHubを活用した、いまどきの情報科学の教育環境簡単クラウド構築 (前編)
2022/05/24
ブックマーク
AIや情報工学やバイオインフォマティクスなどの「いまどきの情報教育環境」を、JupyterHubを使って簡単構築する方法をご紹介します 4月にもなると新入学生も入り、はじめての情報科学の演習授業を開始する学校もあるかと思 […]
新卒がデータマート品質モニタリングシステムを0から創り、社内に展開して表彰された話
2022/04/25
ブックマーク
はじめに 初めまして、株式会社リクルートでデータプランナーとして勤務する酒井と申します。 2020年度新卒でリクルートに入り