「Jupyter」に関連する技術ブログ
企業やコミュニティが発信する「Jupyter」に関連する技術ブログの一覧です。
全61件中 16 - 30件目
Colab Enterprise を解説
2023/10/31
ブックマーク
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の坂田です。 データ ML ディビジョンでは、Google Cloud が提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 今回は、Goo
rinna の日本語大規模言語モデルが AWS にワンクリックでデプロイできるようになりました
2023/09/26
ブックマーク
生成系 AI の発展と共にモデルの規模はどんどん大きくなり、デプロイするためのインフラの選択や設定はますます複雑になっています。 Amazon SageMaker JumpStart は大規模言語モデルを最適な設定、かつワンクリックでデプロイする機能を提供します。 オープンソースコミュニティとの連携を通じ 、AWS はこれまで Meta の Llama2 や TII の Falcon などを JumpStart で提供してきました
Amazon SageMakerのノートブックインスタンスや推論エンドポイントを自動停止・自動削除するLambda
2023/09/07
ブックマーク
機械学習をあれこれしていると、SageMakerのノートブックインスタンスや推論エンドポイントをしばしば使います。なのですが、ノートブックインスタンスはJupyterを閉じても起動し続けていることを忘れがち、推論エンドポイントは以外と気軽に作れてしまうのでいつの間にか増えがちです。（個人の感想です） 放っておくとかなりのコストがかかってしまうので、これら
Jupyter notebook をはてなブログのマークダウンに変換する
2023/08/28
ブックマーク
MathJax = {tex: {inlineMath: [['$', '$']]}}; Insight Edgeのデータサイエンティストのki_ieです。 今日の記事ではJupyter notebookをはてなブログで公開できるマークダウンに変換する方法を紹介します。 はじめに 数式とコード、さらにコードの実行結果を含む技術的な記事を書くには、Jupyter notebookが便利です。 しかしJupyter notebookは、そのままでははてなブログに公開できる形ではありま
Step Functions から Lambda を呼び Jupyter Notebook の実行まで繋げてみる
2023/07/26
ブックマーク
Step Functions から Lambda を呼び Jupyter Notebook の実行まで繋げてみました。本記事の目的は、Step Functions から Lambda を呼び出し、終了条件を満たすまで待機させるための構成を作る流れを掴んでもらうことです。 Step Functionsの個々のパラメータについて詳しくは触れていません。
Vertex AI Model Gardenを活用した効果的なモデル開発プロセスの紹介
2023/07/24
ブックマーク
クラウドエース宮崎です。 こんにちは！暑い季節が続いていますが、涼しい場所でリフレッシュする方法を見つけましたか？私はサウナ後の外気浴と水風呂で癒されています。 今回は6月9日にGAとなったVertex AI Model Gardenを活用して効果的なモデル開発プロセスを構築する方法を紹介します。 はじめに 本記事の趣旨は、「Vertex AI Model Gardenを活用して効果的なモデル開発プ
Lambda関数とPapermillでJupyterノートブックをバッチ実行する
2023/06/30
ブックマーク
AWSにおいてJupyterノートブックを実行する場合は、通常はSageMakerの画面でノートブックインスタンスを起動してJupyterを画面を開いて実行します。 つまり、手作業なりますが、Papermillというツールを使えばバッチ実行が可能です。 本記事ではPapermillを利用し、Lambda関数でJupyterノートブックをバッチ実行する方法を紹介します。
Dataproc Serverlessを利用してPySparkを触ってみた
2023/05/31
ブックマーク
はじめに こんにちは、クラウドエース データ/MLディビジョン所属の金です。 前回はDataprocを利用してJupyter notebook上、PySparkでデータ処理を試してみました。 そこで一つ残念だったのがやはりクラスタ管理が面倒なことでした。 今回はDataproc Serverlessを利用して前回面倒だったクラスタ管理などもせずにPySparkでデータ処理を試してみます。 前回の記事が気になる方は下記
Dataprocを利用してPySparkを触ってみた(feat.Jupyter Notebook)
2023/05/12
ブックマーク
はじめに こんにちは、クラウドエース データ/MLディビジョン所属の金です。 最近ビッグデータの重要度が高くなっているのでビッグデータ処理ができるさまざまな方法の一つのPySparkを試してみます。 今回はGoogle CloudサービスのDataprocでクラスタを起動し、そこからJupyter Notebookを起動してPySparkを試してみます。 Cloud Dataprocとは？ Dataprocは、「Apache Hadoop、Apache Sparkなどの
BERTとSageMakerによる検索アルゴリズムの実装とデプロイ例の紹介
2023/01/20
ブックマーク
概要 スマートキャンプでエンジニアをしている佐々木です。 本記事では、自然言語処理モデルを用いて新規サービスを作れないか試行錯誤した話をしようと思います。 今回は精度の良い検索はうまく実装できませんでしたが、機械学習モデルをインフラで動かす流れは学ぶことができました。 実際に実装したコード例ともに紹介します。 概要 経緯 検索の仕組み MLモデ
時系列データ分析コンテンツ「ごちきか」を公開します
2022/12/24
ブックマーク
この記事は、 NTT Communications Advent Calendar 2022 24日目の記事です。 はじめに イノベーションセンターの木村と申します。初めてのアドベントカレンダー&Engineers’blog投稿です。普段の業務は、機械学習をもちいた時系列データ分析の研究開発やお客様データ分析案件支援を主として行っています。プライベートでは自転車にお熱でZwiftでバーチャルライドをしたり、最近で
データ分析の健全性を保つために行っている機械的データチェック（Pandera）の話
2022/12/22
ブックマーク
この記事は、Luup Advent Calendar の 22日目の記事です。 こんにちは、Data Scienceチームの長谷川（@chase0213）です。 Data Scienceチームでは、社内の様々な部署からデータ分析に関する依頼を受けたり、自ら課題を見つけ仮説検証したりして、単純な集計から複雑なモデリングまでデータにまつわることを幅広く行っています。 分析用のデータは基本的にデータウェアハウス（BigQuer
データ分析の健全性を保つために行っている機械的データチェック（Pandera）の話
2022/12/22
ブックマーク
この記事は、Luup Advent Calendar の 22日目の記事です。 こんにちは、Data Scienceチームの長谷川（@chase0213）です。 Data Scienceチームでは、社内の様々な部署からデータ分析に関する依頼を受けたり、自ら課題を見つけ仮説検証したりして、単純な集計から複雑なモデリングまでデータにまつわることを幅広く行っています。 分析用のデータは基本的にデータウェアハウス（BigQuer
huggingfaceのトークナイザーを学習する
2022/09/14
ブックマーク
はじめに こんにちは。人材領域でレコメンドシステムの機能開発をしている羽鳥です。 今日はみなさんが大好きなhuggingfa
便利な開発ツールをチーム内で共有する会をやってみました
2022/08/31
ブックマーク
プロダクトエンジニアリング3Uの二宮です。 リモートワークでは、ふとした時に便利なツールやTipsを教えてもらうことって減ってしまってませんか？ そこで私たちは「個人的に生産性向上のためにやっていることをなんでも共有する」という内容のグループワークを実施し、実際にいくつかの面白いツールや方法論をいくつか知ることができました。今回はその内容を紹