「Python」に関連する技術ブログ
企業やコミュニティが発信する「Python」に関連する技術ブログの一覧です。
全1345件中 511 - 525件目
dbtに関連する運用の自動化
2023/12/12
ブックマーク
この記事は Timee Advent Calendar 2023 シリーズ 3 の12日目の記事です。 qiita.com はじめに DREグループでデータエンジニアをやっている 西山 です。 今回は、データ転送まわりの運用自動化について書きます。 タイミーのアプリログが分析できる状態になるまでのリードタイムが長く、効果検証や意思決定に遅れが出ていた問題に対して、dbtに関連する運用を自動化することで改
PyGithubでGitHubの管理タスクを自動化してみた（後編）
2023/12/12
ブックマーク
G-gen の佐伯です。 前編 では PyGithub の管理タスク自動化の事前準備・導入について紹介しました。後編では新規ブランチの作成、ブランチ内ファイルの更新・削除、プルリクエストの自動化についてご紹介したいと思います。 はじめに 前編記事 当記事でやること 事前準備 データを準備 Github リポジトリを作成・main ブランチにファイルを準備 新規ブランチ作成 ファイル
ConversationChainに独自の入力値を持つSystemMessagePromptTemplateを利用してみた
2023/12/12
ブックマーク
introduction はじめまして！今年の7月からInsight Edge開発チームに加わった塚越です。 ChatGPT関連のPoCに携わっています！開発だけでなく、分析の要素も経験もさせていただき、とても楽しく取り組んでいます。 また、Insight Edgeではコワーキングスペースの利用が可能なので、家の近くで集中できる環境を手に入れ、快適な日々を過ごしています。 今回は、LLMを使用したチャ
PyGithubでGitHubの管理タスクを自動化してみた（前編）
2023/12/11
ブックマーク
G-gen の佐伯です。最近の業務で GitHub のブランチ作成やブランチ内のファイルの更新・削除を自動化する機会が多かったので、ご紹介したいと思います。 はじめに PyGithub とは 当記事でやること 事前準備（アクセストークン生成） ライブラリの取得 オーナーのリポジトリ一覧を取得 特定のリポジトリ内の全ファイルのパスの一覧を取得 はじめに PyGithub とは 当記事では
新卒エンジニアが Airflow のバグを発見してからコントリビュートするまで
2023/12/09
ブックマーク
この記事は、 Merpay Advent Calendar 2023 の9日目の記事です。 こんにちは。今年の春に新卒でメルペイに入社し、Credit Platform Team でバックエンドエンジニアをしている @champon です。Credit Platform Team では主に ML（いわゆるAI与信） を用いた与信枠の算出を行っていますが、その中でも自分はワークフローエンジンである Airflow を用いたデータパイプラインの開発・運用を行ってい
【回想】SPMでPreviewのLocalizeがぶっ壊れたのでなんとかした話
2023/12/09
ブックマーク
回想と書いているのは、この記事で紹介する問題がXcode15では既に解決されていて、アプローチが誰かの役にたつものではないからです。読み物としてお楽しみいただければ幸いです。 ※この記事は Luup Developers Advent Calendar の9日目の記事です。 こんにちは。はじめまして tarunonです。ご存知の方はお久しぶりです。1年ぶりのアウトプットです。本業ではソフトウェアエン
Musubi のカイゼン 2023 冬⛄
2023/12/09
ブックマーク
本記事は カケハシ Advent Calendar 2023 9 日目の記事です。 adventar.org Musubi 開発チームの加藤です。 1 年ぶり ですね。 皆様は 2023 年をいかがお過ごしでしょうか。 今年 Musubi 開発チームは多くのリソースを使って技術的負債の解消を行いました！ 今回はその内容の一部を報告します。 バックエンドの完全サーバレス移行🎉 2022 年から、サービス開始時の AWS Elastic Beanstalk から
Pythonによるバイナリプロトコルの実装 〜STUNにパターンマッチを添えて〜
2023/12/08
ブックマーク
こんにちは。PBXチームの山崎です。 振り返ると前回のブログからちょうど1年経ってしまいました。来年はブログのアウトプットも増やしていきたいですね。 さて早速ですが、今回のブログの概要です。 死活監視の一環で、STUNというバイナリベースのプロトコルのクライアントを実装してみた Python3.10で入ったパターンマッチングがバイナリプロトコルの解析に便利だっ
RecBoleでサクッとレコメンドアルゴリズムの検証をしてみた
2023/12/08
ブックマーク
こんにちは、データ統括部データサイエンス（以下DS）グループ所属の小関 ( @ozeshun )です。 本記事では、タイミーで取り組んでいるレコメンドに使用する アルゴリズム を検証する際に活用した、RecBoleでの実験方法について紹介したいと思います。 ※ Timee Advent Calendar2023 の12月8日分の記事です。 RecBoleとは RecBoleを活用したアルゴリズムの実験手順 0. ディレクトリ構成 1.
TensorFlow Probabilityを使ってドメイン知識を組み込んだ独自の確率分布を定義してみた
2023/12/08
ブックマーク
カケハシでデータサイエンティストとして働いている蓑田です。 こちらの記事は カケハシ Advent Calendar 2023 の8日目の記事になります。 今回はTensorFlow Probability（以降、TFPと呼ぶ）を使って独自の確率分布を定義するための方法について書いていこうと思います。 みなさんさまざまな領域でデータを活用されていると思いますが、得られたデータの背後には色々な事象が存
RustでもBERTでFine-tuningしたい
2023/12/08
ブックマーク
本記事はLabBase テックカレンダー Advent Calendar 2023 5 日目です。 https://qiita.com/advent-calendar/2023/labbase 概要 Pythonのtransformersライブラリと同程度に簡単に、RustでもBERTでFine-tuningしたかったので調べたところ、惜しくもできる方法は無かった。 しかしちょっと頑張ると可能そうだし、ちょっと待てばhuggingface/candleでできるようになりそう。 RustでもBERTでFine-tuningしたい 業務で文章
AWS CDK Constructを使用してチーム間のコラボレーションを強化する
2023/12/07
ブックマーク
チームを編成して優れたソフトウェア製品を提供するには、さまざまな方法があります。 Amazon の Two-Pizza チーム のように、製品に関するエンドツーエンドの責任を単一のチームに割り当てている企業もあれば、複数のチームがインフラストラクチャ (またはプラットフォーム) チームとアプリケーション開発チームの間で責任を分担している企業もあります。この記事で
【Python3】SQLite3の基本操作をまとめてみた
2023/12/07
ブックマーク
はじめに
Semgrepでちょっとしたルーチンワークやヒューマンエラーを削減できた話
2023/12/07
ブックマーク
こちらの記事は カケハシ Advent Calendar 2023 の7日目の記事になります。 adventar.org こんにちは、カケハシで Musubi 開発チームのバックエンドエンジニアをしている関です。 Musubi の開発工程でたまに発生するヒューマンエラーやルーチンワークを Semgrep を利用して削減することができたので記事を書かせていただきます。 Semgrepとは Semgrep は、コードのセキュリティやバグを見
生成AI初心者がAmazon BedrockのKnowledge baseを使ってRAGを試してみた
2023/12/07
ブックマーク
本記事は TechHarmony Advent Calendar 12/7付の記事です。 こんにちは。SCSK石原です。 AWS re:Invent2023にて、 Amazon BedrockのKnowledge baseとAgentsがGA されたと発表がありました。今回はこのうちKnowledge baseを利用して、RAG（Retrieval Augment Generation）を試してみたいと思います。 RAGにより、データストアから情報を取得して大規模言語モデル (LLM) によって生成された応答を拡張することがで