こんにちは！Insight Edge データサイエンティストの角田です。今回は、LLMを評価者として使う「LLM-as-a-Judge」の 決定性 について、手元の実験で検証した内容を共有します。 背景 実験設計 評価対象 評価モデルと回答生成モデルの分離 評価プロンプト 制御条件 結果 同一スコアの出現率 考察 gemini-2.5-proが揺れた原因 gemini-3-pro-previewが安定した理由 補足：thinking_levelによるスコア差 まとめ 背景 LLM-as-a-Judgeとは

はじめまして！コーポレートIT室の種田と申します。 コーポレートIT室では全従業員が利用するデバイス、ネットワークインフラ、 SaaS といった IT 全般を統括しています。 メドレーでは自社開発のプロダクト、M&Aで取得したプロダクト、またローカルおよびグローバルのプロダクトを、会社や国を越えて統一的に管理・運用することを目指す「Global One」という思想を掲げています。 プロセスやシステムにおいても、この思想に基づき、個別最適に陥ることなく、グローバルに共通して適用できる標準的なIT基

さとうです。 皆さんはAmazon S3 Tablesを使ったことはありますでしょうか。 S3 Tablesは原理上OLAPに特化しておりOLTPには向いていないと言われていますが、実際のところどれくらい向いていないのかを検証してみました。 Amazon S3 Tablesについて OLTPとOLAPについて 検証条件 テストコード Amazon Aurora Amazon S3 Tables 検証結果 読み込みレイテンシ比較 (ms) 読み込みスループット比較 (TPS) 書き込みレイテンシ比較 (ms

こんにちは。 株式会社SHIFT データエンジニアの小畑です。 本記事では、リリース管理とInstanaの活用について解説していきます。InstanaやSREの領域に関心がある方の参考になれば幸いです。

はじめまして！ バリューチェーン本部の花ヶ崎雄太と申します。 新卒1年目の12月に一般社団法人コンピュータ教育振興協会（ACSP）の主催する3次元CAD利用者技術試験の準1級を受験し、合格いたしました。 今回はそれについて、 ・3次元CAD試験とは ・受験の理由と感想 ・出題される問題の概要と傾向 ・実際の学習方法 ・合格のコツ の5つに分けてご紹介します。 本記事の想定読者 ・3次元CAD利用者技術試験に興味がある/取得の予定があるが、CADの操作については未習得な人 ・仕事や学業で製造系の業界や学問に

Windows 11 24H2 Proにおけるログオン時のアプリ実行方法とその起動時間の計測についての説明です。ログオンスクリプト、レジストリ、スタートアップの各方法での起動時間を比較し、レジストリ設定による遅延の影響を検証しています。

はじめに Copilot coding agent とは 新たに追加された Agents タブとは Agents タブでできること Copilot coding agent へタスクを依頼 特定のセッションを Copilot CLI 環境で継続 Configure Customize environment 利用上の注意点とユースケース まとめ はじめに サーバーワークスの宮本です。先日、GitHub のリポジトリ画面に Agents タブが追加されました。 github.blog Agents タブでは

社内システムの小規模アプリのデプロイ問題を Kiro と SKILLS でなんとかしたい記事。

G-gen の森です。Google Workspace において Google ドライブなどのストレージ容量上限を規定するための仕組みである、 ストレージプール の仕組みについて解説します。 概要 ストレージプールとは 対象となるデータ エディションごとの上限 ストレージ容量の管理 使用状況の確認 ストレージ制限の設定 容量が不足した場合の挙動 ストレージプールを増やす方法 ライセンスの追加購入 上位エディションへのアップグレード 追加ストレージの購入 概要 ストレージプールとは ストレージプール とは、

こんにちは。 株式会社SHIFT データエンジニアの小畑です。 本記事では、パフォーマンスの継続的改善について解説していきます。InstanaやSREの領域に関心がある方の参考になれば幸いです。

このシリーズでは、当社のデジタルテクノロジー戦略本部（デジ戦）の社員が、業務やプロジェクトを通じて感じている「仕事の価値」と「社会的意義」を紹介します。顧客や社会への貢献実感、手応えを覚えた瞬間を取り上げ、働く意味をより具体的にお伝えします。 はじめに 筆者がこのブログを執筆しているのは1月下旬。 ”そんなに雪が降らない方”の岐阜にある実家の両親からは、どこか自慢げに「雪降ったわ」とLINEメッセージを頂く季節となりました。 私はマイナビにデータサイエンティストとして新卒入社し、雪解けの頃にはデジ戦在籍歴

メガベンチャー規模のプロダクト開発において、各チームが独自の基準で進める「部分最適」なQAは、組織の拡大とともに限界を迎えます。 マイクロサービス化が進み、プロダクトが複雑に絡み合う現代では、断片的な改善だけではリリース速度と品質の両立は困難です。 いまQAマネージャーに求められているのは、点在するテスト資産を統合し、組織全体の品質を俯瞰できる「全体最適」な管理基盤の構築です。 そこで今回は大規模プロジェクト特有の課題を解決し、QAを「リリースのブレーキ」から「価値創出の中核」へと変えるためのテスト管理ツ

メガベンチャーという急成長の渦中において、開発チームの独立性はスピードの源泉です。 しかし、組織が拡大し、プロダクトやマイクロサービスが複雑に絡み合うフェーズに差し掛かると、これまでの「チームごとの個別最適」は限界を迎えます。 「隣のチームと品質基準が異なり、連携部分で障害が多発する」 「リリース直前の手戻りが増え、QAがボトルネック視されている」 「属人化したテスト運用により、組織のスケールに品質体制が追いつかない」 QAマネージャーや品質推進リードが直面するこれらの課題は、単なるリソース不足ではなく、

はじめに サーバーワークスの池田です。 今週（2/15〜2/21）の Claude Code は v2.1.43 から v2.1.50 までリリースされました。 さらに 2/20 には Anthropic から大きな発表が2つありました。Desktop Code タブに App Preview・Code Review・PR Monitoring・Session Continuity の4機能が追加されたことと、AI がコードベースのセキュリティ脆弱性を自律的にスキャンする Claude Code Secu

USDM（Universal Specification Describing Manner）を用いた要求仕様の記述方法について説明しています。USDMは、要求を詳細な仕様に分割し、論理的な展開を明確にする技法です。