はじめまして！一橋大学SDS研究科修士1年の佐藤祥太 ( @Shota_Sato01 ) です。今回私は8月のCA Tech JOBインターンに参加させていただきました！この記事では、配属先のAI Shiftでの取り組みについてご紹介させていただきます！配属部署について今回のインターンでは、AI Shiftに配属になりました。「人とAIの協働を実現し人類に生産性革命をもたらす」というMISSIONのもと、AI

日本語アナライザーの比較：Kuromoji・Sudachi・MeCab・Janome・LLMの性能検証

2025/07/15

ブックマーク

Elasticsearchの標準アナライザーは Kuromoji ですが、他にも日本語向けのアナライザーが存在します。本記事では Sudachi や MeCab 、およびPythonライブラリの Janome 、そして LLM（GPT-4）といった選択肢を比較し、どんな場面でどれを使うべきかを検討しました。なお、Elasticsearch 9.xではSudachiやMeCabの公式対応プラグインはまだリリースされてい

音声認識モデルWhisperを投機的デコーディングで高速化する

2025/02/25

ブックマーク

こんにちは、イノベーションセンターの加藤です。この記事では、Transformerベースの言語モデルで利用可能な高速化技術である投機的デコーディング(speculative decoding)を用いて、音声認識モデルのWhisperの高速化を検証したのでその結果を紹介します。投機的デコーディングとは Whisperとは実験英語音声 (LibriSpeech) の結果日本語音声 (Common Voice 17.0 日本語サブセット) の結果