LangChain

イベント

注目のイベント

技術ブログ

LangChainで日本語チャンキングが文字化けする原因、TokenTextSplitterでした

こんにちは!SCSKの野口です。 別の記事で、LangChainを利用したチャンキングのデモを行いました。 その際に、日本語のチャンキング結果が文字化けしてしまうという事象が発生したので、後学のためのに記事にまとめます。 事象 記事内で行った3つのデモの中で、デモ2(分割アルゴリズムの比較)では固定長分割のためにLangChainの「TokenTextSplitter」を利用してチャンキン

(シリーズ1:RAGの基本情報 / 第2回)チャンキング(チャンク化)とは:戦略の全体像、サイズ/オーバーラップ設計、失敗パターンと検証デモ

こんにちは!SCSKの野口です。 前回の記事では、RAGの全体像(Indexing / Retrieval / Augmentation / Generation)と、「LLMの性能そのものより、前段の設計で品質が決まる」ことを整理しました。 (シリーズ1:RAGの基本情報 / 第1回)RAGとは:全体像、なぜ必要か、基本フローと設計の勘所 RAG(検索拡張生成)の定義、なぜ必要か、基本フロー(Indexing/検索/補強/生成)を整理します。

【25卒新人研修】DevOps-hands-on dev編

はじめに こんにちは!データ推進室 2025年度新卒の門倉・萩原です。 新人研修の様子を紹介するブログシリーズ、今回は「Dev

書籍