「MeCab」に関連する技術ブログ
企業やコミュニティが発信する「MeCab」に関連する技術ブログの一覧です。
全23件中 16 - 23件目
Elasticsearch vs. PostgreSQL
2020/12/12
ブックマーク
FORCIAアドベントカレンダー2020 12日目の記事です。 弊社はこれまで PostgreSQL を利用した高速なスペック検索をコアコンピタンスとしてきましたが、今後はドキュメント検索にも注力していく予定です。OSS のドキュメント検索エンジンといえばまず思いつくのが Elasticsearch です。PostgreSQL と比較されることの多い Elasticsearch ですが、今回は特に日本語処理の周りを技術的に
クローラー運用を楽にするためのクラウドサービス比較
2020/05/15
ブックマーク
こんにちは！最近気になるニュースはスピノサウルスの尻尾の化石が発見されたこと 1 な、SRE部エンジニアの塩崎です。ZOZOテクノロジーズの前身となった会社の1つであるVASILYでは数多くのクローラーの開発・運用の担当をしてきました。 今回はその知見を生かして、クローラーを楽に運用するためのクラウドサービスを紹介します。 概要 データ解析を円滑に進めるため
機械学習のライブラリ・プラットフォームをいくつか試した所感まとめ
2020/04/08
ブックマーク
こんにちは、開発エンジニアの amdaba_sk（ ペンネ ーム未定）です。 ラク スの開発部ではこれまで社内で利用していなかった技術要素を自社の開発に適合するか検証し、ビジネス要求に対して迅速に応えられるようにそなえる 「 開 （ か ） 発の 未 （ み ） 来に 先 （ せん ） 手をうつプロジェクト（通称：かみせんプロジェクト）」 というプロジェクトがあります。 こ
テキストによる商品のカテゴリ分類でCutMixを試してみた
2019/12/17
ブックマーク
この記事はBASE Advent Calendar 2019 17日目の記事です。 devblog.thebase.in こんにちは、DataStrategyの杉です。 DataStrategyではデータを用いて問題解決を行なっていたり、より使いやすいサービスのための改善をしています。10日目の記事として 類似商品APIについて がありましたが、このようにテキストや画像の特徴量からレコメンドの作成なども行なっています。今回は私がテキスト
【Elasticsearch】Analyzerを手動で設定する方法 -Analyzerを理解する-
2019/10/02
ブックマーク
初めまして。今年度新卒入社の mako _makokです。最近実家に帰って水族館でペンギンを見てきました。 今回は 全文検索エンジン のコア機能の一つであるAnalyzerについて書いていきたいと思います。 はじめに 検索エンジンの仕組み Analyzerとは 前準備 Char filter Tokenizer Token filter おわりに はじめに 私は現在、個人的に 全文検索エンジン 学習をしています。 以前までは諸事情
WindowsにMeCabを入れてPHPで動かしてみる
2018/03/27
ブックマーク
はじめに 新卒1年目エンジニアのkasuke18と申します。 先月に開催された社内の技術交流会 ビアバッシュ の発表の中で MeCab について触れた発表がありました。 ※ ビアバッシュ...？ という方はこちらをご参照ください。 その MeCab に興味をもちましたので、今回の記事では MeCab を Windows に導入して使ってみます。以下は私の環境でインストールしたときのものなので、 デ
Solr 6でneologdが組み込まれたkuromojiを使う方法
2016/12/02
ブックマーク
Solr 6でneologdが組み込まれたkuromojiを使う方法 こんにちは、VASILYバックエンドエンジニアの塩崎です。 VASILYでは商品情報の全文検索を行うためのバックエンドに、Apache Solr(以下、Solr)を利用しています。 先日、Solrのメジャーバージョンを最新の6にアップグレードしました。 それに伴ってSolrの形態素解析エンジンであるkuromojiに新語辞書であるmecab-ipadic-neologd(以下、neologd)
iQONを支える、400サイトのクローラーの裏側
2015/10/13
ブックマーク
こんにちはVASILYエンジニアの塩崎です。 iQONでは提携先ECサイトからアイテム情報をクロールしています。 クローラーの仕組みを大幅に変更することによって、1ヶ月間で400サイト分のクローラーを製作することができるようになりました。 今までの仕組みですと、2年間で80サイト分ですので、製作速度は100倍になりました。 今回はその仕組みをざっと紹介したいと思いま