■お願い

折角ブログパーツを貼付けていただきましたが、こちらを外していただけますでしょうか。外し忘れられている場合は、2011/09/01より『サービス終了』の旨のメッセージのみを出力する予定です。

登録いただいているブログのURI情報は、サービス終了を持って削除されます。改めて削除申請を行っていただく必要はありません。

■背景

端的に申し上げますと、メンテナンスを行う意欲と時間が確保しづらくなったのが背景です。折角使っていただいている方がいるのですが、放置するのもどうかと考えまして、サービス終了を決断しました。

また、現在は Tospy をはじめとした優秀なソーシャルメディア検索エンジンも登場し、その中に類似度の高いブログを抽出する機能があります。そちらの方がリアルタイム性も高く、かつ性能も上です。私の開発したツールではとても力が及ぶものではありません。

■最後に

本サービスをご利用、および応援いただいたみなさま、どうもありがとうございました。私自身も、自然言語処理の学習の一環としてこのサービスを提供していましたが、教科書だけでは得られない様々な知識を得ることが出来、非常に有意義でした。

また、何らかしらのサービスを開発した際には、どうぞよろしくお願いします。

■更新が1日2回になりました

これまで、更新は午前2:00からの1日1回のクロールのみでしたが、10月18日(月)より1日2回体制に変更しました。更新時刻は、2:30と16:30となります。クロール完了から類似ブログ計算まで4〜5時間を要しますので、実際に反映されるのはその計算後となります。この点は変更ありません。

これは、クロールおよび計算を行うサーバを自宅サーバから外部のVPSに移設したことによるものです。

今後は、クロール回数の増加、および計算をすべて行わずずリクエストベースで行う形に変更し、より素早く反映できるようにしようかと考えております。気が向いたらやります。

【おまけ】

・なぜ2:30と16:30なのか

まず、グラフをご覧ください。

これは、シムエントリのサーバに蓄積されているブログ記事が更新された時刻のみを抽出したものです。縦軸が記事数、横軸が時刻(時)です。これを見たところ、1〜2時頃に1回目の落ち込み、16〜17時頃に2回目の落ち込みがあります。

1回目を2:30にしているのは、この時間は1:00頃に計算しても結果が出る6時頃は見ていただける方が少なくわざと遅らせて7時頃の反映を狙っていること、そして16:30はちょうど落ち込んだところを狙いつつ21:00頃のピークタイムに反映されている状況を見てもらいやすいようにしたためです。

・VPS移行のメリット

家で使っているマシンよりも最近のVPSのほうがいいマシンであること、そして電気代が下がることであります。

RSSフィードの登録受付も引き続き行っております。下記からどうぞ。

http://se.koemu.com/

■ブログパーツの枠に独自のCSSクラスを定義できるようになりました

これまでは類似記事一覧部分に対して、ユーザ独自のCSSファイルが定義できておりましたが、それを枠を表示するIFRAME部分にも適用を拡大いたしました。より、ご自身のブログに合わせたデザインを適用できるようになります。ぜひお試しください。

適用方法は次の通りです。

<!-- Sim entries -->
<script charset="utf-8" src="http://se.koemu.com/js/sim-entries.js" type="text/javascript"></script>
<script type="text/javascript">writeSimilarList( EntryURI, [CSS URI], [CSS CLASS] );</script>
<!?? / Sim entries ??>

• CSS URI: 類似記事一覧のCSSファイルを定義します。以前から存在したオプションです。
• CSS CLASS: ブログパーツ枠を表示するIFRAMEタグのCSSクラス名を定義します。新オプションです。

気をつけていただきたいのが、”CSS CLASS“で定義するIFRAME部分のクラス名はご自身のブログ側で定義しているCSSが適用されるため、ブログ側のCSSについても編集をお願いいたします。

本機能の実装にあたっては、 @photo_pierre さんにご協力をいただきました。この場を借りて御礼申し上げます。ありがとうございました。

RSSフィードの登録受付も引き続き行っております。下記からどうぞ。
http://se.koemu.com/

■抽出対象エントリを60日以内に絞りました

類似エントリとして抽出される対象の記事を、計算実行日から60日以内に絞りました。これは、あまりに古い記事が出ますと記事の「鮮度」が低く、計算上類似度が高かったとしても価値ある情報として使いづらいのでは、と言う判断からです。

なお、基準となる記事については、RSSフィードにさえ届いていれば60日を過ぎても類似度を計算します。すなわち、2009年10月に書いた記事の類似エントリは直近60日以内に書かれたエントリがピックアップされます。

■広告を除外する仕組みを改善しました

今までも広告フィードを除外する仕組みを導入しておりましたが、最近新しい形式が登場しておりましたのでそれも対象となるようにしました。もし、新しい形式の広告が載ってしまうようでしたら、どのような記事かURIを教えていただけますと助かります。

■追伸

引き続きRSSの登録も受付中です→シムエントリ トップページからどうぞ。

【おまけ】

60日以内と決めるにあたり、現在シムエントリのバッチサーバが蓄えている期間別データ割合を調査してみました。

30日以内 56.3%
45日以内 61.1%
60日以内 64.4%
90日以内 69.1%

上記より、データベースの3分の2程度がカバーできる日を探しまして、結論を60日としました。

■Naive Bayesを採用しました

類似記事算出時、これまでシムエントリに登録されているすべての記事同士で突合せを行っていました(詳細は「【シムエントリ】 代表キーワードによる検索に変わります」)。今回、記事同士の突合せの前にNaive Bayesによる仕分けを行うように変更いたしました。

これにより、検索の方法が次の通りに変わります。

1. 最新のRSSフィードを取得する。
2. 形態素解析を行う。
3. Naive Bayes アルゴリズムを利用し、すべての記事に対してカテゴリ分けを行う。
4. カテゴリ内のすべての記事を突合せ、類似記事を探し出す。

Naive Bayes の詳細については、「ナイーブベイズによるテキスト分類体験アプリ – 睡眠不足？！」にてサンプルと共に解説されています。興味がある方はぜひその動きをご覧ください。

■対象記事が増えます

最新のぽぷるのデータを追加し、抽出される記事の母数が増えております。

「ぽぷる」は、河野さんとその協力者の方が作成されたブログホワイトリストです。シムエントリはこのデータを利用させていただいております。いつもありがとうございます。

■類似記事の変化が発生します

上記の変更により、類似記事の抽出結果の傾向が変わります。

また、Naive Bayes で仕分けを行う際に利用している教師データ(仕分けの元となるデータ)は引き続き編集を行っておりますため、この後も変化が起こる事が考えられます。あらかじめご了承ください。

■追伸

引き続きRSSの登録も受付中です→シムエントリ トップページからどうぞ。

【おまけ】

・Naive Bayes 採用の理由

結論から言うと、計算量を減らすためです。今までですと、1万件の記事を探すために 10,000 * ( 10,000 – 1 ) =?99,990,000 回の計算を行う必要がありました。ここで、たとえば最初に数が均等な10個のカテゴリに分けておくと、 1,000 * ( 1,000 – 1 ) * 10 = 9,990,000 回 となり、約1桁分の計算量を減らせます。その仕分けに、 Naive Bayes が役立ちました(Complement Naive Bayes というのもあります)。しかし、そう簡単に行かない事もわかりました。

・教師データ

Naive Bayers を利用し始めましたが、教師データの選定と分量がうまい事いっておりません。現状ですと、カテゴリを分けるときにグループごとの件数に大きなむらが出てしまっており、先の理屈ほど計算量を落とせていません。このあたり、試行錯誤し続ける必要がありそうです。

■CSSが指定できるようになりました

本日 2009年3月4日より、シムエントリのエントリ一覧にご自身で定義したCSSをセットできるようにしました。この機能追加により、ブログのテンプレートにあわせた配色を設定することができるようになります。どうぞお試しください。

定義方法は次のとおりです。

<!-- Sim entries -->
<script charset="utf-8" src="http://se.koemu.com/js/sim-entries.js" type="text/javascript"></script>
<script type="text/javascript">writeSimilarList( EntryURI, [CSS URI] );</script>
<!?? / Sim entries ??>

簡単に言うと、writeSimilarListにオプショナルの引数を1つ追加した形になります。
なお、現在シムエントリが利用しているCSSは “http://se.koemu.com/css/simentries.css” になります。

もし、クラス名をこのように指定してほしいなどのご希望がありましたら、コメントいただけましたら幸いです。内容をかんがみまして、できる範囲で改善していきます。

■描画領域を広くしました

Macなど、一部環境で3つ目のエントリの表示がかける問題がありましたので、高さを広めました。
あわせて、シムエントリのデフォルトCSSで適用するフォントを「メイリオ」に変更しています。Windowsの方でメイリオをインストールされている方は、フォントが変わっています。

以上2点は使っている方からいただいたアドバイスを元に組み込みました。どうもありがとうございました。

RSSフィードの登録受付も引き続き行っております。下記からどうぞ。
http://se.koemu.com/

※追伸
IIR輪講 シーズン1 が終わったので、勉強したネタをそろそろ入れ込んでみたいなと思います。主に計算量を減らす方向に持っていくつもりです。

※追伸2
汎用性の高いデフォルトCSS、募集します。採用者の方にはビールを1杯ごちそうします。もしよろしければ作っていただけるとうれしいです。

■1KB以上のエントリのみを関連記事として表示します

類似記事一覧に表示するエントリを、1KB以上のデータを持つエントリにいたします。
また、1KB未満のエントリは類似記事を表示することはできますが、他のブログの類似記事としては表示されなくなります。
これは、シムエントリが「代表キーワード」を用いて記事を検索している特性上、記事の本文が短い≒用いられる単語が少ない記事が優先して表示されやすい背景があったためです。
※DBを調べたところ、10%程度のエントリが1KB以下のエントリでした。これは、本文引用形式のRSS記事も含みます。

■記事の保存期間を15日に引き延ばします

7月6日より、記事の保存期間を7日設けることで更新が早いブログでも記事が残るようにしておりました。これを、本日より30日に引き延ばします。
これにより、更新が早い(1日1記事以上の)ブログを運営されている方は、以前より記事が残りやすい状況になります。

■記事取得時間が1時間繰り上がります

記事取得の時間を3:00から2:00に1時間繰り上げます。

RSSフィードの登録受付も引き続き行っております。下記からどうぞ。
http://se.koemu.com/

現在、サーバの負荷が高まっており、サーバ運用会社よりページ・サービスへのアクセスが一時的に制限されております。制限時にアクセスしますと “Error 503″ や “混雑中” などと表示されています。

ご利用、ご覧いただいている皆様にはご迷惑をおかけしており、大変恐縮です。

現在、対策を検討しておりますので、結論が出るまでしばらくお待ち下さい。

※追伸 制限中はブログの管理画面も制限されており、お知らせが遅くなりました。

■RSS広告系のエントリを表示しないようにしました
RSSフィードの中に広告が含まれているものがありますが、これを結果に表示しないようにしました。
今回の対応では、
・タイトルの行頭に「PR:」とつくもの
・タイトル内に「スポンサーサイト」とつくもの
の2つが対象となります。今後も対象のものを増やしていく予定です。
もし「これが対象になっていない！」というものがございましたら、コメント欄で指摘いただけますと助かります。

■同じサイトを2回以上表示しないようにしました
記事の関連性があっても、同じサイト(ブログ)が2つ以上列挙されることがありました。
理屈としては間違っていないのですが、「新しいブログを見つけるきっかけ」としてのブログパーツの魅力が少し減ってしまうのではないかと思い、同じサイトを2回以上表示しないようにしました。
そのため、ブログパーツに表示されるサイトは、3つとも違うブログが表示されることになります。

RSSフィードの登録、およびパーツの貼り付けも引き続き行っております。下記からどうぞ。
http://se.koemu.com/

2008年8月12日 8:45 以降に更新された類似記事データより、類似記事がどの記事も1件より多く表示できない状態となっております。
現在、プログラムを修正し、類似度の再計算を行っております。再計算が完了し次第、正常に戻る予定でございます。

ご利用いただいている皆様にはご迷惑をおかけし、恐縮です。

2008年8月13日 1:00
2008年8月11日のデータに戻して、最大3件表示できるように仮復旧しました。再計算は継続して進めており、こちらが完了し次第完全復旧となります。

2008年8月13日 4:00
問題は解消し、現在は正常に稼働しております。

■TFの値にlogを取るように
本日より、記事中の単語毎の語数(出現頻度)(＝TF)と他の値を組み合わせて計算する際、TFの値にlogを取るようにしました。
これにより、類似記事の検索結果が変化いたします。
今までは類似記事を検索する際、単語の数が著しく多いとその多くなった単語に引きずられて検索結果が出る傾向がありました。今回、TFにlogを取るよう になると、単語の数が多さに極端に引きずられないようになり、より興味が深まる記事が探し出しやすくなると期待しております。
※例えば、TF*IDFの計算結果が変化します。

■7日以内に投稿された記事はRSSフィードが途切れた後も対象に
本日から、計算する日から数えて7日以内に投稿された記事については、1度取得するとその後にRSSフィードから外れても類似記事が表示できるようになります。
これまでは、RSSフィードに含まれている記事のみを検索対象としておりました。しかし、1日に数記事以上投稿されるようなとても活発なブログですと、日の浅い記事であってもあっという間に検索対象から外れてしまうという問題がありました。そこで、上記の機能改善を行うことで、できる限り多く、そして鮮度の高い情報がピックアップされやすくなります。
本日2008年7月6日から記事の蓄積を開始していますので、実際にこの機能が最大限の効果を発揮するのは今度の土曜日になります。記事を書き換えた場合は、次回RSS取得時に書き換えた内容が含まれたときに限り、更新されます。
なお、蓄積日数については、システム負荷を鑑みて今後延長も検討しております。

RSSフィードの登録、およびパーツの貼り付けも引き続き行っております。下記からどうぞ。
http://se.koemu.com/

新: 1日1回 AM 3:00 (この時間からRSSの取得を開始します)
旧: 1日4回 6時間毎

理由としまして、自宅で類似エントリの計算を行っているサーバの「電気代」にあります。
前年同月比で電気代が2倍(※1)となっており、家計的に無視できない状況となっております。

そのため、計算終了後はサーバの電源を止め、電気代の高騰を抑える処置をとることといたしました。
個人的な都合で誠に勝手ではございますが、ご理解のほどなにとぞよろしくお願いいたします。

※追伸
資金に余裕が出てきたら、専用サーバでも借りて計算機・回線に余裕を持って今まで以上のサービスを提供できたらと考えています。

※1
電気代が一番少なくなる春、昨年の電気代は3,000円弱でした。しかし、今月は約6,000円となり、サーバ1台が家1軒分の電気を食べていることになります。ちなみに、サーバのCPUはPentium4 521 (2.8GHz)が入っています。

2008年4月14日 2:10 以降に更新された記事につきまして、反映が遅れております。
先ほど、復旧作業を行いまして、2008年4月17日 2:10より更新を再開しております。本日の朝までには正常な更新速度に戻る予定です。

ご利用いただいている皆様にはご迷惑をおかけし、恐縮です。

2008/04/18 問題は解消し、現在は正常に稼働しております。

■いつから？
今晩の更新から適用します。

■どう変わるの？
これからは、ブログ内の上位10単語を「代表キーワード」と定義し、これを元に類似度が高いブログを検索するようにします。
今までは、ブログ内に含まれている全単語を使って、類似度が高い記事を探していました。しかし、この方法ですと長文の記事があると検索に多くの時間がかかるようになり、結果として更新が遅れてしまうという問題が発生していました。そこで、利用するキーワードを重要なものに絞って検索することで、計算速度を高める手法を採り入れました。

■精度は低くならないの？
類似記事の検索結果が変動することがあります。
現在私自身が確認している中では、大幅に結果が変動しておらず、精度は担保できていると考えています。
しかし、なにを以って「精度」を判断するかが難しいので、正直お話ししづらい部分ではあります。お気づきの点がございましたら、ご連絡いただけましたら幸いです。調整の際に参考にしてまいります。

■注意
・cos値の下限閾値を撤廃します
cos値の閾値を 0 < cos < 1 の範囲に変更します。これは、全単語を突き合せなくなったために完全なcos値ではなくなったためによるものです。
・APIを利用されている方へ
単語の照合を最大10個に絞ったため、APIで出力されるcos値が大幅に変わります。
APIを使われている方は、閾値などの見直しをお願いいたします。

■細かい話
各エントリの代表キーワードの算出方法は、TF*RIDF値の上位10番に入った単語を対象としています。
今回用いたRIDF(残差IDF 『情報検索アルゴリズム』P.43参照)は、IDFでは単に多くのエントリで取り上げられている＝重要度が低い、という認識が起きる時のギャップを埋める手法です。
たとえば、IDFのみで代表キーワードを抽出しようとすると、よく使われるが大切な言葉(たとえば地名や商品名など)のウェイトまで低くなってしまうのです。これを、ポアソン分布(サイコロの出目の確率を数えるときなどに使う近似値算出方法)で算出した頻度とIDFとの差を出すことで、大切な言葉をよりピックアップしやすくしています。

精度および速度の向上につきましては、今後も検討を重ねてまいります。

どうぞよろしくお願いします。

■追伸
引き続きRSSの登録も受付中です→シムエントリ トップページからどうぞ

■RSSフィードが終わっても代替情報を表示します
今までは、RSSフィードが終わってしまった記事については空欄になっておりましたが、「これだと寂しい！」というお話を伺っておりました。
そこで、RSSフィードが終わった記事については、ブログ全体からある1記事の類似度が高いものをピックアップして表示するようにいたしました。実際の仕組みは、メニューバー用ブログパーツと同じです。
このモードで動いているときは「興味が近い別のブログを探してみよう」という表示に切り替わります(通常は「この記事に近いブログはこちら」です)。

■幅狭バージョン登場
シムエントリのブログパーツに、幅狭バージョンが登場しました。
今までのブログパーツは、情報量が多く幅も広いため、一部のテンプレートを利用していると具合が悪いことがあるとご連絡をいただいておりました。
そんな方にお勧めいたします。

幅が360ピクセル 固定で表示されます。
貼り付け方は今までと同じ、『標準ブログパーツ』と同じ方法で貼り付けてください。
———————
<!-- Sim entries -->
<script charset="utf-8" src="http://se.koemu.com/js/sim-entries.js" type="text/javascript"></script>
<script type="text/javascript">writeSmallSimilarList( '記事のアドレス' );</script>
<!–– / Sim entries ––>
———————
※メソッド名が writeSimilarList → writeSmallSimilarList になっています
※ブログ別の貼り方は『ブログパーツの貼り付け方』をご覧ください

動作も、幅と表示される情報量を除いて、標準ブログパーツと同じです。

どうぞお試しください。

■追伸
引き続きRSSの登録も受付中です→シムエントリ トップページからどうぞ

■計算速度改善
計算速度の改善ですが、現在も引き続き増大していることから抜本的に方法を変えることを検討しています。
手法としては、現在有力なのが『代表キーワード抽出』による方法です。
これは、元エントリより代表(中心)となるキーワードをいくつかピックアップし、これから内容が近いエントリを探し出してくる、という方法です。
キーワード検索自体はすでに転置インデックスによる最適化が済んでいますので、高速化はやりやすいと考えております。
また、代表キーワードの抽出方法はいくつか存在するため、速度・精度共々バランスがよいものを採用できるよう現在試験中です。

■記事保持期間の設定
RSSフィードから対象外となっても、一定期間保持する機能を検討中です。
これは、上記の計算速度の改善で目処が立ち次第、順次対応する予定です。

■ブログパーツ
・幅狭タイプ(250px)の設定
・検索対象外となった場合の代替表示
について、検討中です。幅狭タイプは情報量を削って幅を狭めるだけになると思います。
代替表示については、メニューバー形式のブログパーツと同じしようにしようと考えています。

計算速度の改善については、3月末までに対応できるよう進めています。

途中経過のお知らせでした。

【おまけ】
『この記事はシムエントリの解析対象になっているのか？』ということを調べやすくするためのブックマークレットです。
個別の記事を開いた後、このブックマークレットを使ってみてください。
■シムエントリのデータを確認
(といっても、JSONのAPIを直接叩いて中身を見るだけです。)

■自分自身のブログを出さない処理を入れるようにしました

■類似度計算時に転置インデックスを用いるようしました
文章の分かち書きには引き続きMeCabを用いています。N-Gram方式は使用しておりません。
計算速度は特に変化はありませんが、今後より増大する類似度計算により対応しやすくなっております。

※実際の稼働状況は＞＞こちら

貼り付け方は今までのブログパーツとほとんど変わりません。
次のコードを各ブログのブログパーツ欄(アメブロですと『フリープラグイン』欄)に、次のHTMLを入力してください。
———————
<!-- Sim entries -->
<script charset="utf-8" src="http://se.koemu.com/js/sim-entries.js" type="text/javascript"></script>
<script type="text/javascript">writeSiteSimilarList( 'ブログのアドレス' );</script>
<!–– / Sim entries ––>
———————
※ブログのアドレスの末尾に”/”(スラッシュ)をお忘れなく！

表示される記事は、現在RSSフィードされている記事の中から、ランダムに1つの記事に近いものをリストアップしています。
そのため、1つでもシムエントリにフィードが解析されていれば、表示することができます。

ぜひお試しください。

■一部フィードの解析問題を修正
一部のRSSフィードで本文を正しく取得できていない(※1)ことがわかりましたので、修正しております。

■閾値の変更
上記の修正から抽出精度が確保できたため、 0.1 ＜ cos ＜ 1 の範囲で表示するように戻しました。

■タイトルのウェイト変更
タイトルのtf値のウェイトを10倍に変更しました。以前は3倍でした。
類似比較に当たり、よりタイトルのウェイトが高まります。

※1
Perl のXML::FeedPPですと、HTMLタグを含んでいるフィードが正しく取得できないことがわかりました。
そのため、使用するモジュールをXML::Feedに切り替えて対処しております。
参考：『Atom feedの解析 – ホワイト日記』

■処理速度を改善いたしました
1回の処理時間が最大10分の1程度、時間にして12,000エントリで1.5時間になりました(以前は12時間以上かかっていました)。
そのため、リリース直後時点以上に早く表示できるようになりました。
処理速度については皆様から様々なお話を頂戴しております。引き続き、最優先課題として改善を進めております。

■類似度計算時の閾値 再変更
スコアの範囲を 0.5 ＜ cos ＜ 1 の範囲に変更いたしました。
前回のお知らせで、スコアが0.1未満のエントリを切り捨てる処理を入れましたが、出てくるエントリ数があまりに減ってしまったために少し甘くしました。

【皆様へ】
コメント、トラックバック、そしてブログ上で様々なご意見を頂戴しております。
どうもありがとうございます。
進捗は引き続きこのブログで行っていきますので、どうぞよろしくお願いします。

そして、改善案を直接指南いただいたSさん、ありがとうございました！

【細かい話】
■処理別 最適化結果
RSS: 25分/12,000エントリ (以前は 約1時間/11,000エントリ)
計算: 1時間/12,000エントリ (以前は 約11時間/11,000エントリ)

■I/Oの問題
実計算よりもデータのI/Oに大きなコストがかかっていることがわかりました。
そこで、計算については極力I/Oが発生しない処理に最適化することで、速度が向上しています。
また、RSS取得処理についてはマルチスレッド処理にすることで速度を上げています。
アルゴリズム最適化やクラスタリングによる計算機容量の増強の前に、このあたりをどうにかしないといけなさそうです。

■cosの閾値
I/Oのお話の続きになります。
0.1の閾値で計算すると、50分/12,000エントリで計算が終わります。閾値を下げれば下げるほど指数関数のように保存データ量が増えて計算の足を引っ張っていることが、処理を遅くする原因のひとつのようです。
これは、DBのバッファキャッシュのチューニングすることで改善が図れるかと推測しています。

■省電力
カーネルが動的にCPUクロック数を変えるモード(governor = ondemand)で動いていました。そのため、時々クロックが低い状態で稼動したために遅さに拍車がかかっていることもわかりました。
そのため、I/O処理の最適化の後にフルパワー(governor = performance)で動くように変更しました。
これにより、計算が上記の最適化後さらに30~50%速くなるパターンもあることがわかりました。
詳しいお話はこちらもご覧ください＞
『Hot Linux – CPUの速度を動的に変えてみる(WhiteBoxEL4)』
『Core2 Quad で VMware Server の時刻が進む件は解決した – daily dayflower』

■データ更新遅延中
ここ1?2日で登録数が一気に増えており(11,000エントリ)、情報の更新が遅れております(※1)。
ブログパーツをご利用の皆様、大変ご迷惑をおかけしております。
現在鋭意計算中でして、更新は本日 2月28日 午前中の予定です。

■配色変更
ブログパーツの背景と枠線の色を変更いたしました。
背景は薄い灰色、枠線は薄い水色です。
今までは情報がない場合は真っ白となり「貼り付けているかどうかわからない」というご意見を頂戴しておりました。その対応としてのアップデートとなります。

■類似度計算時の閾値設定
エントリ数が十分増え、類似度が低い記事にあたることが少なくなったため、類似記事のピックアップを行う条件を厳しくします。
類似度にはいわゆるスコア(cos値)というのがあり、1が完全一致、0で不一致です。
今までは”0 < cos < 1″のデータをすべて表示しておりましたが、本日のアップデートより”0.1 < cos < 1″のデータが表示されるようになります。このため、一部のエントリで3件未満の表示になることがございます。

■現在進捗中の課題
下記の順に対応を進めます。
・計算処理の更なる高速化/最適化
・テンプレートや記事内にJavaScriptが貼り付けられないブログへの対応
・RSSフィードが終わった記事の保持 (数日?1ヶ月の範囲で検討中)

※1
計算量は細かい条件を抜きにすると『ブログエントリ数の二乗÷2』です。この量に比例して計算時間が延びております。
リリース時はぽぷるのデータを含めて2?3時間で終わっておりましたが、現在は5倍程度かかっております。

よろしくお願いいたします。

■【シムエントリ】ブログパーツの貼り付け方

対象のブログは、
* Blogger
* ココログ (プロ)
* FC2 BLOG
* gooブログ (アドバンス)
* JUGEM・ロリポブログ
* livedoor Blog
* 忍者ブログ
* Seesar Blog
* ヤプログ！
* Movable Type
* WordPress
* ドリームブログ・ドリーマ (関連するOEMサービスを含む)
以上12のサービス・エンジンとなっております。

テンプレートを操作できるブログであれば、全記事に対してブログパーツを手軽に適用可能であることがほとんどです。
もし、上記以外のブログで貼り付け方をご存知の方がいらっしゃいましたら、トラックバックいただけると幸いです。説明ページへ記述を増やしたいと思います。

また、テンプレートが操作できないブログにつきましても、本文内に貼り付けたJavaScriptが動作するブログであれば、手動で追加することで動くようになります。

なお、テンプレートの操作、およびJavaScriptが動かないブログにつきましては、このような環境でも動作するブログパーツを用意する予定です。今しばらくお待ちください。

FeedBurnerを利用されているブロガーの皆様には、ご不便をおかけいたしました。

引き続き、処理速度の向上をはじめとした改善を進めてまいります。

■ブログを類似記事で結ぶパーツ「シムエントリ」 – ITmedia News

ぜひご覧ください。

■原因
FeedBurnerでフィードされているアドレスと、実際のエントリのアドレスに相違が生じているためです。

■一時的な対応方法
FeedBurnerでフィードされているエントリのアドレスを入力いただくと、表示することができます。
※対応完了後は、実際のエントリのアドレスに差し替えてください。

よろしくお願いいたします。

ブログパーツをつけていらっしゃる方は、表示されるブログが以前よりも広がったことをご確認いただけるかと思います。

登録も引き続き承っておりますので、あわせてよろしくお願いします。

現在は、Firefox 2.0, Internet Explorer 6.0 および 7.0での動作を再確認いたしましたので、あわせてご報告いたします。

『Scientia est potentia.』さん、ご指摘ありがとうございます！

何かございましたら、コメント・トラックバックにてお願いいたします。

スタート段階は、ブログのホワイトリストを取ってきて
全 RSS を登録してしまってもよいかも。
たとえば smashmedia の河野さんらがやっている「ぽぷる」とか。

たつをのChangeLog 『[を] ベクトル空間モデルで類似記事を探して表示するブログパーツ「シムエントリ」』より

というアドバイスをいただきました。
どうもありがとうございます。
そして、早速貼り付けていただいて重ねて感謝！＞たつをさん

早速、データ量を厚くする対応をはじめます。
進捗があり次第、こちらでまたご案内いたします。

■タイトルに対するウェイトを高めた
タイトルに出現している単語については、TFを3倍にしています。
すなわち、『ブログ』という単語がタイトルに1回、本文中に2回出現すると、TF値は”1*3+2*1=5″となります。
タイトルは多くの方が「そのブログを読むか読まないか」を決める重要な部分ですので、ウェイトを高めることとしました。

今後もいろいろ調整していきます。