僕は小さな頃から、人と話すのは好きでした。特に、自分自身と興味関心が近い人と会話する事が非常に楽しく、時間を忘れて話し込んでしまう事もしばしです。

また、中学生の頃にアマチュア無線をやっていたせいか、10代の頃から年齢が何倍も上の人と話す機会も少なくなく、その時の年齢では得難い知見をたくさんいただきました。

しかし、この1年で気づいた事がありました。自分から話を振る事はあっても、人から話を引き出すのはあまりうまくない、と。

■直接の会話ではどうも解決しない

人の話をなぜ引き出せないのか。振り返りますと、僕は話し出すと押しが強く、かつ矢継ぎ早に言葉が出てくるように、はたからは見えるようです。だから、それを上回るペースや、よほど念が体から発せられるような存在感の強い人でない限り、僕には「話は聞いてもらえないだろう」と思われるのです。

最近は、自分の話している事が通じないだろう、というどちらかというと消極的な理由で、あまり話さないようにしています。人の会話は、1割も伝わっていればいいということです。たくさん話したところで自分が想像する程伝わってはいないのです。

しかし、これは自分の話す量を制御するだけであって、相手から話してもらう量が変わる訳ではありません。相手の話を引き出すための手法としては失敗しています。

■プログラム開発を通じて人から話を引き出せる

プログラム開発、そして出来上がったソフトウェアを世に広める行為は、開発者の自己主張であるというのが一般的な見方であります。これは主にWebサービス開発やオープンソースソフトウェア開発に言える事でしょうが、受託開発であっても言われるがままという事はありません。

それと同時に、ソフトウェアを通じて利用者から「意見」「感想」そして「苦情」といったフィードバックが届きます。ソフトウェアはコンピュータやネットワーク上で動く道具ですから、使えばフィードバックが来るのは当然です。

これです、これなら自然と相手から話を引き出せます。これに気づいて以来、僕はプログラムと自分自身の関係を聞かれると「プログラムは世間とのコミュニケーションツール」と捉えるようになりました。

■最近は会話が減った

最近、仕事をしていて会話が減りました。いわゆる上流工程のSEをしているので、要求定義を行う上でのステークホルダーとの会話やプログラマとの情報交換はありますが、それは必要最低限のこと。プログラムを書く仕事はもうありません。ですから、自分でプログラムを書く時間を作らなければなりません(※1)。直近では大学院の講義で出たレポートを仕上げる際や、新しい技術を確認するために書く程度です。

しかし、これでは不足している。4年前のシムエントリのように、自分自身でプログラムを書き、ソフトウェアを世に公開しなければならない。最近、そう考えるようになりました。プログラムを書けば、また広く世間の方々から意見をいただけるようになるのではと思うからです。

■ソフトウェア開発は少人数でいい

多くのソフトウェアは、とりあえず書ける人を山ほど集めて取りかかるより、敏腕のプログラマが数人集まってささっと書いてしまうことがうまくいきます。そのような体験をされた方は少なからずいらっしゃるはずです。

僕もSEという仕事をしておきながらあれなのですが、正直な所、自分を含めて少人数でプログラムを書き、商品をリリースするほうが効率も良く、より世間の役に立てるのではないかと考えています。僕がやる事は、人をまとめたり指示する事ではなく、出来上がるソフトウェアの品質に責任を持つ事だと自覚しています。それなら、尚更コスト上の「オーバーヘッド」である管理だけの仕事というのは、無駄な気がしているのです。

これは、ソフトウェア開発のマネジメントを放棄しているのではありません。要求定義をはじめとしたソフトウェア開発として向かうべき方向を定め、必要な知識を獲得し、最終製品を作り上げる責任は、変わらずに負うのです。ソフトウェアを自分自身も書いていれば、そのソフトウェアに対してより深く理解するでしょうし、また多くの人とコミュニケーションが出来るのではという期待があります。プログラマによって関わる工程の幅が変わる、それだけの事です。

それが、僕の考える「普通の開発」です。

※1 プログラムを書く行為は、筋トレと同じで続けていないと知識が腐っていきます。文法やライブラリは見れば思い出せますが、プログラムを書く時の「型」を忘れて行く事で書けなくなるのです。

パワーポイントは概要のみで、多くをホワイトボードと質疑応答で話を進めましたので、こちらに補足を書きます。

■概要

これまで、インデックスを使った投資を行うにあたっては、取引所などが定義した『業種分類』や、ファンドマネージャをはじめとしたプロフェッショナルの知識・経験・そして勘でインデックスが作成されていました。また、インデックスを作成したとしても、この動きが激しい世界では企業間の関係は刻々と変化します。

そこで、定性的でありつつも企業の特徴を垣間みることができる「有価証券報告書」や「決算短信」を用い、これらを自然言語処理の技術を用いて定量化することで、企業のつながりを分析できるか否かの実験を行いました。企業分析では、あまり例がない方法であります。

■実験手順

実験は、次の手順で行いました。すべてコマンドラインベースで動作しています。プレゼン中は、技術者以外の方にもわかるようベクトルの「なす角」(cosの意味を理解するために必要)についてあわせて解説しています。

1. やのしんさん開発のAPIを通じ、東証1部上場企業の2009年度中間決算短信（以下、短信）PDFをダウンロード。
   このAPIを使うことで、データの取得の自動化が可能になりました。
2. 短信PDFをテキストファイルへ変換。
   その後に本文を解析しやすくするための準備となります。
3. 各企業の短信の本文を分かち書き。
   日本語は英語と違い単語の区切りがないため、専用のツールで単語ごとに「分かち書き」と言う処理が必要になります。
4. 分かち書きした各企業の短信のTF、および全銘柄のIDF、RIDFを算出。
   TF/IDFについては、たつをさんのエントリ『形態素解析と検索APIとTF-IDFでキーワード抽出』が詳しいです。
5. 各企業の短信をすべてつきあわせ、短信間の内容の類似度(cos)を算出。
   実際は7で指定する企業のみ演算すればいいのですが、今回は途中で全cos値を調べたいと思いわざわざすべて計算させました。
6. RIDFを用い、各短信の代表キーワードを算出。
   どんなキーワードがその短信の特徴的な単語で影響を及ぼしやすいものであるのか、わかりやすくするために抽出しました。RIDFについては、当ブログ『【シムエントリ】 代表キーワードによる検索に変わります』をご覧ください。
7. 指定した企業において、cos値が0.5以上の短信を3階層までリンクしていく。
8. リンク結果を図に描画する。

■出力データ（画像へリンク）

このような形で出力しています。紹介している企業はスライドでピックアップしているものです。

• 9501: 東京電?
  
• 7003: 三井造船
• 1868: 三井ホーム
• 7259: アイシン精機
• 4005: 住友化学
• 4689: ヤフー
• 1959: 九電?
• 8165: 千趣会

■プレゼン中いただいたお話

プレゼン中の質疑応答時間、様々なお話を頂戴しました。

・大量保有報告書や第三者割り当てのレポートを活用できないか
これらの報告をする人たちの中に、キープレーヤーがいます。そのキープレーヤーの動向をテキストマイニングで抽出できれば、より客観的に市場の動きを把握できるのでは、とのことでした。

・IFRSのメジャーカスタマー欄を参考にして取引関係をより緻密にとらえられるかもしれない
テキストマイニングばかりではなく、IFRSをはじめとしたほかのデータソースを用いて相関をよりわかりやすく（どういったつながりなのか）していく方法もある、と教えていただきました。

・XBRLとの掛け合わせについて
それぞれのタクソノミをベクトル化して類似度を測ってみたいと言う話をしたところ、リンクや米国での事例について紹介いただきました。

・一見関連性がないつながりは書いている人が一緒か同じ会社かとかがあるかもしれない

ほかにも、いろいろなご意見を頂戴しました。どうもありがとうございました。

■活用したライブラリ・ツール

多くのツールは、Ubuntuのリポジトリからダウンロードできますので、手軽にインストール可能です。

• Sun VirtualBox
• Ubuntu Linux 8.04.3 LTS Server
• Perl 5.8
• mecab + ipadic
  形態素解析…分かち書きのためのツール
• graphviz
  相関図作成ツール
• xpdf (pdftotext)
  PDF関連ツール （今回はテキスト抽出のみ利用）

■参考図書

• Introduction to Information Retrieval
  以前、勉強会でお世話になった教科書です。洋書ですが、情報検索に必要な知識が一通り学べます。
• 情報検索アルゴリズム
  特に検索部分について解説している教科書です。上記IIR本と一緒にどうぞ。
• ゼロから学ぶ線形代数
  特にドキュメント間の類似度を演算する時に利用しています。数学からしばらく離れてしまっていた場合に役立ちます。

■個人的な目的

自然言語処理と、企業分析。それぞれの分野に置いて、非常に長けた能力を持っている人や前線にたって活躍されている方がいらっしゃいます。しかし、両方を兼ね備えて活躍されている方は、あまり見受けません。正直、自分が今から一つの分野で勝負するには、かなりハードでやりきれる自信はありません。

そして、定量的分析が進んでいる企業分析に置いて、定性的データを分析しているというレポートを、私は今まであまり見たことがありませんでした（前回の勉強会で少し出た程度です）。

今回、発表する題材を決めるにあたり、自分が経験してきた自然言語処理と企業分析というあまり近くなかった分野を絡めて発表することで、何か印象を残すことができればと期待していました。それが、自分ならではのものだと思ったからです。誰かが言っていました。一つの専門の人は数多くいるけど、ある程度の能力でも二つ以上の能力を掛け合わせられる人はなかなかいない、と。

■感想

目的が達せられてよかったです。

掛け合わせると言えば聞こえはいいのですが、常識的ではないことでもありましたので勉強会内で受け入れてもらえるのか、発表まで心配でした。それも、XBRL勉強会と言うのにXBRLの話がほとんどないという…。しかし、企業分析と言うもう一つの部分について興味を持っていただくことができ、とても嬉しく思っています。また、企業の分類にテキストマイニングと言う手法があることも皆さんにお伝えできたのではと考えています。

（体調を崩していて新年会に行けなかったことだけが心残りです）

勉強会に参加されていた皆様、どうもありがとうございました！

最近作った『シムエントリ』。
自然言語処理(テキストマイニング)の知識を学んだことで、初めて開発できたサービスです。
しかし、ほんの1ヶ月前まではこれらの知識なぞさっぱりありませんでした。たまたま、現在スポットで勤めている某研究所でプログラムの助手をしていたのがきっかけで、学ぶ機会に恵まれました。

さて、日々プログラムに触れられている皆様、アルゴリズムに純粋に触れる機会はどの程度でしょうか？
現在よく使われている高級言語(Java, Perl, Python, etc…)には様々なライブラリが揃えられていて、そのライブラリが動くアルゴリズムを知らなくても、存在を覚えさえすればプログラムが書けてしまいます。例としては、配列のソートや、ハッシュテーブルなどでしょうか。
そして、巷でよく見かけるプログラム技術は、主にライブラリの使い方や、コーディングテクニックです。
これらは、確かに自分自身のプログラムスキルを上げるポイントにつながることは否定しません。過去、僕もこれらをたくさん学んだ時期があります。
おそらく、『上達した！』という優越感を持ちやすいからなのでしょう。

しかし、ライブラリとかコーディングテクの知識は、言語に依存していることが少なくありません。
言語の栄枯盛衰が早い(※1)現在、極端な言い方をすればこれらは使い捨ての知識に成り下がる危険性をはらんでいます。

これは、非常にもったいないな！と最近気づきました。

そんな中で出会った、自然言語処理のアルゴリズム。
出会うまでは『小難しいものだから』や『GoogleやYahoo!に勤める専門家が使うものでしょう』と、言い訳を考えて敬遠していました。
でも、やってみたら、そんなことないものも数多くあったのです(※2)。
テストプログラム程度ならすぐに結果が出ますし、何よりたいていの言語で実装可能(＝自分の好きな言語で実装OK)です。
ちなみに、シムエントリのベースは数日で出来上がってしまいました(※3)。公開の準備のほうが時間がかかったくらいです。

アルゴリズムを知ることで、今まで「やりたくてもやり方を知らなかった」ことができるようになったり、今やれていることでも「よりスマートに」できるようになるのです。
少なくても、単語を探すときに線形検索(端から端まで順繰り探す)することがいかにに無駄で、2分探索など効率よく・すばやく探すアルゴリズムがどれだけ大切か、などに気づいていただけると思います(※4)。

僕が思うに、アルゴリズムは先人の知恵です。
多くの賢い人が考え、苦心された末に一般化された知識を、使わない手はありません。
また、多くのプログラムに応用することができるので、プログラミングもより楽しくなること間違いありません。

今、まさに自分自身が楽しんでいます。

※1
僕は、10年前にVisual Basic 4.0を皮切りに、C, C++ (& MFC), Perlを、仕事をはじめてからさらにJava, JavaScript, PL/SQL, PHP, Python と様々な言語に関わってきました。
この中で、10年前から継続して使っているのはC, C++, Perl の3つです。
さらに、今まで扱ったフレームワークを含めると、栄枯盛衰の早さをより垣間見ることがあります。

※2
解説しているWebサイトも数多くあることもわかりました。自然言語処理関係はたつをさんのブログにとてもお世話になっています。
■たつをのChangeLog
オススメ＞＞『[を] 形態素解析と検索APIとTF-IDFでキーワード抽出』

※3
自然言語処理のアルゴリズムをちょっと学ぶと、シムエントリがいかに単純なサービスなのかがご理解いただけると思います。

※4
これは例としてあまりにレベルが低いのですが…。もうちょっといい例がないかな。