ラベル 気になる の投稿を表示しています。 すべての投稿を表示
ラベル 気になる の投稿を表示しています。 すべての投稿を表示

2009年12月1日火曜日

【研究中】ベイジアンフィルタ

スパム投稿をハジくのに、

リモートのIPアドレスとかホスト名とかを

使おうという発想は、限界がある気がします。



意外と踏み台にされてるホストがたくさんありそうだし、

幾つかプロキシを経由されたりしたらもう追及するのも面倒。



ということで、スパム対策は、結局、ベイジアン・フィルタを

使うのが、個人的には、いちばん気に入っています。



ということで、ベイジアン・フィルタの研究したいと考えています。



英語だけ対象でいいなら、次の手順になると思います。

1)入力テキストを単語にバラす
  ⇒入力テキストを空白文字などで単語にバラす

2)ベイジアン・フィルタでスパム判定
  ⇒バラした後の各単語から元の文章をスパム判定



日本語も対象にするなら、次の手順になりそうです。

0)準備
  ⇒形態素解析エンジン・APIをインストール

1')入力テキストを単語にバラす
  ⇒入力テキストを形態素解析で単語にバラす

2)ベイジアン・フィルタでスパム判定
  ⇒バラした後の各単語から元の文章をスパム判定



ということで、研究課題としては、

 ☆ベイジアン・フィルタのアルゴリズム
  ⇒既存のアルゴリズムでいいんですけど。。。
   Paul Graham方式とか。

 ☆形態素解析モジュール
  ⇒一応、MeCabがよさそうです。。。
  ⇒APサーバー側にインストールするのか
   Yahoo形態素解析APIを利用するのでもいいのか



上記0)~2)を一つのWebサービスとして

公開することまで考えれば中々面白そうです。。。

2009年11月14日土曜日

自前で動画配信サイトを作りたい?

世の中にたくさんある動画形式にどうやって対応していくかという問題については、

youtubeのようにflash動画形式に変換してそれをflashプレイヤーで表示すれば、

何となく出来そうです。

youTubeを作るには?

携帯であれば、同じく3gp形式に変換してやれば表示できるみたいです。

動画配信サーバ構築



ただ、実際には、
  • 回線の問題
  • サーバーの問題
  • 著作権の問題
など、

乗り越えなければいけないハードルは一杯ありそうです。



しかし、サーバーや回線などインフラにまつわる問題に関しては、

次のブログ記事をヒントにすれば、何か見えてくるものがありそうです。

YouTubeみたいなサービスをAmazon EC2/S3/SimpleDBを駆使して自前で構築するオープンソースプラットフォーム「Panda」



・・・と考えていくと、自前で動画配信サーバーを構築するサービス、なんていうのも

有り得る時代になってきたような気がします。



ただ、「Amazon EC2/S3/SimpleDBを駆使して自前で構築する」のであれば、

もうyoutubeでいいんじゃないかという気もしてきます。

そこが微妙です。



動画配信に関しては、youtubeが出て来る前から、無料の配信サーバーが

幾つか存在していましたが、結局、今も昔も、

サーバー側インフラのスケーラビリティがネックになることに

変わりはありません。



根源的なことは、結局、いつまでも残る、というようなお話でした。

2009年11月8日日曜日

KOF見逃し

ATCでKOFが開催されていたようですね。まったく気づいてませんでした。今月一杯、部屋に篭って集中しなくちゃいけないことがあるとは言え、ちょっと迂闊でした。。。

2009年10月14日水曜日

ベイジアン・フィルタ

PHPで作成したベイジアン・フィルタのサンプルがあります。

http://code.google.com/p/phpspamdetection/



このまま使うと、
  • 日本語がアレだし
  • セキュリティ的にアレだし
といった感じで使いものになりませんが、

まあ、あくまでサンプルということで、ご参考まで。

2009年10月3日土曜日

ワイヤレス給電システム

久々にワクワクする話題に触れることが出来ました。

テレビなどに使える“ワイヤレス給電システム”、ソニーが開発
ソニーは10月2日、電源コードを接続せず、テレビなどの電子機器に電力を供給できる「ワイヤレス給電システム」を発表した。約50センチ離れた場所にある電子機器に60ワットの電力を給電することが可能になる。

 送電デバイスから供給された電力エネルギーが、同じ周波数で共鳴している受電デバイスのみに伝播する磁界共鳴型の非接触給電技術を採用。送電/受電デバイスの位置関係がずれていても高効率の給電が可能で、かつ送電/受電デバイスの間に金属が入っても、熱くはならないといった特徴がある。

 新開発の給電システムは、ソニーが通信・放送分野の商品開発で培ってきた高周波伝送技術を応用した整流回路を搭載。整流を含めても約60%という給電効率を実現した。また送電・受電デバイスと同じ周波数で共鳴するリピーターデバイスを開発。デバイスのみの基礎実験では、リピーターを送電/受電デバイス間に配置することで、給電効率を維持したまま給電距離を50~80センチメートルまで延ばすことに成功したという。


某社製ロボットの納品のため、開催前の愛知万博の会場で作業していた頃、他社のロボットが非接触型充電だというので驚いて見に行ったら、「それって、もうほとんど、くっ付いてるやん!」と声を上げそうになったのを覚えている。・・・あれから4年。とうとうこういう時代が来たかと、胸が躍りそうになります。



私の描く最も安直で楽観的な将来像としては、この世界中のどこにいても、十分に安定した無線LANとワイヤレス給電システムが無料で自由に使える、そんな素敵な世界。

永遠に来ないと思いますけど。(笑