KDDI研究所、有害ページを優先的に収集するクローラ技術を開発

KDDI研究所は、いわゆる有害情報を含むウェブページを優先的に収集する「有害クローラ」を開発したと発表した。

同技術は、情報通信研究機構からの委託研究「インターネット上の違法・有害情報検出技術の研究開発」の成果。規制が緩く、安価な共有サーバに設置されたり、隣接するIPアドレスに多く見つかるといった特性を活かし、場所を推定して優先的に探索を実施する。

同社では今回の技術により、効率良く違法有害サイトを収集することが可能としており、同社が実施したテストでは、従来のクローラーと比較して3.5倍以上を収集できたという。

同社では、今後大規模な実験を通じて技術開発を続け、フィルタリングサービスなどへ応用など、技術の早期実用化を目指している。

（Security NEXT - 2011/02/04 ）ツイート