- 大手検索エンジン(google yahoo msn infoseek fresheye goo)からの収集を可能としています
- Yomi-SearchもＵＲＬの取得が難しい検索エンジンですがこれも収集を可能としています
- ＷｅｂページよりＵＲＬを収集する時、自ページは相対パスが使用されている場合が一般的です
http://からのＵＲＬに変換するのが結構手数がかかります、これを自動で変換して収集します
- 収集対象ページの文字コードはShift-JIS EUC-JP JIS UTF-8 UTF-16LE UTF-16BE が可能です
- 実際にＵＲＬを収集してみると、収集したくない余分なものも収集してしまう場合も多々あります
例えば、「次ページ」とか「前ページ」とか、そうした場合、これを除外できます
- 逆に、実際にＵＲＬを収集してみると隠しリンクも見つかるかも（よくある事です）
|