邱建华 智慧眼:百度是怎么找到这些资源的?

来源:百度文库 编辑:查人人中国名人网 时间:2024/05/06 16:55:22
象这个歌曲的连接http://id.chinabroadcast.cn/mmsource/audio/2004/12/08/kuanshu.rm
还有些是人家论坛的私用资源,比如在bbs.***.com/upload/下,百度mp3搜索也可以找到。
他是怎么做到的??????

百度和大部份搜索引擎都使用一种叫做"蜘蛛"(译名)的软件在互联网上抓取资料的,它会自动寻找资源并提交到百度的网站.如果你不想某些文件被它们抓到,可以在你的网站中使用robots.txt文件来避免某些私秘文件被搜索引擎收集到了~