设置

关灯

第768章 爬虫 (3 / 8)

《关闭小说畅读模式体验更好》

        “不要急,我早就说过了,短期之内不看份额,只看产品。”

        “产品……”

        王小船暗暗叹气。

        单看产品,微点搜索也不如百度啊!唯一的优势,就是微点的配套设施更多,有浏览器,有导航网,有输入法,有音乐平台等等。

        周不器笑了笑,“这点信心都没有?还是说你承认技术不行?”

        王小船从小就是计算机天才,在技术方面从未服过谁,摇头道:“搜索引擎的架构高度复杂,有抓取器、渲染器、dns解析、redis内存数据库、url队列、种子队列、响应队列、url提取、url过滤、重复url检测等等,是一个技术性很强的庞大工程。我自认为微点的架构不比百度差,可一些技术细节,还需要时间。”

        周不器笑着说:“我知道搜索技术很高端,可随着时间的推移,搜索技术就会走下神坛,变为比较大众的技术。最根本的技术,还是大数据处理。”

        在大方向的理论上,周大老板比一些专业人士还强。

        王小船深以为然,“是啊,大数据的处理。百度和谷歌的差距,微点和百度的差距,最主要的就是体现在我们在数据处理时的效率问题。按理来说,通过爬虫技术,可以抓取到互联网上所有信息。可相关信息太多了,数据量太大了。怎么才能在短时间内把想要的信息抓取并展示出来,是搜索引擎最大的技术难题。”

        周不器打了个响指,笑道:“巧了,我这次过来,就是想问问你爬虫的事。”

        王小船有些费解。

        内容未完,下一页继续阅读