第943章 薄利多销才是互联网(2/9)

    周不器不太理解。
    郭鹏飞就给解释了一下。
    这其实跟搜索引擎的爬虫技术一样。比如百度和微点合作，屏蔽了所有同行搜索引擎，反对别的搜索引擎抓取百度知道、百度百科、微点百科、微点知道等自家生态内容。
    这对别的搜索引擎就是致命打击。
    但这里有一个问题。
    爬虫协议是一个君子协议。
    百度和微点说：“同行们，我把你们加黑名单了，不许来爬取我们的内容了。”然后，同行们就遵守约定，就不爬取了。
    这是一个承诺屏蔽，而不是技术屏蔽。
    也就是说，就算加黑名单了，也可以利用技术绕开协议，强行爬取。
    那些搜索引擎都是正规公司正规网站，都会遵守君子协议。国内正规企业不遵守的案例，也就是360爬取百度百科的内容了。
    盗版网站才不管这些。
    这是非法网站。
    这伙人连法律都不遵守，会遵守君子协议？
    直接绕开协议，强行爬取。就可以很容易地把正版网站上的付费内容，爬取到盗版网站中来。
    现在的问题是，站的技术不够，不能利用技术反爬虫。奢望加入黑名单遵守君子协定是不可能的。