迅睿CMS框架是一款PHP8高性能·簡單易用的CMS開源開發(fā)框架，基于MIT開源許可協(xié)議發(fā)布，免費且不限制商業(yè)使用，是免費開源的產品，以萬端互聯(lián)為設計理念，支持的微信公眾號、小程序、APP客戶端、移動端網站、PC網站等多終端式管理系統(tǒng)。
聯(lián)系官方銷售客服
1835022288
028-61286886
用迅睿做的一般企業(yè)站，網址已經做偽靜態(tài)了，robots.txt 哪些目錄是不能限制抓取的？我可以把所有目錄都限制抓取嗎？
這個沒有強制的規(guī)定，按具體站點來定，建議使用chinaz工具來生成一個
這東西就是一個君子協(xié)議，一般只有大的搜索引擎會遵守，比如百度（但是也是會有抓取的情況）對于第三方來說，卵用沒的
回復@知憶
明白人，現(xiàn)在百度都不遵守robotstxt協(xié)議了
我好幾個客戶用我的站群插件，本身主站禁止了robots，百度偏要去爬主站
robots.txt 不需要設置了，沒有作用的，不像以前的seo了
回復@小波工作室--標簽和API大師 你說能通過修改火車頭的發(fā)布文件來實現(xiàn)一個后臺發(fā)布多站點數(shù)據(jù)不
回復@知憶 當然可以，需要修改發(fā)布入庫腳本，需要安裝我開發(fā)的多站同步數(shù)據(jù)的插件
回復@小波工作室--標簽和API大師 數(shù)據(jù)肯定不能同步的，對優(yōu)化不好我指的是將數(shù)據(jù)不重復的發(fā)布到各站點
這年頭根本不需要這個文件了，很多搜索引擎是不講武德的
<menu id="ccwk2"></menu>
這個沒有強制的規(guī)定，按具體站點來定，建議使用chinaz工具來生成一個
這東西就是一個君子協(xié)議，一般只有大的搜索引擎會遵守，比如百度（但是也是會有抓取的情況）對于第三方來說，卵用沒的
回復@知憶
明白人，現(xiàn)在百度都不遵守robotstxt協(xié)議了
我好幾個客戶用我的站群插件，本身主站禁止了robots，百度偏要去爬主站
robots.txt 不需要設置了，沒有作用的，不像以前的seo了
回復@小波工作室--標簽和API大師 你說能通過修改火車頭的發(fā)布文件來實現(xiàn)一個后臺發(fā)布多站點數(shù)據(jù)不
回復@知憶 當然可以，需要修改發(fā)布入庫腳本，需要安裝我開發(fā)的多站同步數(shù)據(jù)的插件
回復@小波工作室--標簽和API大師 數(shù)據(jù)肯定不能同步的，對優(yōu)化不好我指的是將數(shù)據(jù)不重復的發(fā)布到各站點
這年頭根本不需要這個文件了，很多搜索引擎是不講武德的