OpenAI en Anthropic negeren verzoeken van websites in robots.txt-bestanden om niet gescrapet te worden. Dat beweert Business Insider. Eerder schreef Wired al dat het bedrijf achter de AI-zoekmachine Perplexity dergelijke nietscrapenverzoeken ook negeert.
Continue reading...
Continue reading...