標籤: web crawler

在生成式AI時代，OpenAI的ChatGPT和Google的Gemini（原名Bard）可說是AI聊天機器人龍頭。為了讓AI的回答更加精確，它們需要很多資料訓練其大型語言模型（LLM），各國的新聞網站便是資料來源之一。然而，牛津路透新聞學研究所（Reuters Institute for the Study of Journalism）於2024年2月發佈的一篇研究報告指，在他們研究的10個國家中，有些新聞網站已經封鎖了OpenAI和Google，阻止他們使用AI爬蟲從其網站上抓取資料。