OpenAI10/31 08:01基础设施OpenAI 支持 robots.txt 表达训练偏好OpenAI 将遵循共享 robots.txt 信号，帮助网站运营者向参与方清楚表达是否允许 AI 训练抓取。OpenAIrobots.txt爬虫数据选择