Anthropic是一家位于美國加州舊金山的人工智能股份有限公司,成立于2021年。該公司由達里奧·阿莫迪和丹妮拉·阿莫迪兄妹創立,現任首席執行官達里奧·阿莫迪。
Anthropic是一家人工智能安全和研究公司,致力于構建可靠、可解釋和可操縱的AI系統。Anthropic公司的主打產品是名為“Claude”的大語言模型家族。開發過程中,Anthropic引入了基于AI反饋的強化學習方法(RLAIF),通過訓練一個稱為“Constitutional AI”的評價模型來指導Claude的行為,確保它在提供有用信息的同時遵守一系列預先設定的倫理準則。這種方法試圖解決傳統基于人類反饋的強化學習所面臨的挑戰,即如何平衡AI助手的安全性和功能性。