大模型管理革命：RagaAI Catalyst让AI效率提升300%

显示全部楼层

•项目管理- 端到端项目生命周期管理
•数据集管理- 多格式数据集支持与自动模式映射
•评估管理- 多维模型评估指标体系
•追踪管理- 全链路调用追踪与分析
•提示管理- 版本化提示模板与动态编译
•合成数据- 智能问答对生成与数据增强
•安全护栏- 多层防护策略与实时执行
•红队测试- 对抗性测试与脆弱性扫描

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16.8px;font-weight: bold;display: table;margin: 4em auto 2em;padding: 0px 0.2em;background: rgb(15, 76, 129);color: rgb(255, 255, 255);">安装

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">使用 pip 进行安装：

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;overflow-x: auto;border-radius: 8px;margin: 10px 8px;padding: 0px !important;">pipinstallragaai-catalyst

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16.8px;font-weight: bold;display: table;margin: 4em auto 2em;padding: 0px 0.2em;background: rgb(15, 76, 129);color: rgb(255, 255, 255);">配置

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">配置认证凭证：

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;overflow-x: auto;border-radius: 8px;margin: 10px 8px;padding: 0px !important;">fromragaai_catalystimportRagaAICatalyst

# 初始化客户端
catalyst = RagaAICatalyst(
  access_key="您的访问密钥",
  secret_key="您的安全密钥",
  base_url="API端点"
)

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;letter-spacing: 0.1em;color: rgb(63, 63, 63);">密钥获取步骤：

1. 登录 RagaAI 控制台
2. 进入「个人设置」→「认证管理」
3. 点击「生成新密钥」

ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;border-left: none;padding: 1em;border-radius: 8px;color: rgba(0, 0, 0, 0.5);background: rgb(247, 247, 247);margin: 2em 8px;">
注意：所有 API 操作均需认证凭证

核心功能

项目管理

# 创建新项目
project = catalyst.create_project(
  project_name="智能客服系统",
  usecase="对话机器人"
)

# 列出所有项目
projects = catalyst.list_projects()

数据集管理

支持 CSV/JSONL/DataFrame 多数据格式：

fromragaai_catalystimportDataset

ds = Dataset(project_name="智能客服系统")

# 从 CSV 创建数据集
ds.create_from_csv(
  csv_path="对话记录.csv",
  dataset_name="客服对话",
  schema_mapping={'用户提问':'query','机器人回复':'response'}
)

评估管理

fromragaai_catalystimportEvaluation

eval= Evaluation(
  project_name="智能客服系统",
  dataset_name="客服对话"
)

# 添加评估指标
eval.add_metrics([
  {
   "name":"事实准确性",
   "config": {"model":"gpt-4o","threshold": {"gte":0.8}}
  }
])

# 获取评估结果
results =eval.get_results()

追踪管理

fromragaai_catalystimportTracer

tracer = Tracer(
  project_name="智能客服系统",
  dataset_name="服务追踪"
)

withtracer():
 # 需要追踪的业务逻辑
  response = chatbot.query("如何重置密码？")

代理追踪

@trace_Agent(name="推荐代理")
classRecommendationAgent:
 defrecommend(self, text):
   # 业务逻辑
    current_span().add_metrics(accuracy=0.92)

提示管理

fromragaai_catalystimportPromptManager

pm = PromptManager(project_name="智能客服系统")
prompt = pm.get_prompt("标准回复模板")

# 动态编译提示
compiled_prompt = prompt.compile(
  query="订单查询",
  context="用户需要查看近期订单"
)

合成数据生成

fromragaai_catalystimportSyntheticDataGeneration

sdg = SyntheticDataGeneration()
text = sdg.process_document("产品手册.pdf")

# 生成复杂问答对
qna_data = sdg.generate_qna(text, question_type='complex', n=50)

护栏管理

fromragaai_catalystimportGuardrailsManager

gm = GuardrailsManager(project_name="智能客服系统")

# 添加安全规则
gm.add_guardrails(
  deployment_id=123,
  guardrails=[{
   "name":"敏感信息过滤",
   "config": {"threshold": {"lte":0.1}}
  }]
)

红队测试

fromragaai_catalystimportRedTeaming

rt = RedTeaming(model_name="gpt-4", provider="openai")

# 运行安全扫描
test_report = rt.run(
  description="招聘顾问机器人",
  detectors=["偏见检测","有害内容"],
  response_model=chatbot.predict
)