大模型RAG

大模型相关系统设计可参考Microsoft graphRAG 和 Google notebookLM

1. requirements

constraint

• latency

• Throughput

• Availability

• Scalability

2. ML task & pipeline

• indexing

• retrieval

• generation

3. data

4. model

5. evaluation

retrieval

• mrr, ndcg

generation

• rouge-l, 关键词重合度

• 主观评估：质量，准确性

online

优化与问答

• 多轮对话的RAG

• NL2SQL

• 幻觉

Reference

• Better RAG 1: Advanced Basics

• https://github.com/langgenius/dify