與外部數(shù)據(jù)鏈接的方式

書、pdf、數(shù)據(jù)庫

文件變成chunks，被存儲在向量數(shù)據(jù)庫

Chunks是自然語言處理中的一個概念，通常指的是一段文本中的連續(xù)片段。Chunks可以是詞，詞匯短語或者句子，它們被視為語言的有意義的組成部分。通過識別文本中的Chunks，可以更好地理解句子的結構和意義。在識別Chunks的過程中，常常會使用詞性標注和句法分析等技術來幫助識別出連續(xù)的語言片段。

用戶問問題，問題發(fā)送到LLM，向量數(shù)據(jù)庫做相似性檢索，獲得chunk，反饋給LLM，采取行動

component

LLM wrapper：鏈接到LLM

pormpt template：提示模版

index for relevant information retrieval

chain

agent：allow LLMs to interact with its environment

pinecone

prompt

chain

內(nèi)函數(shù)是prompt，外函數(shù)是LLM，

返回對概念的初次描述，也返回“像我五歲那樣解釋“

ADA 做embedding

將分塊內(nèi)容拿出來，在pinecone中存儲向量表示

導入pinecone python客戶端，從langchain 向量數(shù)據(jù)庫導入pinecone