mirror of https://gitee.com/godoos/godoos.git
8 changed files with 292 additions and 251 deletions
@ -1 +1,9 @@ |
|||||
## godoos |
## godoos |
||||
|
|
||||
|
## 什么是模型标签: |
||||
|
|
||||
|
模型标签是godoos框架的一个核心概念,godoos框架中的模型标签用于描述一个模型的归类,比如这个模型属于哪个公司,模型的大类名称,模型的分类等等。 |
||||
|
|
||||
|
## 什么是模型引擎: |
||||
|
|
||||
|
godoos框架中提供了两种模型引擎:本地引擎和网络引擎,本地引擎用于本地模型调用,网络引擎用于网络模型调用 |
||||
|
@ -0,0 +1,149 @@ |
|||||
|
export const cateList: any = ["chat", "translation", "code", "img2txt", "image", "tts", "audio", "embeddings"] |
||||
|
export const modelEngines = [ |
||||
|
{ |
||||
|
name: "ollama", |
||||
|
cpp: "ollama", |
||||
|
needQuant: true |
||||
|
}, |
||||
|
{ |
||||
|
name: "llama", |
||||
|
cpp: "llama.cpp", |
||||
|
needQuant: true |
||||
|
}, |
||||
|
{ |
||||
|
name: "cortex", |
||||
|
cpp: "cortex.cpp", |
||||
|
needQuant: true |
||||
|
}, |
||||
|
{ |
||||
|
name: "llamafile", |
||||
|
cpp: "llamafile", |
||||
|
needQuant: false |
||||
|
}, |
||||
|
{ |
||||
|
name: "sd", |
||||
|
cpp: "stable-diffusion.cpp", |
||||
|
needQuant: false |
||||
|
}, |
||||
|
{ |
||||
|
name: "voice", |
||||
|
cpp: "sherpa.cpp", |
||||
|
needQuant: false |
||||
|
} |
||||
|
] |
||||
|
export const netEngines = [ |
||||
|
|
||||
|
{ |
||||
|
name: "OpenAI", |
||||
|
cpp: "ChatGPT" |
||||
|
}, |
||||
|
{ |
||||
|
name: "Google", |
||||
|
cpp: "gemini" |
||||
|
}, |
||||
|
{ |
||||
|
name: "giteeAI", |
||||
|
cpp: "giteeAI", |
||||
|
}, |
||||
|
{ |
||||
|
name: "Baidu", |
||||
|
cpp: "baidu" |
||||
|
}, |
||||
|
{ |
||||
|
name: "Alibaba", |
||||
|
cpp: "ali" |
||||
|
}, |
||||
|
{ |
||||
|
name: "Tencent", |
||||
|
cpp: "tencent" |
||||
|
}, |
||||
|
{ |
||||
|
name: "Kimi", |
||||
|
cpp: "Moonshot" |
||||
|
}, |
||||
|
{ |
||||
|
name: "BigModel", |
||||
|
cpp: "BigModel" |
||||
|
}, |
||||
|
{ |
||||
|
name: "xAI", |
||||
|
cpp: "xAI" |
||||
|
}, |
||||
|
{ |
||||
|
name: "Stability", |
||||
|
cpp: "stability" |
||||
|
}, |
||||
|
{ |
||||
|
name: "Anthropic", |
||||
|
cpp: "claude" |
||||
|
}, |
||||
|
{ |
||||
|
name: "Groq", |
||||
|
cpp: "groqcloud" |
||||
|
}, |
||||
|
] |
||||
|
export const llamaQuant = [ |
||||
|
"q2_K", |
||||
|
"q3_K", |
||||
|
"q3_K_S", |
||||
|
"q3_K_M", |
||||
|
"q3_K_L", |
||||
|
"q4_0", |
||||
|
"q4_1", |
||||
|
"q4_K", |
||||
|
"q4_K_S", |
||||
|
"q4_K_M", |
||||
|
"q5_0", |
||||
|
"q5_1", |
||||
|
"q5_K", |
||||
|
"q5_K_S", |
||||
|
"q5_K_M", |
||||
|
"q6_K", |
||||
|
"q8_0", |
||||
|
"f16", |
||||
|
] |
||||
|
export const chatInitConfig = { |
||||
|
chat: { |
||||
|
key: "chat", |
||||
|
contextLength: 10, |
||||
|
num_keep: 5, //保留多少个最有可能的预测结果。这与top_k一起使用,决定模型在生成下一个词时考虑的词汇范围。
|
||||
|
num_predict: 3, //生成多少个预测结果
|
||||
|
top_p: 0.95, |
||||
|
top_k: 40, //影响生成的随机性。较高的top_k值将使模型考虑更多的词汇
|
||||
|
temperature: 0.7, //影响生成的随机性。较低的温度产生更保守的输出,较高的温度产生更随机的输出。
|
||||
|
}, |
||||
|
translation: { |
||||
|
key: "translation", |
||||
|
num_keep: 5, |
||||
|
num_predict: 1, |
||||
|
top_k: 40, |
||||
|
top_p: 0.95, |
||||
|
temperature: 0.2, |
||||
|
}, |
||||
|
creation: { |
||||
|
key: "creation", |
||||
|
num_keep: 3, |
||||
|
num_predict: 1, |
||||
|
top_k: 40, |
||||
|
top_p: 0.95, |
||||
|
temperature: 0.2, |
||||
|
}, |
||||
|
knowledge: { |
||||
|
key: "knowledge", |
||||
|
contextLength: 10, |
||||
|
num_keep: 5, |
||||
|
num_predict: 1, |
||||
|
top_k: 40, |
||||
|
top_p: 0.95, |
||||
|
temperature: 0.2, |
||||
|
}, |
||||
|
spoken: { |
||||
|
key: "spoken", |
||||
|
contextLength: 10, |
||||
|
num_keep: 5, |
||||
|
num_predict: 1, |
||||
|
top_k: 40, |
||||
|
top_p: 0.95, |
||||
|
temperature: 0.2, |
||||
|
} |
||||
|
} |
Loading…
Reference in new issue