mirror of https://gitee.com/godoos/godoos.git
8 changed files with 292 additions and 251 deletions
@ -1 +1,9 @@ |
|||
## godoos |
|||
## godoos |
|||
|
|||
## 什么是模型标签: |
|||
|
|||
模型标签是godoos框架的一个核心概念,godoos框架中的模型标签用于描述一个模型的归类,比如这个模型属于哪个公司,模型的大类名称,模型的分类等等。 |
|||
|
|||
## 什么是模型引擎: |
|||
|
|||
godoos框架中提供了两种模型引擎:本地引擎和网络引擎,本地引擎用于本地模型调用,网络引擎用于网络模型调用 |
|||
|
@ -0,0 +1,149 @@ |
|||
export const cateList: any = ["chat", "translation", "code", "img2txt", "image", "tts", "audio", "embeddings"] |
|||
export const modelEngines = [ |
|||
{ |
|||
name: "ollama", |
|||
cpp: "ollama", |
|||
needQuant: true |
|||
}, |
|||
{ |
|||
name: "llama", |
|||
cpp: "llama.cpp", |
|||
needQuant: true |
|||
}, |
|||
{ |
|||
name: "cortex", |
|||
cpp: "cortex.cpp", |
|||
needQuant: true |
|||
}, |
|||
{ |
|||
name: "llamafile", |
|||
cpp: "llamafile", |
|||
needQuant: false |
|||
}, |
|||
{ |
|||
name: "sd", |
|||
cpp: "stable-diffusion.cpp", |
|||
needQuant: false |
|||
}, |
|||
{ |
|||
name: "voice", |
|||
cpp: "sherpa.cpp", |
|||
needQuant: false |
|||
} |
|||
] |
|||
export const netEngines = [ |
|||
|
|||
{ |
|||
name: "OpenAI", |
|||
cpp: "ChatGPT" |
|||
}, |
|||
{ |
|||
name: "Google", |
|||
cpp: "gemini" |
|||
}, |
|||
{ |
|||
name: "giteeAI", |
|||
cpp: "giteeAI", |
|||
}, |
|||
{ |
|||
name: "Baidu", |
|||
cpp: "baidu" |
|||
}, |
|||
{ |
|||
name: "Alibaba", |
|||
cpp: "ali" |
|||
}, |
|||
{ |
|||
name: "Tencent", |
|||
cpp: "tencent" |
|||
}, |
|||
{ |
|||
name: "Kimi", |
|||
cpp: "Moonshot" |
|||
}, |
|||
{ |
|||
name: "BigModel", |
|||
cpp: "BigModel" |
|||
}, |
|||
{ |
|||
name: "xAI", |
|||
cpp: "xAI" |
|||
}, |
|||
{ |
|||
name: "Stability", |
|||
cpp: "stability" |
|||
}, |
|||
{ |
|||
name: "Anthropic", |
|||
cpp: "claude" |
|||
}, |
|||
{ |
|||
name: "Groq", |
|||
cpp: "groqcloud" |
|||
}, |
|||
] |
|||
export const llamaQuant = [ |
|||
"q2_K", |
|||
"q3_K", |
|||
"q3_K_S", |
|||
"q3_K_M", |
|||
"q3_K_L", |
|||
"q4_0", |
|||
"q4_1", |
|||
"q4_K", |
|||
"q4_K_S", |
|||
"q4_K_M", |
|||
"q5_0", |
|||
"q5_1", |
|||
"q5_K", |
|||
"q5_K_S", |
|||
"q5_K_M", |
|||
"q6_K", |
|||
"q8_0", |
|||
"f16", |
|||
] |
|||
export const chatInitConfig = { |
|||
chat: { |
|||
key: "chat", |
|||
contextLength: 10, |
|||
num_keep: 5, //保留多少个最有可能的预测结果。这与top_k一起使用,决定模型在生成下一个词时考虑的词汇范围。
|
|||
num_predict: 3, //生成多少个预测结果
|
|||
top_p: 0.95, |
|||
top_k: 40, //影响生成的随机性。较高的top_k值将使模型考虑更多的词汇
|
|||
temperature: 0.7, //影响生成的随机性。较低的温度产生更保守的输出,较高的温度产生更随机的输出。
|
|||
}, |
|||
translation: { |
|||
key: "translation", |
|||
num_keep: 5, |
|||
num_predict: 1, |
|||
top_k: 40, |
|||
top_p: 0.95, |
|||
temperature: 0.2, |
|||
}, |
|||
creation: { |
|||
key: "creation", |
|||
num_keep: 3, |
|||
num_predict: 1, |
|||
top_k: 40, |
|||
top_p: 0.95, |
|||
temperature: 0.2, |
|||
}, |
|||
knowledge: { |
|||
key: "knowledge", |
|||
contextLength: 10, |
|||
num_keep: 5, |
|||
num_predict: 1, |
|||
top_k: 40, |
|||
top_p: 0.95, |
|||
temperature: 0.2, |
|||
}, |
|||
spoken: { |
|||
key: "spoken", |
|||
contextLength: 10, |
|||
num_keep: 5, |
|||
num_predict: 1, |
|||
top_k: 40, |
|||
top_p: 0.95, |
|||
temperature: 0.2, |
|||
} |
|||
} |
Loading…
Reference in new issue