using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks; namespace OllamaStudy.UseExtensionsAI { /// /// OpenAI的API 测试 /// Ollama兼容OpenAI接口,可以直接使用OpenAI的SDK调用 /// public class OpenAIAPITest { private readonly ITestOutputHelper _output; private readonly IOptionsMonitor _ollamaOptionsMonitor; private readonly IHttpClientFactory _httpClientFactory; private readonly HttpClient _defaultHttpClient; private readonly HttpClient _ollamaHttpClient; private readonly HttpClient _uiUiAPIHttpClient; private readonly HttpClient _bailianHttpClient; private readonly HttpClient _zipuHttpClient; private readonly HttpClient _siliconflowHttpClient; public OpenAIAPITest ( ITestOutputHelper outputHelper, OpenAIClient defaultOpenAIClient, IOptionsMonitor ollamaOptionsMonitor, IHttpClientFactory httpClientFactory ) { _output = outputHelper; _ollamaOptionsMonitor = ollamaOptionsMonitor; _httpClientFactory = httpClientFactory; _defaultHttpClient = _httpClientFactory.CreateClient("OpenAIHttpClient"); _ollamaHttpClient = _httpClientFactory.CreateClient("OllamaHttpClient"); _uiUiAPIHttpClient = _httpClientFactory.CreateClient("UiUiAPIHttpClient"); _bailianHttpClient = _httpClientFactory.CreateClient("BailianHttpClient"); _zipuHttpClient = _httpClientFactory.CreateClient("ZiPuHttpClient"); _siliconflowHttpClient = _httpClientFactory.CreateClient("SiliconflowHttpClient"); } #region 获取各种 HttpClient /// /// 从OpenAIClient获取各种业务 Client /// [Fact] public void Get_Clients_Test() { Assert.NotNull(_defaultHttpClient); Assert.NotNull(_ollamaHttpClient); Assert.NotNull(_uiUiAPIHttpClient); Assert.NotNull(_bailianHttpClient); Assert.NotNull(_zipuHttpClient); Assert.NotNull(_siliconflowHttpClient); } #endregion #region 音频 /// /// 创建语音 /// /// [Fact] public async Task Audio_CreateSpeech_Test() { var requetData = new { //语音模型 model = "tts-1-1106", //要生成音频的文本。最大长度为4096个字符。 input = """ 断章 作者:卞之琳 你站在桥上看风景, 看风景人在楼上看你。 明月装饰了你的窗子, 你装饰了别人的梦。 """, //生成音频时使用的语音。支持的语音有:alloy、echo、fable、onyx、nova 和 shimmer。 voice = "nova", //默认为 mp3 音频的格式。支持的格式有:mp3、opus、aac 和 flac。 response_format = "mp3", //默认为 1 生成的音频速度。选择0.25到4.0之间的值。1.0是默认值。 speed = 1.0f, }; using var requestMessage = new HttpRequestMessage(HttpMethod.Post, "v1/audio/speech") { Content = JsonContent.Create(requetData) }; var responseMessage = await _uiUiAPIHttpClient.SendAsync(requestMessage); responseMessage.EnsureSuccessStatusCode(); //处理响应 //var responseText = await responseMessage.Content.ReadAsStringAsync(); var responseObject = await responseMessage.Content.ReadAsByteArrayAsync(); using FileStream stream = File.OpenWrite($"{Guid.NewGuid()}.mp3"); stream.Write(responseObject); } /// /// 创建转录 /// /// [Fact] public async Task Audio_CreateTranscriptions_Test() { var formData = new MultipartFormDataContent(); // 读取文件流 using var fileStream = File.OpenRead("Assets/dongdong.mp3"); // 创建文件内容并添加到表单 var fileContent = new StreamContent(fileStream); //(必须) 要转录的音频文件对象(不是文件名),格式为:flac、mp3、mp4、mpeg、mpga、m4a、ogg、wav 或 webm formData.Add(fileContent, "file","dongdong.mp3"); //(必须) 要使用的模型 ID。目前只有 whisper-1 是可用的 formData.Add(new StringContent("whisper-1"), "model"); //(可选) 输入音频的语言。以 ISO-639-1 格式提供输入语言可以提高准确性和延迟 formData.Add(new StringContent("zh"), "language"); //(可选) 一个可选的文本来指导模型的风格或继续之前的音频段落。提示应该与音频语言匹配。 formData.Add(new StringContent("请使用严肃风格"), "prompt"); //(可选) 转录输出的格式,默认为 json,可选择:json、text、srt、verbose_json 或 vtt。 formData.Add(new StringContent("json"), "response_format"); //(可选) 采样温度,between 0 和 1。更高的值像 0.8 会使输出更随机,而更低的值像 0.2 会使其更集中和确定性。如果设置为 0,模型将使用对数概率自动增加温度直到达到特定阈值。 //默认为 0 formData.Add(new StringContent("0"), "temperature"); using var requestMessage = new HttpRequestMessage(HttpMethod.Post, "v1/audio/transcriptions") { Content = formData, }; var responseMessage = await _uiUiAPIHttpClient.SendAsync(requestMessage); responseMessage.EnsureSuccessStatusCode(); //处理响应 var responseText = await responseMessage.Content.ReadAsStringAsync(); _output.WriteLine(responseText); Assert.NotNull(responseText); Assert.Contains("杀戮", responseText); } /// /// 创建翻译 /// /// [Fact] public async Task Audio_CreateTranslations_Test() { var formData = new MultipartFormDataContent(); // 读取文件流 using var fileStream = File.OpenRead("Assets/dongdong.mp3"); // 创建文件内容并添加到表单 var fileContent = new StreamContent(fileStream); //(必须) 要转录的音频文件对象(不是文件名),格式为:flac、mp3、mp4、mpeg、mpga、m4a、ogg、wav 或 webm formData.Add(fileContent, "file", "dongdong.mp3"); //(必须) 要使用的模型 ID。目前只有 whisper-1 是可用的 formData.Add(new StringContent("whisper-1"), "model"); //(可选) 一个可选的文本,用于指导模型的风格或继续之前的音频段落。提示文本应该是英文。 formData.Add(new StringContent("Please use a serious style"), "prompt"); //(可选) 转录输出的格式,默认为 json,可选择:json、text、srt、verbose_json 或 vtt。 formData.Add(new StringContent("json"), "response_format"); //(可选) 采样温度,between 0 和 1。更高的值像 0.8 会使输出更随机,而更低的值像 0.2 会使其更集中和确定性。如果设置为 0,模型将使用对数概率自动增加温度直到达到特定阈值。 //默认为 0 formData.Add(new StringContent("0"), "temperature"); using var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/audio/translations") { Content = formData, }; var responseMessage = await _uiUiAPIHttpClient.SendAsync(requestMessage); responseMessage.EnsureSuccessStatusCode(); //处理响应 var responseText = await responseMessage.Content.ReadAsStringAsync(); _output.WriteLine(responseText); Assert.NotNull(responseText); Assert.Contains("killed", responseText); } #endregion #region 聊天 #endregion #region 自动补全 /// /// 流式生成请求 测试 /// [Fact] public async Task Completion_Request_Streaming_Test() { var requetData = new { model = _ollamaOptionsMonitor.CurrentValue.Model, prompt = """天空为什么是蓝色的?""", }; using var request = new HttpRequestMessage(HttpMethod.Post, "/v1/completions") { Content = JsonContent.Create(requetData) }; //发送请求:流式处理响应,HttpCompletionOption.ResponseHeadersRead 是关键,只在SendAsync方法中有此参数 var response = await _ollamaHttpClient.SendAsync(request, HttpCompletionOption.ResponseHeadersRead); response.EnsureSuccessStatusCode(); //处理响应 using var responseStream = await response.Content.ReadAsStreamAsync(); using var reader = new StreamReader(responseStream); //如果是流式响应,则逐行读取 while (!reader.EndOfStream) { var line = await reader.ReadLineAsync(); _output.WriteLine(line); } } /// /// 非流式生成请求 测试 /// /// [Fact] public async Task Completion_Request_NoStreaming_Test() { var requetData = new { model = _ollamaOptionsMonitor.CurrentValue.Model, prompt = """天空为什么是蓝色的?""", //流式处理响应: 设置为 false 禁用流式处理 stream = false, }; using var requestMessage = new HttpRequestMessage(HttpMethod.Post, "/v1/completions") { Content = JsonContent.Create(requetData) }; var responseMessage = await _ollamaHttpClient.SendAsync(requestMessage); responseMessage.EnsureSuccessStatusCode(); //处理响应 var responseText = await responseMessage.Content.ReadAsStringAsync(); Assert.NotNull(responseText); _output.WriteLine(responseText); } /// /// 全参数生成请求 测试 /// /// [Fact] public async Task Completion_Request_FullParameters_Test() { var requetData = new { //(必需)模型名(标识):model:tag格式,model可具有可选的命名空间,tag是可选的,用于标识模型,默认为 latest model = ModelSelecter.ModelWithSuffixAndImage, //(必需)生成响应的提示词:关键 prompt = """ 天空为什么是蓝色的?""", //(可选)默认为1 在服务器端生成best_of个补全,并返回“最佳”补全(每个令牌的日志概率最高的那个)。 //无法流式传输结果。 与n一起使用时,best_of控制候选补全的数量,n指定要返回的数量 – best_of必须大于n。 //注意:因为这个参数会生成许多补全,所以它可以快速消耗您的令牌配额。请谨慎使用,并确保您对max_tokens和stop有合理的设置。 best_of = 1, //(可选)默认为false 除了补全之外,还回显提示 echo = false, //(可选)默认为0 -2.0和2.0之间的数字。正值根据文本目前的现有频率处罚新令牌,降低模型逐字重复相同行的可能性。 frequency_penalty = 0f, //(可选)默认为null 修改完成中指定令牌出现的可能性。 //接受一个JSON对象,该对象将令牌(由GPT令牌化器中的令牌ID指定)映射到关联偏差值,-100到100。 //您可以使用这个令牌化器工具(适用于GPT-2和GPT-3)将文本转换为令牌ID。从数学上讲,偏差在对模型进行采样之前添加到生成的logit中。 //确切效果因模型而异,但-1至1之间的值应降低或提高选择的可能性;像-100或100这样的值应导致相关令牌的禁用或专属选择。 //例如,您可以传递{"50256": -100}来防止生成<|endoftext|>令牌。 logit_bias = default(object), //(可选)默认为null //包括logprobs个最可能令牌的日志概率,以及所选令牌。例如, //如果logprobs为5,API将返回5个最有可能令牌的列表。 API总会返回采样令牌的logprob,因此响应中最多可能有logprobs + 1个元素。logprobs的最大值是5。 logprobs = default(object), //(可选)默认为16 //在补全中生成的最大令牌数。提示的令牌计数加上max_tokens不能超过模型的上下文长度。 计数令牌的Python代码示例。 max_tokens = 16, //(可选)默认为1 //为每个提示生成的补全数量。注意:因为这个参数会生成许多补全,所以它可以快速消耗您的令牌配额。 //请谨慎使用,并确保您对max_tokens和stop有合理的设置。 n =1, //(可选)默认为0 //-2.0和2.0之间的数字。正值根据它们是否出现在目前的文本中来惩罚新令牌,增加模型讨论新话题的可能性。 有关频率和存在惩罚的更多信息,请参阅。 presence_penalty = 0f, //(可选) //如果指定,我们的系统将尽最大努力确定性地进行采样,以便使用相同的种子和参数的重复请求应返回相同的结果。 //不保证确定性,您应该参考system_fingerprint响应参数来监视后端的更改。 seed = 654321, //(可选)默认为null //最多4个序列,API将停止在其中生成更多令牌。返回的文本不会包含停止序列。 stop = default(string), //(可选)流式处理响应: 可通过设置 false 来禁用流式处理 stream = true, //(可选)默认为null //在插入文本的补全之后出现的后缀。 //模型响应后的文本:只有专用模型才支持(qwen2.5-coder:3b等), 模型不支持则异常 //suffix = " return result", //(可选)默认为1 要使用的采样温度,介于0和2之间。更高的值(如0.8)将使输出更随机,而更低的值(如0.2)将使其更集中和确定。 //我们通常建议更改这个或top_p,而不是两者都更改。 temperature = 1f, //表示最终用户的唯一标识符,这可以帮助OpenAI监控和检测滥用。 了解更多。 user = "mynameisok", //较高的值(例如 0.95)将导致文本更加多样化,而较低的值(例如 0.5)将生成更集中和保守的文本。(默认值:0.9) top_p = 0.9f, }; using var request = new HttpRequestMessage(HttpMethod.Post, "/v1/completions") { Content = JsonContent.Create(requetData) }; //发送请求:流式处理响应,HttpCompletionOption.ResponseHeadersRead 是关键,只在SendAsync方法中有此参数 var response = await _ollamaHttpClient.SendAsync(request, HttpCompletionOption.ResponseHeadersRead); response.EnsureSuccessStatusCode(); //处理响应 using var responseStream = await response.Content.ReadAsStreamAsync(); using var reader = new StreamReader(responseStream); //如果是流式响应,则逐行读取 while (!reader.EndOfStream) { var line = await reader.ReadLineAsync(); _output.WriteLine(line); } } #endregion #region 嵌入 #endregion #region 微调 #endregion #region 文件 #endregion #region 图像 #endregion #region 模型 /// /// 列出模型 测试 /// [Fact] public async Task List_Models_Test() { var responseMessage = await _ollamaHttpClient.GetAsync("/v1/models"); responseMessage.EnsureSuccessStatusCode(); var resultObj = new { @object = "list", data = new[] { new { id="model_id", @object = "model", created = 1754931997, owned_by = "library" } } }; //处理响应 var responseObject = await responseMessage.Content.ReadAsStringAsync(); var modelObj = Newtonsoft.Json.JsonConvert.DeserializeAnonymousType(responseObject,resultObj); Assert.NotNull(modelObj); foreach (var model in modelObj.data) { _output.WriteLine($"模型ID:{model.id}, 模型名称:{model.@object}, 创建:{model.created}, 创建者:{model.owned_by}"); } } /// /// 检索模型 测试 /// [Theory] [InlineData(ModelSelecter.ModelWithTool)] public async Task Query_Model_Test(string modelName) { var responseMessage = await _ollamaHttpClient.GetAsync($"/v1/models/{modelName}"); responseMessage.EnsureSuccessStatusCode(); var resultObj = new { id = "model_id", @object = "model", created = 1754931997, owned_by = "library" }; //处理响应 var responseObject = await responseMessage.Content.ReadAsStringAsync(); var model = Newtonsoft.Json.JsonConvert.DeserializeAnonymousType(responseObject, resultObj); Assert.NotNull(model); _output.WriteLine($"模型ID:{model.id}, 模型名称:{model.@object}, 创建:{model.created}, 创建者:{model.owned_by}"); } #endregion #region 审查 #endregion #region 助手测试版 #endregion #region 线程数 #endregion #region 留言 #endregion #region 运行 #endregion #region 已弃用-音频 #endregion } }