.NET使用OllamaSharp實現大模型推理對話的簡單演示
當前位置：點晴教程→知識管理交流
→『 技術文檔交流 』
前提條件：請確保你本地已經安裝了ollama以及有關本地離線模型。或者已有遠程模型環境等。如果沒有，請自行部署。如果需要幫助，可以文末獲取聯系方式咨詢。由于部署離線大模型過于簡單，在線資料也很多，我就省略這個步驟了。 創建一個項目，添加使用MIT開源協議的一個nuget包 OllamaSharp
 確保Ollama應用已經啟動。
 默認本地ollama的端口是11434，也可以自行部署時候更改環境變量進行修改大模型存放地址、默認端口、是否允許遠程訪問等等。創建連接，并且驗證下連接是不是正常，返回true，代表連接正常。
 可以遍歷出已有的模型有哪些，咱們寫個選擇模型的輸入，通過輸入來選擇模型。由于獲取的是IEnumerable集合，所以此處為了方便，之間轉為數組來獲取下標，從而獲取模型名稱。大家自己使用時候記得優化下寫法。
運行，可以看到我本地羅列的模型列表等信息。
 選擇模型完畢，并綁定prompt提示詞進行創建聊天對話。創建對話以后，根據用戶輸入的內容進行推理并獲取返回內容。
 運行結果如下：
 如果需要以上演示的demo源碼，可以在個人公眾號 Dotnet Dancer 內，回復 【代碼演示】 即可獲取代碼開源地址。
核心代碼片段：
var uri = new Uri("http://localhost:11434");
var ollama = new OllamaApiClient(uri);
var models = await ollama.ListLocalModels(); foreach (var model in models) var chat = new Chat(ollama, prompt);
await foreach (var answerToken in chat.Send(message))
Console.Write(answerToken);
本文作者：Wesky 轉自https://www.cnblogs.com/weskynet/p/18497936 該文章在 2024/10/28 12:01:05 編輯過 |
關鍵字查詢
相關文章
正在查詢... 
|
400 186 1886
