LLAMA: nitro: allow for larger files to be loaded

Author: Chris Warren-Smith

llama/llama-sb.cpp

@@ -144,8 +144,12 @@ void Llama::reset() {
 }
 
 int Llama::max_tool_result_size() {
-  // ~3 bytes/tok, 25% of ctx
-  return (llama_n_ctx(_ctx) / 4) * 3;
+  // 75% of space available
+  llama_memory_t mem = llama_get_memory(_ctx);
+  llama_pos pos_max = llama_memory_seq_pos_max(mem, 0);
+  int n_ctx = llama_n_ctx(_ctx);
+  int space_available = n_ctx - (pos_max + 1);
+  return std::max(256, (space_available * 3) / 4);
 }
 
 bool Llama::is_memory_flush() {
@@ -388,6 +392,14 @@ string Llama::all(LlamaIter &iter) {
   return out;
 }
 
+float Llama::memory_kv_percent() {
+  llama_memory_t mem = llama_get_memory(_ctx);
+  llama_pos pos_max  = llama_memory_seq_pos_max(mem, 0);
+  int n_ctx          = llama_n_ctx(_ctx);
+  int kv_used        = (pos_max < 0) ? 0 : (int)pos_max + 1;
+  return 100.0f * kv_used / n_ctx;
+}
+
 LlamaMemoryInfo Llama::memory_info() {
   LlamaMemoryInfo info = {};
 

llama/llama-sb.h

@@ -103,6 +103,7 @@ struct Llama {
 
   // memory info
   LlamaMemoryInfo memory_info();
+  float memory_kv_percent();
 
   // creates an embedding vector of the given dimension for the given text
   bool embed_text(const std::string &text, std::vector<float> &out, int embed_dim);

llama/nitro.cpp

@@ -1979,9 +1979,9 @@ float AgentState::tokens_per_sec() const {
 }
 
 std::string AgentState::memory_info_status() const {
-  LlamaMemoryInfo m = llama->memory_info();
-  auto message = m.kv_percent > 75 ? "(Warning: Approaching limit)" : "";
-  return std::format("\n[INFO] KV Cache: {}%{}", m.kv_percent, message);
+  float kv_percent = llama->memory_kv_percent();
+  auto message = kv_percent > 75 ? "(Warning: Approaching limit)" : "";
+  return std::format("\n[INFO] KV Cache: {}%{}", kv_percent, message);
 }
 
 std::string AgentState::memory_info_text() const {