diff --git a/server/sources/llamacpp.py b/server/sources/llamacpp.py index e7a7b66..1e4aede 100644 --- a/server/sources/llamacpp.py +++ b/server/sources/llamacpp.py @@ -1,10 +1,10 @@ from .generator import GeneratorLLM +from llama_cpp import Llama class LlamacppLLM(GeneratorLLM): def __init__(self): - from llama_cpp import Llama """ Handle generation using llama.cpp """