저는 Python 3.11과 최신 버전의 llama-cpp-python 以及
一个 gguf
모델
코드가 챗봇처럼 정상적으로 실행되기를 원하지만 다음 오류가 발생합니다.
으아악내 토큰화 코드는 다음과 같습니다.
traceback (most recent call last): file "d:\ai custom\ai arush\server.py", line 223, in <module> init() file "d:\ai custom\ai arush\server.py", line 57, in init m_eval(model, m_tokenize(model, prompt_init, true), false, "starting up...") ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ file "d:\ai custom\ai arush\server.py", line 182, in m_tokenize n_tokens = llama_cpp.llama_tokenize( ^^^^^^^^^^^^^^^^^^^^^^^^^ typeerror: llama_tokenize() missing 2 required positional arguments: 'add_bos' and 'special'
def m_tokenize(model: llama_cpp.Llama, text: bytes, add_bos=False, special=False): assert model.ctx is not None n_ctx = llama_cpp.llama_n_ctx(model.ctx) tokens = (llama_cpp.llama_token * int(n_ctx))() n_tokens = llama_cpp.llama_tokenize( model.ctx, text, tokens, n_ctx, llama_cpp.c_bool(add_bos), ) if int(n_tokens) < 0: raise RuntimeError(f'Failed to tokenize: text="{text}" n_tokens={n_tokens}') return list(tokens[:n_tokens])
이 오류를 해결하려면 매개변수 add_bos
和 special
包含到 llama_tokenize()
를 함수에 전달해야 합니다.
llama_cpp.py(github) a>에서 1817부터 시작하는 줄
으아악위 내용은 TypeError: llama_tokenize()에 필수 위치 매개변수 2개가 누락되었습니다: 'add_bos' 및 'special'의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!