Index

A

active_adapter (QEfficient.peft.auto.QEffAutoPeftModelForCausalLM property)

ApiRunner (class in QEfficient.utils.run_utils)

C

cloud_ai_100_exec_kv() (in module QEfficient.generation.text_generation_inference) CloudAI100ExecInfo (class in QEfficient.generation.text_generation_inference) compile() (in module QEfficient.compile.compile_helper) (QEfficient.peft.auto.QEffAutoPeftModelForCausalLM method) (QEfficient.transformers.models.modeling_auto.QEFFAutoModelForCausalLM method)

convert_to_cloud_bertstyle() (in module QEfficient.exporter.export_hf_to_cloud_ai_100) convert_to_cloud_kvstyle() (in module QEfficient.exporter.export_hf_to_cloud_ai_100)

E

export() (QEfficient.peft.auto.QEffAutoPeftModelForCausalLM method) (QEfficient.transformers.models.modeling_auto.QEFFAutoModelForCausalLM method)

export_and_compile() (QEfficient.transformers.models.modeling_auto.QEFFAutoModelForCausalLM method)

F

from_pretrained() (QEfficient.peft.auto.QEffAutoPeftModelForCausalLM class method) (QEfficient.transformers.models.modeling_auto.QEFFAutoModelForCausalLM class method)

G

generate() (QEfficient.peft.auto.QEffAutoPeftModelForCausalLM method) (QEfficient.transformers.models.modeling_auto.QEFFAutoModelForCausalLM method)

get_available_device_id() (in module QEfficient.utils.device_utils)

I

InputHandler (class in QEfficient.utils.generate_inputs)

L

load_adapter() (QEfficient.peft.auto.QEffAutoPeftModelForCausalLM method)

M

module QEfficient.cloud.execute.main QEfficient.cloud.export.main QEfficient.cloud.infer.main QEfficient.compile.compile_helper QEfficient.compile.compile_helper.compile QEfficient.exporter.export_hf_to_cloud_ai_100, [1], [2] QEfficient.generation.text_generation_inference QEfficient.transformers.models.modeling_auto QEfficient.utils.device_utils QEfficient.utils.generate_inputs QEfficient.utils.run_utils

P

prepare_ort_inputs() (QEfficient.utils.generate_inputs.InputHandler method)

prepare_pytorch_inputs() (QEfficient.utils.generate_inputs.InputHandler method)

Q

QEFFAutoModelForCausalLM (class in QEfficient.transformers.models.modeling_auto) QEffAutoPeftModelForCausalLM (class in QEfficient.peft.auto) QEfficient.cloud.execute.main module QEfficient.cloud.export.main module QEfficient.cloud.infer.main module QEfficient.compile.compile_helper module QEfficient.compile.compile_helper.compile module

QEfficient.exporter.export_hf_to_cloud_ai_100 module, [1], [2] QEfficient.generation.text_generation_inference module QEfficient.transformers.models.modeling_auto module QEfficient.utils.device_utils module QEfficient.utils.generate_inputs module QEfficient.utils.run_utils module qualcomm_efficient_converter() (in module QEfficient.exporter.export_hf_to_cloud_ai_100)

R

run_hf_model_on_pytorch() (QEfficient.utils.run_utils.ApiRunner method) run_hf_model_on_pytorch_CB() (QEfficient.utils.run_utils.ApiRunner method) run_kv_model_on_cloud_ai_100() (QEfficient.utils.run_utils.ApiRunner method)

run_kv_model_on_ort() (QEfficient.utils.run_utils.ApiRunner method) run_kv_model_on_pytorch() (QEfficient.utils.run_utils.ApiRunner method) run_ort_session() (QEfficient.utils.run_utils.ApiRunner method)

S

set_adapter() (QEfficient.peft.auto.QEffAutoPeftModelForCausalLM method)

T

tokenizer (QEfficient.transformers.models.modeling_auto.QEFFAutoModelForCausalLM property)

transform() (QEfficient.transformers.models.modeling_auto.QEFFAutoModelForCausalLM method)

U

update_ort_inputs() (QEfficient.utils.generate_inputs.InputHandler method)

update_ort_outputs() (QEfficient.utils.generate_inputs.InputHandler method) update_pytorch_inputs() (QEfficient.utils.generate_inputs.InputHandler method)