@@ -168,20 +168,15 @@ torchrun --nproc_per_node 2 \
168168
169169``` shell
170170torchrun --nproc_per_node 2 \
171- -m FlagEmbedding.finetune.reranker.encoder_only .base \
172- --model_name_or_path BAAI/bge-reranker-v2-minicpm-layerwise \
171+ -m FlagEmbedding.finetune.reranker.decoder_only .base \
172+ --model_name_or_path BAAI/bge-reranker-v2-gemma \
173173 --use_lora True \
174174 --lora_rank 32 \
175175 --lora_alpha 64 \
176176 --use_flash_attn True \
177177 --target_modules q_proj k_proj v_proj o_proj \
178178 --save_merged_lora_model True \
179- --model_type decoder \
180- --model_type from_finetuned_model \
181- --start_layer 8 \
182- --head_multi True \
183- --head_type simple \
184- --trust_remote_code True \
179+ --model_type decoder
185180 --cache_dir ./cache/model \
186181 --train_data ./example_data/prompt_based/examples.jsonl \
187182 --cache_path ./cache/data \
@@ -194,7 +189,7 @@ torchrun --nproc_per_node 2 \
194189 --query_instruction_format ' {}{}' \
195190 --passage_instruction_for_rerank ' B: ' \
196191 --passage_instruction_format ' {}{}' \
197- --output_dir ./test_decoder_only_base_bge-reranker-v2-gemma \
192+ --output_dir ./test_decoder_only_base_bge-reranker-v2-minicpm-layerwise \
198193 --overwrite_output_dir \
199194 --learning_rate 2e-4 \
200195 --fp16 \
@@ -227,15 +222,20 @@ Here are some new arguments:
227222
228223``` shell
229224torchrun --nproc_per_node 2 \
230- -m FlagEmbedding.finetune.reranker.encoder_only.base \
231- --model_name_or_path BAAI/bge-reranker-v2-gemma \
225+ -m FlagEmbedding.finetune.reranker.decoder_only.layerwise \
226+ --model_name_or_path BAAI/bge-reranker-v2-minicpm-layerwise \
232227 --use_lora True \
233228 --lora_rank 32 \
234229 --lora_alpha 64 \
235230 --use_flash_attn True \
236231 --target_modules q_proj k_proj v_proj o_proj \
237232 --save_merged_lora_model True \
238- --model_type decoder
233+ --model_type decoder \
234+ --model_type from_finetuned_model \
235+ --start_layer 8 \
236+ --head_multi True \
237+ --head_type simple \
238+ --trust_remote_code True \
239239 --cache_dir ./cache/model \
240240 --train_data ./example_data/prompt_based/examples.jsonl \
241241 --cache_path ./cache/data \
@@ -248,7 +248,7 @@ torchrun --nproc_per_node 2 \
248248 --query_instruction_format ' {}{}' \
249249 --passage_instruction_for_rerank ' B: ' \
250250 --passage_instruction_format ' {}{}' \
251- --output_dir ./test_decoder_only_base_bge-reranker-v2-minicpm-layerwise \
251+ --output_dir ./test_decoder_only_base_bge-reranker-v2-gemma \
252252 --overwrite_output_dir \
253253 --learning_rate 2e-4 \
254254 --fp16 \
0 commit comments