update readme

Author: 545999961

examples/finetune/embedder/README.md

@@ -309,7 +309,7 @@ torchrun --nproc_per_node 2 \
     			 ./example_data/clustering-no_in_batch_neg \
     --cache_path ./cache/data \
     --train_group_size 8 \
-    --query_max_len 512 \
+    --query_max_len 2048 \
     --passage_max_len 512 \
     --pad_to_multiple_of 8 \
     --query_instruction_for_retrieval 'Given a query, retrieve passages that are relevant to the query.' \
@@ -318,8 +318,8 @@ torchrun --nproc_per_node 2 \
     --same_dataset_within_batch True \
     --small_threshold 0 \
     --drop_threshold 0 \
-    --example_query_max_len 64 \
-    --example_passage_max_len 96 \
+    --example_query_max_len 256 \
+    --example_passage_max_len 256 \
     --retrieval_use_examples True \
     --icl_suffix_str '\n<response>' \
     --output_dir ./test_decoder_only_base_bge-en-icl_sd \

examples/finetune/embedder/decoder_only/icl_same_dataset.sh

@@ -32,7 +32,7 @@ data_args="\
     --train_data $train_data \
     --cache_path ~/.cache \
     --train_group_size 8 \
-    --query_max_len 512 \
+    --query_max_len 2048 \
     --passage_max_len 512 \
     --pad_to_multiple_of 8 \
     --query_instruction_for_retrieval 'Given a query, retrieve passages that are relevant to the query.' \
@@ -41,8 +41,8 @@ data_args="\
     --same_dataset_within_batch True \
     --small_threshold 0 \
     --drop_threshold 0 \
-    --example_query_max_len 64 \
-    --example_passage_max_len 96 \
+    --example_query_max_len 256 \
+    --example_passage_max_len 256 \
     --retrieval_use_examples True \
     --icl_suffix_str '\n<response>' \
 "

setup.py

@@ -23,6 +23,7 @@
         'deepspeed',
         'flash-attn==2.5.6',
         'ir-datasets',
-        'sentencepiece'
+        'sentencepiece',
+        'protobuf'
     ],
 )