4.6.4 Fast VkTools.get_all_items

Author: python273

jconfig/jconfig.py

@@ -12,7 +12,7 @@
 import json
 
 
-class config(object):
+class Config(object):
     def __init__(self, section, filename='config'):
         self.section = section  # Секция настроек
         self.filename = filename  # Файл с настройками

setup.py

@@ -11,7 +11,7 @@
 
 from distutils.core import setup
 setup(name='vk_api',
-      version='4.6.3',
+      version='4.6.4',
       description='Module to use API vk.com',
       author='Kirill Python',
       author_email='mikeking568@gmail.com',

vk_api/__init__.py

@@ -9,7 +9,7 @@
 '''
 
 __author__ = "Kirill Python"
-__version__ = "4.6.3"
+__version__ = "4.6.4"
 __email__ = "mikeking568@gmail.com"
 __contact__ = "https://vk.com/python273"
 

vk_api/vk_api.py

@@ -48,7 +48,7 @@ def __init__(self,
         self.app_id = app_id
         self.scope = scope
 
-        self.settings = jconfig.config(login)
+        self.settings = jconfig.Config(login)
 
         self.http = requests.Session()
         self.http.proxies = proxies  # Ставим прокси

vk_api/vk_tools.py

@@ -1,4 +1,5 @@
 # encoding: utf-8
+import json
 
 
 class VkTools(object):
@@ -8,10 +9,47 @@ def __init__(self, vk):
     def get_all_items(self, method, values=None, max_count=200):
         ''' Получить все элементы
             Работает в методах, где в ответе есть count и items
+            За один запрос получает max_count * 25 элементов
 
         :param method: метод
         :param values: параметры
-        :param max_count: максимальное количество,
+        :param max_count: максимальное количество элементов,
+                            которое можно получить за один раз
+        '''
+
+        if values:
+            values = values.copy()
+        else:
+            values = {}
+
+        items = []
+        offset = 0
+
+        while True:
+            run_code = code_get_all_items % (max_count, offset, json.dumps(values), method, method)
+
+            try:
+                response = self.vk.method('execute', {'code': run_code})
+            except Exception as e:
+                print run_code
+                print e
+
+            items += response['items']
+
+            if response['end']:
+                break
+
+            offset = response['offset']
+
+        return {'count': len(items), 'items': items}
+
+    def get_all_items_slow(self, method, values=None, max_count=200):
+        ''' Получить все элементы
+            Работает в методах, где в ответе есть count и items
+
+        :param method: метод
+        :param values: параметры
+        :param max_count: максимальное количество элементов,
                             которое можно получить за один раз
         '''
 
@@ -35,3 +73,6 @@ def get_all_items(self, method, values=None, max_count=200):
             items += response['items']
 
         return {'count': len(items), 'items': items}
+
+# Полный код в файле vk_procedures
+code_get_all_items = 'var z=%s,x=%s,y=%s,p={"count":z}+y,r=API.%s(p),c=r["count"],j=r["items"],o=z,i=1;while(i<25&&o+z<c){o=i*z+x;p={"count":z,"offset":o}+y;r=API.%s(p);j=j+r["items"];i=i+1;};return{"count":c,"items":j,"offset":o,"end":o+z>=c};'

vk_procedures

@@ -0,0 +1,30 @@
+==========
+CODE: get items x25
+INPUT: max_count, start_offset, params:in_JSON, method, method
+----------
+var max_count = %s;
+var start_offset = %s;
+var my_params = %s;
+
+var params = {"count": max_count} + my_params;
+
+var res = API.%s(params);
+var count = res["count"];
+var items = res["items"];
+
+var offset = max_count;
+
+var i = 1;
+while(i < 25 && offset + max_count < count) {
+    offset = i * max_count + start_offset;
+    params = {"count": max_count, "offset": offset};
+    params = params + my_params;
+
+    res = API.%s(params);
+    items = items + res["items"];
+
+    i = i + 1;
+}
+
+return {"count": count, "items": items, "offset": offset, "end": offset + max_count >= count};
+==========