none
请问powerquery中,查询选项-数据加载-快速加载数据,这个选项具体是什么作用? RRS feed

答案

  • 你好,

    Table.BufferFast Data Load具有相似的功能,它们都能加快查询速度,区别主要在于它们的工作方式不同。

    Table.Buffer

    它的作用是将表加载到内存中,以便它可以对存储在内存中的缓存进行操作。它原则上类似于在代码中重复引用函数,创建一次就只会创建一次的内容,当每次用到的时候,计算机会查询到这个值然后使用,这就变相的节省了内存的空间,就好比函数中的变量和常量,变量比常量更节省空间,从而加速了您的查询。

    以下这两种情况我建议你使用Table.Buffer

    1.当您确定要确保将所有数据读入内存比让M引擎以通常的方式处理事情要快的时候。

    2.tablelist被多次引用的时候。

    Fast Data Load

    “快速加载”选项可以减少处理阶段的总体延迟,但是由于它当前是在UI线程上实现的,因此会影响UI的响应能力。

    它不是启动后台进程,而是使用前台进程(Excel实例)进行加载,因此从根本上讲,它没有将自身限制在某些CPU和内存使用量上,它将使用 Excel 可以管理分配的所有 CPU 和内存,所以当你启用它之后,在操作过程中,Excel可能会长时间无响应。

    下面是微软对这个选项的详细解释:

    "We added an option for users to control whether the query should be loaded to the workbook in the background or use the new “Fast Data Load” option to accelerate the query download. The default behavior is “Background Data Load,” but now users can instead choose the “Fast Data Load” mode in the Options dialog. When loading a query using the “Fast Data Load” mode, your query will take less time to load, however, Excel may be unresponsive for long periods of time during the upload."

    我建议您在主要计算没有折叠到服务器(例如从文件导入)的查询,或者需要内存中大量数据的复杂转换的查询时。使用此选项。

    此致,

    敬礼

    Itch


    如果以上回复对您有所帮助,建议您将其标记为答复。如果您对我们的论坛支持有任何的建议,可以通过此邮箱联系我们:tnsf@microsoft.com.

    点击了解更多或者访问我们的 专用论坛,与我们的技术专家一起分享探索 Microsoft Office 2019。


    2020年1月6日 7:27

全部回复

  • 你好,

    Table.BufferFast Data Load具有相似的功能,它们都能加快查询速度,区别主要在于它们的工作方式不同。

    Table.Buffer

    它的作用是将表加载到内存中,以便它可以对存储在内存中的缓存进行操作。它原则上类似于在代码中重复引用函数,创建一次就只会创建一次的内容,当每次用到的时候,计算机会查询到这个值然后使用,这就变相的节省了内存的空间,就好比函数中的变量和常量,变量比常量更节省空间,从而加速了您的查询。

    以下这两种情况我建议你使用Table.Buffer

    1.当您确定要确保将所有数据读入内存比让M引擎以通常的方式处理事情要快的时候。

    2.tablelist被多次引用的时候。

    Fast Data Load

    “快速加载”选项可以减少处理阶段的总体延迟,但是由于它当前是在UI线程上实现的,因此会影响UI的响应能力。

    它不是启动后台进程,而是使用前台进程(Excel实例)进行加载,因此从根本上讲,它没有将自身限制在某些CPU和内存使用量上,它将使用 Excel 可以管理分配的所有 CPU 和内存,所以当你启用它之后,在操作过程中,Excel可能会长时间无响应。

    下面是微软对这个选项的详细解释:

    "We added an option for users to control whether the query should be loaded to the workbook in the background or use the new “Fast Data Load” option to accelerate the query download. The default behavior is “Background Data Load,” but now users can instead choose the “Fast Data Load” mode in the Options dialog. When loading a query using the “Fast Data Load” mode, your query will take less time to load, however, Excel may be unresponsive for long periods of time during the upload."

    我建议您在主要计算没有折叠到服务器(例如从文件导入)的查询,或者需要内存中大量数据的复杂转换的查询时。使用此选项。

    此致,

    敬礼

    Itch


    如果以上回复对您有所帮助,建议您将其标记为答复。如果您对我们的论坛支持有任何的建议,可以通过此邮箱联系我们:tnsf@microsoft.com.

    点击了解更多或者访问我们的 专用论坛,与我们的技术专家一起分享探索 Microsoft Office 2019。


    2020年1月6日 7:27
  • 感谢您的专业答复~既然如此,在叠加使用(假设Table.Buffer适用)的情况下,应该是能同时获得来自两方面的性能提升了?不至于存在冲突吧?
    2020年1月7日 1:47
  • 你好,

    性能的提升并没有精准的判断,我无法为您确认同时启用这两个选项是否可以同时获得两方面的提升。

    性能的好坏还取决于您具体的操作环境,使用的数据源,处理数据的方式等,这两个选项并不是唯一的影响因素。

    但是无论如何,据我所知,这两个功能之间并不存在冲突,您可以同时启用它们,至少它们不会给您带来相互冲突的困扰(您仍然需要注意,当您启用“Fast Data Load”之后,在操作过程中,Excel可能会长时间无响应)。

    如果您仍然对性能提升方面存在困惑,非常遗憾,我无法为您做完整的测试

    我建议您可以使用一些简单的数据分别在下面几种不同的情况进行测试:

    1.仅启用Fast Data Load的情况下,测试查询的速度。

    2.禁用Fast Data Load,仅使用Table.Buffer,测试查询的速度。

    3.同时启用Table.BufferFast Data Load,测试查询的速度。

    感谢你的理解。

    此致,

    敬礼

    Itch


    如果以上回复对您有所帮助,建议您将其标记为答复。如果您对我们的论坛支持有任何的建议,可以通过此邮箱联系我们:tnsf@microsoft.com.

    点击了解更多或者访问我们的 专用论坛,与我们的技术专家一起分享探索 Microsoft Office 2019。


    2020年1月7日 3:19