如何有效地在网站上使用WordPress的图像浏览插件来吸引观众?
摘要:怎么做网站宣传,wordpress图片浏览插件,南京关键词优化服务,企业形象网站用什么语言开发为了节省Doris集群内的计算、存储资源,Doris需要引入一些其他外部资源来完成相关的工作&#xf
怎么做网站宣传,wordpress图片浏览插件,南京关键词优化服务,企业形象网站用什么语言开发为了节省Doris集群内的计算、存储资源#xff0c;Doris需要引入一些其他外部资源来完成相关的工作#xff0c;如Spark/GPU用于查询#xff0c;HDFS/S3用于外部存储#xff0c;Spark/MapReduce用于ETL, 通过ODBC连接外部存储等#xff0c;因此我们引入资源管理机制来管理Do…为了节省Doris集群内的计算、存储资源Doris需要引入一些其他外部资源来完成相关的工作如Spark/GPU用于查询HDFS/S3用于外部存储Spark/MapReduce用于ETL, 通过ODBC连接外部存储等因此我们引入资源管理机制来管理Doris使用的这些外部资源。
基本概念
一个资源包含名字、类型等基本信息名字为全局唯一不同类型的资源包含不同的属性具体参考各资源的介绍。
资源的创建和删除只能由拥有 admin 权限的用户进行操作。一个资源隶属于整个Doris集群。拥有 admin 权限的用户可以将使用权限usage_priv 赋给普通用户。可参考HELP GRANT或者权限文档。
具体操作
资源管理主要有三个命令CREATE RESOURCEDROP RESOURCE和SHOW RESOURCES分别为创建、删除和查看资源。这三个命令的具体语法可以通过MySQL客户端连接到 Doris 后执行 HELP cmd 的方式查看帮助。 CREATE RESOURCE 该语句用于创建资源。具体操作可参考 CREATE RESOURCE。 DROP RESOURCE 该命令可以删除一个已存在的资源。具体操作见 DROP RESOURCE 。 SHOW RESOURCES 该命令可以查看用户有使用权限的资源。具体操作见 SHOW RESOURCES。
支持的资源
目前Doris能够支持
Spark资源 : 完成ETL工作。ODBC资源查询和导入外部表的数据
下面将分别展示两种资源的使用方式。
Spark
参数
Spark 相关参数如下
spark.master: 必填目前支持yarnspark://host:port。
spark.submit.deployMode: Spark 程序的部署模式必填支持 clusterclient 两种。
spark.hadoop.yarn.resourcemanager.address: master为yarn时必填。
spark.hadoop.fs.defaultFS: master为yarn时必填。
其他参数为可选参考Configuration - Spark 3.4.1 Documentation
如果Spark用于ETL还需要指定以下参数
working_dir: ETL 使用的目录。spark作为ETL资源使用时必填。例如hdfs://host:port/tmp/doris。
broker: broker 名字。spark作为ETL资源使用时必填。需要使用ALTER SYSTEM ADD BROKER 命令提前完成配置。
broker.property_key: broker读取ETL生成的中间文件时需要指定的认证信息等。
示例
创建 yarn cluster 模式名为 spark0 的 Spark 资源。
CREATE EXTERNAL RESOURCE spark0
PROPERTIES
(type spark,spark.master yarn,spark.submit.deployMode cluster,spark.jars xxx.jar,yyy.jar,spark.files /tmp/aaa,/tmp/bbb,spark.executor.memory 1g,spark.yarn.queue queue0,spark.hadoop.yarn.resourcemanager.address 127.0.0.1:9999,spark.hadoop.fs.defaultFS hdfs://127.0.0.1:10000,working_dir hdfs://127.0.0.1:10000/tmp/doris,broker broker0,broker.username user0,broker.password password0
);ODBC
参数
ODBC 相关参数如下
type: 必填且必须为odbc_catalog。作为resource的类型标识。
user: 外部表的账号必填。
password: 外部表的密码必填。
host: 外部表的连接ip地址必填。
port: 外部表的连接端口必填。
odbc_type: 标示外部表的类型当前doris支持mysql与oracle未来可能支持更多的数据库。引用该resource的ODBC外表必填旧的mysql外表选填。
driver: 标示外部表使用的driver动态库引用该resource的ODBC外表必填旧的mysql外表选填。
具体如何使用可以可以参考ODBC of Doris
示例
创建oracle的odbc resource名为 odbc_oracle 的 odbc_catalog的 资源。
CREATE EXTERNAL RESOURCE oracle_odbc
PROPERTIES (
type odbc_catalog,
host 192.168.0.1,
port 8086,
user test,
password test,
database test,
odbc_type oracle,
driver Oracle 19 ODBC driver
);
