0%

Hive配置

发表于 更新于 分类于
本文字数： 1.7k 阅读时长 ≈ 2 分钟
Hive配置

Hive 配置

log aop 正则

1
(.*?)\[(.*?)\].*?\[(.*?)\]\[(.*?)\] - (.*)
1
(.*?)[(.*?)].*?[(.*?)][(.*?)] - 方法名:(.*?),消耗时间:(.*?),当前用户:
1
(.*?),传入参数:(.*?),返回数据:(.*)
1
(.*?)\\[(.*?)\\].*?\\[(.*?)\\]\\[(.*?)\\] - 方法名:(.*?),消耗时间:
1
(.*?),当前用户:(.*?),传入参数:(.*?),返回数据:(.*)
1
2
3
4
5
6
7
CREATE EXTERNAL TABLE IF NOT EXISTS loginfo(time STRING,level STRING,class STRING,tid STRING,method STRING,elapsed_time STRING,current_user STRING,in_parameter STRING,output_data STRING)
ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'
WITH SERDEPROPERTIES ("input.regex" = "(.*?)\\[(.*?)\\].*?\\[(.*?)\\]\\[(.*?)\\] - 方法名:(.*?),消耗时间:(.*?),当前用户:(.*?),传入参数:(.*?),返回数据:(.*)",
"output.format.string" = "%1$s %2$s %3$s %4$s %5$s %6$s %7$s %8$s %9$s"
)
STORED AS TEXTFILE
LOCATION '/flume';
1
2
3
4
5
6
7
CREATE EXTERNAL TABLE IF NOT EXISTS loginfo(data STRING)
ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'
WITH SERDEPROPERTIES ("input.regex" = "(.*)",
"output.format.string" = "%1$s"
)
STORED AS TEXTFILE
LOCATION '/flume';
1
/root/soft/apache-hive-1.2.1-bin/lib/hive-contrib-1.2.1.jar

设置 jar 包

1
export HIVE_AUX_JARS_PATH=/root/soft/apache-hive-1.2.1-bin/lib/hive-contrib-1.2.1.jar

初始化 dbtype

1
bin/schematool -initSchema -dbType derby

derby 模式执行顺序

  1. 解压

    1
    tar -zxvf apache-hive-1.2.1-bin.tar.gz
    1
    cd apache-hive-1.2.1-bin

  2. 初始化

    1
    bin/schematool -initSchema -dbType derby

  3. 复制修改脚本

    1
    cd conf/
    1
    cp hive-env.sh.template hive-env.sh
    1
    vim hive-env.sh

  4. 设置 HADOOP_HOME 和 HIVE_HOME

    export HADOOP_HOME=…

    export HIVE_HOME=…

  5. 添加 jar 包

    1
    export HIVE_AUX_JARS_PATH=$HIVE_HOME/lib/hive-contrib-1.2.1.jar

  6. 启动 hive

    1
    bin/hive