Greenplum数据加载方式（1） – insert 和 copy
greenplum数据加载主要包括insert、copy、外部表、gpload、web external table等五种方式。 其中insert和copy是串行；外部表gpfdist和gpload工具是并行方式。 1、insert 这种加载方式和其他数据库SQL语法一样，但是效率最差，只适合加载极少数数据。需要通过master节点操作。 <1>直接在plsq客户端中执行insert语
Read more作者：十字螺丝钉
Greenplum安装(2) – Greenplum安装部署
在上篇博客《Greenplum安装(1) – 系统安装部署》中，已经介绍了安装Greenplum时，操作系统的安装要求及注意点。 这篇博客，会详细介绍Greenplum的安装步骤及注意点。 一、下载Greenplum安装包 https://network.pivotal.io/products/pivotal-gpdb#/releases/669/file_groups/348 二、安装Green
Read moreOracle 估算闪回区大小
一个朋友问如何设置Oracle闪回区大小，有什么依据没有。 查证官方文档，有这样的描述For example, if you intend to setDB_FLASHBACK_RETENTION_TARGET to 24 hours,and if the database generates 20 GB of redo in a day, then a rule of thumb is to a
Read moreGreenplum安装(1) – 系统安装部署
一、安装操作系统 SWAP大小不小于内存容量 1、关闭NetworkManager、iptables、selinux 2、配置/etc/sysctl.conf
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
kernel.shmmax = 500000000 kernel.shmmni = 4096 kernel.shmall = 4000000000 kernel.sem = 250 512000 100 2048 #SEMMSL SEMMNS SEMOPM SEMMNI kernel.sysrq = 1 kernel.core_uses_pid = 1 kernel.msgmnb = 65536 kernel.msgmax = 65536 kernel.msgmni = 2048 net.ipv4.tcp_syncookies = 1 net.ipv4.ip_forward = 0 net.ipv4.conf.default.accept_source_route = 0 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_max_syn_backlog = 4096 net.ipv4.conf.default.rp_filter = 1 net.ipv4.conf.default.arp_filter = 1 net.ipv4.conf.all.arp_filter = 1 net.ipv4.ip_local_port_range = 1025 65535 net.core.netdev_max_backlog = 10000 vm.overcommit_memory = 2 |
3、配置/etc/security/limits.conf
|
1 2 3 4 5 6 7 |
echo ' * soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072 * soft core unlimited ' >>/etc/security/limits.conf |
4、对于redhat 6.x系统，还需要将/et
Read moreSQL 同时查询最大值、最小值的优化方法
在实际工作中，我们经常需要将表中的最大值和最小值同时查询出来，用于分析。 类似于这样的SQL，select min(object_id),max(object_id) from borpt.t1; 但是，表很大的时候，用最容易想到的方式效率很低，那么有没有更高效的方式呢？下面展开讲解。 初始化测试环境
|
1 2 3 4 5 6 7 8 9 |
create table borpt.t1 as select * from dba_objects; select count(*) from borpt.t1; COUNT(*) ---------- 80588 create index borpt.ind_t1 on borpt.t1(object_id); |
查询最大值时的执行计划，走的
Read morept-table-checksum – 检查MySQL主从数据一致性
pt-table-checksum用于在线检测MySQL主从一致性，其原理是在主库执行checksum查询，然后与从库进行结果的比对，从而得出是否一致性的报告。 pt-table-checksum checksum每张表，然后得出每个从库的一致性报告。pt-table-checksum 工具只关注数据的不一致，修复数据一致性需要用到 pt-table-sync 工具。 用法： [crayon-66
Read moreORA-16038/ORA-00742: Log read detects lost write in thread %d sequence %d block %d
朋友遇到Oracle数据库的 REDO LOG 写丢失，造成数据库，且无法启动。 日志如下：redo log 5无法归档，并且侦测到“写丢失”。最终导致Oracle宕机。
|
1 2 3 4 5 6 7 8 |
Errors in file /u01/app/oracle/diag/rdbmsdbcontrol/GZDBCONTROL/trace/GZDBCONTROL_ora_32198.trc: ORA-16038: log 5 sequence# 23 cannot be archived ORA-00742: Log read detects lost write in thread %d sequence %d block %d ORA-00312: online log 5 thread 1: '/u01/app/oracle/fast_recovery_area/GZDBCONTROL/onlinelog/o1_mf_5_d61ctj3y_.log' USER (ospid: 32198): terminating the instance due to error 16038 System state dump requested by (instance=1, osid=32198), summary=[abnormal instance termination]. System State dumped to trace file /u01/app/oracle/diag/rdbmsdbcontrol/GZDBCONTROL/trace/GZDBCONTROL_diag_32167_20161227110109.trc Dumping diagnostic data in directory=[cdmp_20161227110109], requested by (instance=1, osid=32198), summary=[abnormal instance termination]. |
问题原因： 这三种清空都可能导致“写丢失”发生：操作系统、存储系统、Oracle内部错误。 解决办法： 使用dump判断redo logfile是否真正发生了&#
Read morept-slave-find – 查找MySQL从库信息
工作中进入一个全新的环境，需要了解MySQL的架构，比如有几个从库等信息。一般我们使用show slave hosts;命令得出从库情况，但是 show slave hosts; 命令只适用于主从架构；如果是主从从架构， 无法知道第1级从库是否还有第2级从库连接。 而，pt-slave-find 就能很好的打印出MySQL slave的层级关系，给DBA带来了很大便利。 pt-slave-find
Read more