发布于 2018

• 并发异常那些事

  2018-06-09 @ 开发

  并发异常那些事 并发程序很难写对，更难写好。很多程序员也没有真正弄清楚这些问题，不过是一股脑地把这些问题丢给数据库而已。并发异常并不仅仅是一个理论问题：这些异常曾经造成过很多资金损失，耗费过大量财务审计人员的心血。但即使是最流行、最强大的关系型数据库（通常被认为是“ACID”数据库），也会使用弱隔离级别，所以它们也不一定能防止这些并发异常的发生。 ​ 比起盲目地依赖工具，我们应该对存在的并发问题的种类，以及如何防止这些问题有深入的理解。 本文将阐述SQL92标准中定义的隔离级别及其缺陷，现代模型 …

  更多

• 行政区划归属查询

  2018-06-06 @ 开发

  在应用开发中，很多时候我们需要解决这样一个问题：根据用户的经纬度坐标，定位用户的行政区划。 ​ 我们收集到的是诸如28°00'00"N 100°00'00.000"E这样的经纬度坐标，但实际感兴趣的是这个点所属的行政区划：（中华人民共和国，云南省，迪庆藏族自治州，香格里拉市）。这种将地理坐标映射到某条记录的操作就称为地理编码（GeoEncode）。高效实现地理编码是一个很有趣的问题。 ​ 本文介绍了该问题的解决与优化方案：能在确保正确性的前提下，能用几兆的空间，110μs的执 …

  更多

• KNN极致优化

  2018-06-06 @ 开发

  概述 灵活应用数据库的功能，可以轻松实现三万倍的性能提升。 Level 方法 性能/耗时(ms) 可维护性/可靠性 备注 1 暴力扫表 30,000 - 形式简单 2 经纬索引 35 复杂度/魔数问题 额外复杂度 3 联合索引 10 复杂度/魔数问题 额外复杂度 4 GIST 4 最简表达，完全精确 形式简单，距离更精确，PostgreSQL限定 5 btree_gist联合索引 1 最简表达，完全精确 形式简单，距离更精确，PostgreSQL限定 场景 互 …

  更多

• PgSQL 函数易变性等级分类

  2018-04-06 @ 开发

  PgSQL中的函数默认有三种易变性等级，合理使用可以显著改善性能。 核心种差 VOLATILE : 有副作用，不可被优化。 STABLE： 执行了数据库查询。 IMMUTABLE : 纯函数，执行结果可能会在规划时被预求值并缓存。 什么时候用？ VOLATILE : 有任何写入，有任何副作用，需要看到外部命令所做的变更，或者调用了任何VOLATILE的函数 STABLE： 有数据库查询，但没有写入，或者函数的结果依赖于配置参数（例如时区） IMMUTABLE : 纯函数。 具体解释 每个 …

  更多

• PgSQL Exclude约束

  2018-04-06 @ 开发

  Exclude约束是一个PostgreSQL扩展，它可以实现一些更高级，更巧妙的的数据库约束。 前言 数据完整性是极其重要的，但由应用保证的数据完整性并不总是那么靠谱：人会犯傻，程序会出错。如果能通过数据库约束来强制数据完整性那是再好不过了：后端程序员不用再担心竞态条件导致的微妙错误，数据分析师也可以对数据质量充满信心，不需要验证与清洗。 关系型数据库通常会提供PRIMARY KEY, FOREIGN KEY, UNIQUE, CHECK约束，然而并不是所有的业务约束都可以用这几种约束表达。一些 …

  更多

• PgSQL Distinct On

  2018-04-06 @ 开发

  Distinct On是PostgreSQL提供的特有语法，可以高效解决一些典型查询问题，例如，快速找出分组内具有最大最小值的记录。 前言 找出分组内具有最大最小值的记录，这是一个非常常见的需求。用传统SQL当然有办法解决，但是都不够优雅，PostgreSQL的SQL扩展语法Distinct ON能一步到位解决这一类问题。 DISTINCT ON 语法 SELECTDISTINCTON(expression[,expression...])select_list...Here …

  更多

• 架构成熟度模型

  2018-03-12 @ 开发

  架构，特别是互联网服务的架构，按照组织的典型特征与负载数量级，可以分为以下九个阶段。 这种划分方式虽然简单粗暴，但是很有效果。 1~3为简单系统，4-6为中等系统，7-9为复杂系统。

  更多

发布于 2017

• Go数据库接口教程

  2017-08-24 @ 开发

  Go数据库教程: database/sql ​ Go使用SQL与类SQL数据库的惯例是通过标准库database/sql。这是一个对关系型数据库的通用抽象，它提供了标准的、轻量的、面向行的接口。不过database/sql的包文档只讲它做了什么，却对如何使用只字未提。快速指南远比堆砌事实有用，本文讲述了database/sql的使用方法及其注意事项。 1. 顶层抽象 ​ 在Go中访问数据库需要用到sql.DB接口：它可以创建语句(statement)和事务(transaction)，执行查询，获 …

  更多

• GO与PG实现缓存同步

  2017-08-03 @ 开发

  ​ Parallel与Hierarchy是架构设计的两大法宝，缓存是Hierarchy在IO领域的体现。单线程场景下缓存机制的实现可以简单到不可思议，但很难想象成熟的应用会只有一个实例。在使用缓存的同时引入并发，就不得不考虑一个问题：如何保证每个实例的缓存与底层数据副本的数据一致性（和实时性）。 ​ PostgreSQL在版本9引入了流式复制，在版本10引入了逻辑复制，但这些都是针对PostgreSQL数据库而言的。如果希望PostgreSQL中某张表的部分数据与应用内存中的状态保持一致，我们还 …

  更多

• PgSQL审计触发器

  2017-06-09 @ 开发

  有时候，我们希望记录一些重要的元数据变更，以便事后审计之用。 PostgreSQL的触发器就可以很方便地自动解决这一需求。 -- 创建一个审计专用schema，并废除所有非superuser的权限。 DROPSCHEMAIFEXISTSauditCASCADE;CREATESCHEMAIFNOTEXISTSaudit;REVOKECREATEONSCHEMAauditFROMPUBLIC;-- …

  更多