第 11 章. 栅格参考

目录

下面给出的函数是 PostGIS 栅格用户可能需要且目前在 PostGIS 栅格中可用的函数。还有其他函数是栅格对象的必需支持函数,对普通用户没有用处。

raster 是一种新的 PostGIS 类型,用于存储和分析栅格数据。

有关从栅格文件加载栅格的信息,请参阅第 10.1 节,“加载和创建栅格”

在本参考中的示例中,我们将使用一个虚拟栅格表 - 使用以下代码形成

CREATE TABLE dummy_rast(rid integer, rast raster);
INSERT INTO dummy_rast(rid, rast)
VALUES (1,
('01' -- little endian (uint8 ndr)
||
'0000' -- version (uint16 0)
||
'0000' -- nBands (uint16 0)
||
'0000000000000040' -- scaleX (float64 2)
||
'0000000000000840' -- scaleY (float64 3)
||
'000000000000E03F' -- ipX (float64 0.5)
||
'000000000000E03F' -- ipY (float64 0.5)
||
'0000000000000000' -- skewX (float64 0)
||
'0000000000000000' -- skewY (float64 0)
||
'00000000' -- SRID (int32 0)
||
'0A00' -- width (uint16 10)
||
'1400' -- height (uint16 20)
)::raster
),
-- Raster: 5 x 5 pixels, 3 bands, PT_8BUI pixel type, NODATA = 0
(2,  ('01000003009A9999999999A93F9A9999999999A9BF000000E02B274A' ||
'41000000007719564100000000000000000000000000000000FFFFFFFF050005000400FDFEFDFEFEFDFEFEFDF9FAFEF' ||
'EFCF9FBFDFEFEFDFCFAFEFEFE04004E627AADD16076B4F9FE6370A9F5FE59637AB0E54F58617087040046566487A1506CA2E3FA5A6CAFFBFE4D566DA4CB3E454C5665')::raster);

11.1. 栅格支持的数据类型

摘要

本节列出了专门为支持栅格功能而创建的 PostgreSQL 数据类型。

  • geomval — 具有两个字段的空间数据类型 - geom(保存几何对象)和 val(保存栅格波段的双精度像素值)。
  • addbandarg — 一种复合类型,用作 ST_AddBand 函数的输入,用于定义新波段的属性和初始值。
  • rastbandarg — 一种复合类型,用于需要表示栅格和该栅格的波段索引时。
  • raster — 栅格空间数据类型。
  • reclassarg — 一种复合类型,用作 ST_Reclass 函数的输入,用于定义重分类的行为。
  • summarystats — ST_SummaryStats 和 ST_SummaryStatsAgg 函数返回的复合类型。
  • unionarg — 一种复合类型,用作 ST_Union 函数的输入,用于定义要处理的波段和 UNION 操作的行为。

11.2. 栅格管理

  • AddRasterConstraints — 为特定列将栅格约束添加到加载的栅格表中,这些约束限制了空间参考、缩放、块大小、对齐方式、波段、波段类型以及一个标志,表示栅格列是否为规则块。必须加载表的数据才能推断约束。如果完成约束设置,则返回 true,否则会发出通知。
  • DropRasterConstraints — 删除引用栅格表列的 PostGIS 栅格约束。如果您需要重新加载数据或更新栅格列数据,则很有用。
  • AddOverviewConstraints — 将栅格列标记为另一个栅格列的概览。
  • DropOverviewConstraints — 从另一个栅格列中取消标记栅格列作为概览。
  • PostGIS_GDAL_Version — 报告 PostGIS 使用的 GDAL 库的版本。
  • PostGIS_Raster_Lib_Build_Date — 报告完整的栅格库构建日期。
  • PostGIS_Raster_Lib_Version — 报告完整的栅格版本和构建配置信息。
  • ST_GDALDrivers — 返回 PostGIS 通过 GDAL 支持的栅格格式列表。只有 can_write=True 的格式才能被 ST_AsGDALRaster 使用
  • ST_Contour — 使用 GDAL 等值线算法,从提供的栅格波段生成一组矢量等值线。
  • ST_InterpolateRaster — 使用输入的一组 3-d 点插值网格化表面,使用 X 和 Y 值将点定位在网格上,并将点的 Z 值用作表面高程。
  • UpdateRasterSRID — 更改用户指定的列和表中所有栅格的 SRID。
  • ST_CreateOverview — 创建给定栅格覆盖的降低分辨率版本。

11.3. 栅格构造函数

  • ST_AddBand — 返回一个栅格,其中添加了给定类型的新波段,并在给定索引位置添加了给定的初始值。如果未指定索引,则将波段添加到末尾。
  • ST_AsRaster — 将 PostGIS 几何图形转换为 PostGIS 栅格。
  • ST_Band — 将现有栅格的一个或多个波段作为新的栅格返回。用于从现有栅格构建新的栅格。
  • ST_MakeEmptyCoverage — 使用空栅格切片覆盖地理参考区域。
  • ST_MakeEmptyRaster — 返回给定维度(宽度和高度)、左上 X 和 Y、像素大小和旋转(scalex、scaley、skewx 和 skewy)以及参考系统 (srid) 的空栅格(没有波段)。如果传入栅格,则返回具有相同大小、对齐方式和 SRID 的新栅格。如果省略 srid,则空间参考设置为未知 (0)。
  • ST_Tile — 返回一组栅格,这些栅格是通过根据所需的输出栅格尺寸分割输入栅格而生成的。
  • ST_Retile — 从任意平铺的栅格覆盖返回一组配置的切片。
  • ST_FromGDALRaster — 从受支持的 GDAL 栅格文件返回栅格。

11.4. 栅格访问器

  • ST_GeoReference — 以世界文件中常见的 GDAL 或 ESRI 格式返回地理参考元数据。默认值为 GDAL。
  • ST_Height — 返回栅格的高度(以像素为单位)。
  • ST_IsEmpty — 如果栅格为空(宽度 = 0 且高度 = 0),则返回 true。否则,返回 false。
  • ST_MemSize — 返回栅格占用的空间量(以字节为单位)。
  • ST_MetaData — 返回有关栅格对象的基本元数据,例如像素大小、旋转(倾斜)、上左、下左等。
  • ST_NumBands — 返回栅格对象中的波段数。
  • ST_PixelHeight — 返回空间参考系统的几何单位的像素高度。
  • ST_PixelWidth — 返回空间参考系统的几何单位的像素宽度。
  • ST_ScaleX — 返回坐标参考系统中像素宽度的 X 分量。
  • ST_ScaleY — 返回坐标参考系统中像素高度的 Y 分量。
  • ST_RasterToWorldCoord — 给定列和行,返回栅格的左上角作为几何 X 和 Y(经度和纬度)。列和行从 1 开始。
  • ST_RasterToWorldCoordX — 返回栅格、列和行的左上角的几何 X 坐标。列和行的编号从 1 开始。
  • ST_RasterToWorldCoordY — 返回栅格、列和行的左上角的几何 Y 坐标。列和行的编号从 1 开始。
  • ST_Rotation — 返回栅格的旋转(以弧度为单位)。
  • ST_SkewX — 返回地理参考 X 倾斜(或旋转参数)。
  • ST_SkewY — 返回地理参考 Y 倾斜(或旋转参数)。
  • ST_SRID — 返回 spatial_ref_sys 表中定义的栅格的空间参考标识符。
  • ST_Summary — 返回栅格内容的文本摘要。
  • ST_UpperLeftX — 返回投影空间参考中栅格的左上角 X 坐标。
  • ST_UpperLeftY — 返回投影空间参考中栅格的左上角 Y 坐标。
  • ST_Width — 返回栅格的宽度(以像素为单位)。
  • ST_WorldToRasterCoord — 返回给定几何 X 和 Y(经度和纬度)或以栅格空间参考坐标系表示的点几何图形的左上角,以列和行的形式表示。
  • ST_WorldToRasterCoordX — 返回点几何图形 (pt) 或以栅格的世界空间参考系统表示的 X 和 Y 世界坐标 (xw, yw) 在栅格中的列。
  • ST_WorldToRasterCoordY — 返回点几何图形 (pt) 或以栅格的世界空间参考系统表示的 X 和 Y 世界坐标 (xw, yw) 在栅格中的行。

11.5. 栅格波段访问器

  • ST_BandMetaData — 返回特定栅格波段的基本元数据。如果未指定波段号,则默认为波段 1。
  • ST_BandNoDataValue — 返回给定波段中表示无数据的数值。如果未指定波段号,则默认为波段 1。
  • ST_BandIsNoData — 如果波段仅填充了无数据值,则返回 true。
  • ST_BandPath — 返回存储在文件系统中的波段的系统文件路径。如果未指定波段号,则默认为 1。
  • ST_BandFileSize — 返回存储在文件系统中的波段的文件大小。如果未指定波段号,则默认为 1。
  • ST_BandFileTimestamp — 返回存储在文件系统中的波段的文件时间戳。如果未指定波段号,则默认为 1。
  • ST_BandPixelType — 返回给定波段的像素类型。如果未指定波段号,则默认为 1。
  • ST_MinPossibleValue — 返回此像素类型可以存储的最小值。
  • ST_HasNoBand — 如果不存在具有给定波段号的波段,则返回 true。如果未指定波段号,则默认为波段 1。

11.6. 栅格像素访问器和设置器

  • ST_PixelAsPolygon — 返回限定特定行和列像素的多边形几何图形。
  • ST_PixelAsPolygons — 返回限定栅格波段中每个像素的多边形几何图形,以及每个像素的值、X 和 Y 栅格坐标。
  • ST_PixelAsPoint — 返回像素左上角的点几何图形。
  • ST_PixelAsPoints — 返回栅格波段中每个像素的点几何图形,以及每个像素的值、X 和 Y 栅格坐标。点几何图形的坐标是像素的左上角。
  • ST_PixelAsCentroid — 返回像素所代表区域的质心(点几何图形)。
  • ST_PixelAsCentroids — 返回栅格波段中每个像素的质心(点几何图形),以及每个像素的值、X 和 Y 栅格坐标。点几何图形是像素所代表区域的质心。
  • ST_Value — 返回给定列x、行y 像素或特定几何点中给定波段的值。波段号从 1 开始,如果未指定,则默认为 1。如果 exclude_nodata_value 设置为 false,则所有像素(包括 nodata 像素)都被认为相交并返回值。如果未传入 exclude_nodata_value,则从栅格的元数据中读取。
  • ST_NearestValue — 返回由列x和行y或在与栅格相同的空间参考坐标系中表示的几何点指定的给定波段像素的最近非NODATA值。
  • ST_SetZ — 返回具有与输入几何图形相同的 X/Y 坐标的几何图形,并使用请求的重采样算法将栅格中的值复制到 Z 维度。
  • ST_SetM — 返回具有与输入几何图形相同的 X/Y 坐标的几何图形,并使用请求的重采样算法将栅格中的值复制到 M 维度。
  • ST_Neighborhood — 返回围绕给定波段像素的非 NODATA 值的二维双精度数组,该像素由列 X 和行 Y 或在与栅格相同的空间参考坐标系中表示的几何点指定。
  • ST_SetValue — 返回修改后的栅格,该栅格是通过设置给定列x、行y 像素或与特定几何图形相交的像素中给定波段的值而产生的。波段号从 1 开始,如果未指定,则默认为 1。
  • ST_SetValues — 返回修改后的栅格,该栅格是通过设置给定波段的值而产生的。
  • ST_DumpValues — 获取指定波段的值作为二维数组。
  • ST_PixelOfValue — 获取其值等于搜索值的像素的列x、行y坐标。

11.7. 栅格编辑器

  • ST_SetGeoReference — 在单次调用中设置地理参考的 6 个参数。数字应以空格分隔。接受 GDAL 或 ESRI 格式的输入。默认值为 GDAL。
  • ST_SetRotation — 设置栅格的旋转角度(以弧度为单位)。
  • ST_SetScale — 设置坐标参考系单位中像素的 X 和 Y 大小。数字单位/像素宽度/高度。
  • ST_SetSkew — 设置地理参考 X 和 Y 倾斜(或旋转参数)。如果只传入一个,则将 X 和 Y 设置为相同的值。
  • ST_SetSRID — 将栅格的 SRID 设置为 spatial_ref_sys 表中定义的特定整数 srid。
  • ST_SetUpperLeft — 将栅格像素左上角的值设置为投影 X 和 Y 坐标。
  • ST_Resample — 使用指定的重采样算法、新尺寸、任意网格角以及一组从另一个栅格定义或借用的栅格地理参考属性对栅格进行重采样。
  • ST_Rescale — 通过仅调整其比例(或像素大小)来重采样栅格。使用 NearestNeighbor(英语或美式拼写)、Bilinear、Cubic、CubicSpline、Lanczos、Max 或 Min 重采样算法计算新的像素值。默认值为 NearestNeighbor。
  • ST_Reskew — 通过仅调整其倾斜(或旋转参数)来重采样栅格。使用 NearestNeighbor(英语或美式拼写)、Bilinear、Cubic、CubicSpline 或 Lanczos 重采样算法计算新的像素值。默认值为 NearestNeighbor。
  • ST_SnapToGrid — 通过将其捕捉到网格来重采样栅格。使用 NearestNeighbor(英语或美式拼写)、Bilinear、Cubic、CubicSpline 或 Lanczos 重采样算法计算新的像素值。默认值为 NearestNeighbor。
  • ST_Resize — 将栅格调整为新的宽度/高度
  • ST_Transform — 使用指定的重采样算法将已知空间参考系中的栅格重新投影到另一个已知空间参考系。选项有 NearestNeighbor、Bilinear、Cubic、CubicSpline、Lanczos,默认为 NearestNeighbor。

11.8. 栅格波段编辑器

  • ST_SetBandNoDataValue — 设置给定波段的表示无数据的数值。如果未指定波段,则默认为波段 1。要将波段标记为没有无数据值,请将无数据值设置为 NULL。
  • ST_SetBandIsNoData — 将波段的 isnodata 标志设置为 TRUE。
  • ST_SetBandPath — 更新数据库外波段的外部路径和波段号
  • ST_SetBandIndex — 更新数据库外波段的外部波段号

11.9. 栅格波段统计和分析

  • ST_Count — 返回栅格或栅格覆盖率的给定波段中的像素数。如果未指定波段,则默认为波段 1。如果 exclude_nodata_value 设置为 true,则仅计算不等于无数据值的像素。
  • ST_CountAgg — 聚合。返回一组栅格的给定波段中的像素数。如果未指定波段,则默认为波段 1。如果 exclude_nodata_value 设置为 true,则仅计算不等于 NODATA 值的像素。
  • ST_Histogram — 返回一组记录,汇总栅格或栅格覆盖率数据分布的单独 bin 范围。如果未指定,则自动计算 bin 的数量。
  • ST_Quantile — 计算栅格或栅格表覆盖范围在样本或总体背景下的分位数。因此,可以检查某个值是否处于栅格的 25%、50%、75% 百分位数。
  • ST_SummaryStats — 返回栅格或栅格覆盖范围的给定栅格波段的汇总统计信息,包括计数、总和、平均值、标准差、最小值和最大值。如果未指定波段,则假定为波段 1。
  • ST_SummaryStatsAgg — 聚合。返回一组栅格的给定栅格波段的汇总统计信息,包括计数、总和、平均值、标准差、最小值和最大值。如果未指定波段,则假定为波段 1。
  • ST_ValueCount — 返回一组记录,其中包含像素波段值以及栅格(或栅格覆盖范围)的给定波段中具有给定值集的像素数量。如果未指定波段,则默认为波段 1。默认情况下,不计算 nodata 值像素。输出像素中的所有其他值,并且像素波段值四舍五入到最接近的整数。

11.10. 栅格输入

  • ST_RastFromWKB — 从 Well-Known Binary (WKB) 栅格返回栅格值。
  • ST_RastFromHexWKB — 从 Well-Known Binary (WKB) 栅格的十六进制表示形式返回栅格值。

11.11. 栅格输出

  • ST_AsBinary/ST_AsWKB — 返回栅格的 Well-Known Binary (WKB) 表示形式。
  • ST_AsHexWKB — 返回栅格的 Well-Known Binary (WKB) 十六进制表示形式。
  • ST_AsGDALRaster — 以指定的 GDAL 栅格格式返回栅格图块。栅格格式是您编译的库支持的格式之一。使用 ST_GDALDrivers() 获取您的库支持的格式列表。
  • ST_AsJPEG — 将选定的栅格图块波段作为单个联合图像专家组 (JPEG) 图像(字节数组)返回。如果未指定波段且有 1 个或超过 3 个波段,则仅使用第一个波段。如果只有 3 个波段,则使用所有 3 个波段并映射到 RGB。
  • ST_AsPNG — 将选定的栅格图块波段作为单个可移植网络图形 (PNG) 图像(字节数组)返回。如果栅格中有 1、3 或 4 个波段且未指定波段,则使用所有波段。如果超过 2 个或超过 4 个波段且未指定波段,则仅使用波段 1。波段映射到 RGB 或 RGBA 空间。
  • ST_AsTIFF — 将选定的栅格波段作为单个 TIFF 图像(字节数组)返回。如果未指定波段或任何指定的波段不存在于栅格中,则将尝试使用所有波段。

11.12. 栅格处理:地图代数

  • ST_Clip — 返回按输入几何裁剪的栅格。如果未指定波段号,则处理所有波段。如果未指定 crop 或为 TRUE,则会裁剪输出栅格。如果 touched 设置为 TRUE,则包含接触到的像素,否则仅当像素的中心位于几何图形中时才包含该像素。
  • ST_ColorMap — 从源栅格和指定的波段创建最多四个 8BUI 波段(灰度、RGB、RGBA)的新栅格。如果未指定,则假定为波段 1。
  • ST_Grayscale — 从源栅格和表示红色、绿色和蓝色的指定波段创建新的一个 8BUI 波段栅格。
  • ST_Intersection — 返回栅格或一组表示两个栅格共享部分或栅格矢量化与几何图形的几何交集的几何-像素值对。
  • ST_MapAlgebra(回调函数版本) — 回调函数版本 - 返回一个单波段栅格,给定一个或多个输入栅格、波段索引和一个用户指定的回调函数。
  • ST_MapAlgebra(表达式版本) — 表达式版本 - 返回一个单波段栅格,给定一个或两个输入栅格、波段索引和一个或多个用户指定的 SQL 表达式。
  • ST_MapAlgebraExpr — 1 栅格波段版本:通过对输入栅格波段和提供的像素类型应用有效的 PostgreSQL 代数运算来创建新的单波段栅格。如果未指定波段,则假定为波段 1。
  • ST_MapAlgebraExpr — 2 栅格波段版本:通过对两个输入栅格波段和提供的像素类型应用有效的 PostgreSQL 代数运算来创建新的单波段栅格。如果未指定波段号,则假定每个栅格的波段 1。生成的栅格将与第一个栅格定义的网格对齐(比例、倾斜和像素角),并且其范围由“extenttype”参数定义。“extenttype”的值可以是:INTERSECTION、UNION、FIRST、SECOND。
  • ST_MapAlgebraFct — 1 波段版本 - 通过对输入栅格波段和提供的像素类型应用有效的 PostgreSQL 函数来创建新的单波段栅格。如果未指定波段,则假定为波段 1。
  • ST_MapAlgebraFct — 2 波段版本 - 通过对 2 个输入栅格波段和提供的像素类型应用有效的 PostgreSQL 函数来创建新的单波段栅格。如果未指定波段,则假定为波段 1。如果未指定,范围类型默认为 INTERSECTION。
  • ST_MapAlgebraFctNgb — 1 波段版本:使用用户定义的 PostgreSQL 函数进行地图代数最近邻。返回一个栅格,其值是 PLPGSQL 用户函数的结果,该函数涉及输入栅格波段的值邻域。
  • ST_Reclass — 创建一个由原始波段类型重新分类组成的新栅格。nband 是要更改的波段。如果未指定 nband,则假定为 1。所有其他波段保持不变。用例:将 16BUI 波段转换为 8BUI 等,以便更简单地渲染为可查看的格式。
  • ST_Union — 将一组栅格图块的联合返回到由 1 个或多个波段组成的单个栅格中。

11.13. 内置地图代数回调函数

  • ST_Distinct4ma — 栅格处理函数,用于计算邻域中唯一像素值的数量。
  • ST_InvDistWeight4ma — 栅格处理函数,用于从像素的邻域内插像素的值。
  • ST_Max4ma — 栅格处理函数,用于计算邻域中的最大像素值。
  • ST_Mean4ma — 栅格处理函数,用于计算邻域中的平均像素值。
  • ST_Min4ma — 栅格处理函数,用于计算邻域中的最小像素值。
  • ST_MinDist4ma — 栅格处理函数,返回感兴趣的像素与具有值的相邻像素之间的最小距离(以像素数表示)。
  • ST_Range4ma — 栅格处理函数,用于计算邻域中像素值的范围。
  • ST_StdDev4ma — 栅格处理函数,用于计算邻域中像素值的标准差。
  • ST_Sum4ma — 栅格处理函数,用于计算邻域中所有像素值的总和。

11.14. 栅格处理:DEM(高程)

  • ST_Aspect — 返回高程栅格波段的坡向(默认为度)。用于分析地形。
  • ST_HillShade — 使用提供的方位角、高度、亮度和小数输入返回高程栅格波段的假设照明。
  • ST_Roughness — 返回一个包含计算出的 DEM“粗糙度”的栅格。
  • ST_Slope — 返回高程栅格波段的坡度(默认为度)。用于分析地形。
  • ST_TPI — 返回一个包含计算出的地形位置指数的栅格。
  • ST_TRI — 返回一个包含计算出的地形粗糙度指数的栅格。

11.15. 栅格处理:栅格到几何

  • Box3D — 返回栅格外包框的 3d 框表示形式。
  • ST_ConvexHull — 返回栅格的凸包几何,包括等于 BandNoDataValue 的像素值。对于规则形状和非倾斜的栅格,这会给出与 ST_Envelope 相同的结果,因此仅对不规则形状或倾斜的栅格有用。
  • ST_DumpAsPolygons — 从给定的栅格波段返回一组 geomval (geom,val) 行。如果未指定波段号,则波段号默认值为 1。
  • ST_Envelope — 返回栅格范围的多边形表示。
  • ST_MinConvexHull — 返回栅格的凸包几何,不包括 NODATA 像素。
  • ST_Polygon — 返回由像素值不是无数据值的像素的并集形成的多边形几何。如果未指定波段号,则波段号默认值为 1。

11.16. 栅格运算符

  • && — 如果 A 的边界框与 B 的边界框相交,则返回 TRUE
  • &< — 如果 A 的边界框位于 B 的左侧,则返回 TRUE
  • &> — 如果 A 的边界框位于 B 的右侧,则返回 TRUE
  • = — 如果 A 的边界框与 B 的边界框相同,则返回 TRUE。使用双精度边界框。
  • @ — 如果 A 的边界框包含在 B 的边界框中,则返回 TRUE。使用双精度边界框。
  • ~= — 如果 A 的边界框与 B 的边界框相同,则返回 TRUE
  • ~ — 如果 A 的边界框包含 B 的边界框,则返回 TRUE。使用双精度边界框。

11.17. 栅格和栅格波段空间关系

  • ST_Contains — 如果栅格 rastB 的任何点都不位于栅格 rastA 的外部,并且 rastB 内部的至少一个点位于 rastA 的内部,则返回 true。
  • ST_ContainsProperly — 如果 rastB 与 rastA 的内部相交,但不与 rastA 的边界或外部相交,则返回 true。
  • ST_Covers — 如果栅格 rastB 的任何点都不位于栅格 rastA 之外,则返回 true。
  • ST_CoveredBy — 如果栅格 rastA 的任何点都不位于栅格 rastB 之外,则返回 true。
  • ST_Disjoint — 如果栅格 rastA 与 rastB 在空间上不相交,则返回 true。
  • ST_Intersects — 如果栅格 rastA 在空间上与栅格 rastB 相交,则返回 true。
  • ST_Overlaps — 如果栅格 rastA 和 rastB 相交,但一个不完全包含另一个,则返回 true。
  • ST_Touches — 如果栅格 rastA 和 rastB 至少有一个共同点,但它们的内部不相交,则返回 true。
  • ST_SameAlignment — 如果栅格具有相同的倾斜度、比例、空间参考和偏移量(像素可以放置在同一网格上而无需切入像素),则返回 true;否则返回 false,并提供详细的问题说明。
  • ST_NotSameAlignmentReason — 返回文本,说明栅格是否对齐,如果未对齐,则说明原因。
  • ST_Within — 如果栅格 rastA 的任何点都不位于栅格 rastB 的外部,并且 rastA 内部的至少一个点位于 rastB 的内部,则返回 true。
  • ST_DWithin — 如果栅格 rastA 和 rastB 彼此在指定的距离内,则返回 true。
  • ST_DFullyWithin — 如果栅格 rastA 和 rastB 完全在彼此指定的距离内,则返回 true。

11.18. 栅格提示

摘要

本节介绍了与 PostGIS 栅格相关的各种陷阱和提示。

11.18.1. 外部数据库栅格

11.18.1.1. 包含许多文件的目录

当 GDAL 打开文件时,GDAL 会急切地扫描该文件的目录,以构建其他文件的目录。如果此目录包含许多文件(例如,数千个、数百万个),则打开该文件会变得非常慢(尤其是在该文件恰好位于网络驱动器(如 NFS)上时)。

为了控制此行为,GDAL 提供了以下环境变量: GDAL_DISABLE_READDIR_ON_OPEN。将 GDAL_DISABLE_READDIR_ON_OPEN 设置为 TRUE 以禁用目录扫描。

在 Ubuntu 中(并假设您使用 PostgreSQL 的 Ubuntu 包),可以在 /etc/postgresql/POSTGRESQL_VERSION/CLUSTER_NAME/environment 中设置 GDAL_DISABLE_READDIR_ON_OPEN(其中 POSTGRESQL_VERSION 是 PostgreSQL 的版本,例如 9.6,而 CLUSTER_NAME 是集群的名称,例如 maindb)。您也可以在此处设置 PostGIS 环境变量。

# environment variables for postmaster process
# This file has the same syntax as postgresql.conf:
#  VARIABLE = simple_value
#  VARIABLE2 = 'any value!'
# I. e. you need to enclose any value which does not only consist of letters,
# numbers, and '-', '_', '.' in single quotes. Shell commands are not
# evaluated.
POSTGIS_GDAL_ENABLED_DRIVERS = 'ENABLE_ALL'

POSTGIS_ENABLE_OUTDB_RASTERS = 1

GDAL_DISABLE_READDIR_ON_OPEN = 'TRUE'
                    

11.18.1.2. 最大打开文件数

考虑到系统由人类用户使用,Linux 和 PostgreSQL 允许的最大打开文件数通常是保守的(通常每个进程 1024 个打开文件)。对于外部数据库栅格,单个有效查询很容易超过此限制(例如,一个 10 年的数据集,其中每天有一个栅格,其中包含最低和最高温度,我们想知道该数据集中像素的绝对最小值和最大值)。

最容易进行的更改是以下 PostgreSQL 设置: max_files_per_process。默认值设置为 1000,对于外部数据库栅格来说太低了。安全的起始值可以是 65536,但这实际上取决于您的数据集以及针对这些数据集运行的查询。此设置只能在服务器启动时进行,并且可能只能在 PostgreSQL 配置文件中进行(例如,Ubuntu 环境中的 /etc/postgresql/POSTGRESQL_VERSION/CLUSTER_NAME/postgresql.conf)。

...
# - Kernel Resource Usage -

max_files_per_process = 65536           # min 25
                                        # (change requires restart)
...
                    

要进行的主要更改是 Linux 内核的打开文件限制。这有两个部分

  • 整个系统的最大打开文件数

  • 每个进程的最大打开文件数

11.18.1.2.1. 整个系统的最大打开文件数

您可以使用以下示例检查整个系统的当前最大打开文件数

$ sysctl -a | grep fs.file-max
fs.file-max = 131072
                    

如果返回的值不够大,请按照以下示例将文件添加到 /etc/sysctl.d/

$ echo "fs.file-max = 6145324" >> /etc/sysctl.d/fs.conf

$ cat /etc/sysctl.d/fs.conf
fs.file-max = 6145324

$ sysctl -p --system
* Applying /etc/sysctl.d/fs.conf ...
fs.file-max = 2097152
* Applying /etc/sysctl.conf ...

$ sysctl -a | grep fs.file-max
fs.file-max = 6145324
                    
11.18.1.2.2. 每个进程的最大打开文件数

我们需要增加 PostgreSQL 服务器进程的每个进程的最大打开文件数。

要查看当前 PostgreSQL 服务进程正在使用哪些最大打开文件数,请按照以下示例进行操作(确保 PostgreSQL 正在运行)

$ ps aux | grep postgres
postgres 31713  0.0  0.4 179012 17564 pts/0    S    Dec26   0:03 /home/dustymugs/devel/postgresql/sandbox/10/usr/local/bin/postgres -D /home/dustymugs/devel/postgresql/sandbox/10/pgdata
postgres 31716  0.0  0.8 179776 33632 ?        Ss   Dec26   0:01 postgres: checkpointer process
postgres 31717  0.0  0.2 179144  9416 ?        Ss   Dec26   0:05 postgres: writer process
postgres 31718  0.0  0.2 179012  8708 ?        Ss   Dec26   0:06 postgres: wal writer process
postgres 31719  0.0  0.1 179568  7252 ?        Ss   Dec26   0:03 postgres: autovacuum launcher process
postgres 31720  0.0  0.1  34228  4124 ?        Ss   Dec26   0:09 postgres: stats collector process
postgres 31721  0.0  0.1 179308  6052 ?        Ss   Dec26   0:00 postgres: bgworker: logical replication launcher

$ cat /proc/31718/limits
Limit                     Soft Limit           Hard Limit           Units
Max cpu time              unlimited            unlimited            seconds
Max file size             unlimited            unlimited            bytes
Max data size             unlimited            unlimited            bytes
Max stack size            8388608              unlimited            bytes
Max core file size        0                    unlimited            bytes
Max resident set          unlimited            unlimited            bytes
Max processes             15738                15738                processes
Max open files            1024                 4096                 files
Max locked memory         65536                65536                bytes
Max address space         unlimited            unlimited            bytes
Max file locks            unlimited            unlimited            locks
Max pending signals       15738                15738                signals
Max msgqueue size         819200               819200               bytes
Max nice priority         0                    0
Max realtime priority     0                    0
Max realtime timeout      unlimited            unlimited            us
                    

在上面的示例中,我们检查了进程 31718 的打开文件限制。哪个 PostgreSQL 进程并不重要,任何一个都可以。我们感兴趣的响应是 Max open files

我们希望增加 Max open filesSoft LimitHard Limit,使其大于我们为 PostgreSQL 设置 max_files_per_process 指定的值。在我们的示例中,我们将 max_files_per_process 设置为 65536。

在 Ubuntu 中(并假设您使用 PostgreSQL 的 Ubuntu 包),更改 Soft LimitHard Limit 的最简单方法是编辑 /etc/init.d/postgresql (SysV) 或 /lib/systemd/system/postgresql*.service (systemd)。

让我们首先处理 SysV Ubuntu 的情况,其中我们将 ulimit -H -n 262144ulimit -n 131072 添加到 /etc/init.d/postgresql

...
case "$1" in
    start|stop|restart|reload)
        if [ "$1" = "start" ]; then
            create_socket_directory
        fi
    if [ -z "`pg_lsclusters -h`" ]; then
        log_warning_msg 'No PostgreSQL clusters exist; see "man pg_createcluster"'
        exit 0
    fi

    ulimit -H -n 262144
    ulimit -n 131072

    for v in $versions; do
        $1 $v || EXIT=$?
    done
    exit ${EXIT:-0}
        ;;
    status)
...

现在来处理 systemd Ubuntu 的情况。我们将 LimitNOFILE=131072 添加到每个 /lib/systemd/system/postgresql*.service 文件中的 [Service] 部分。

...
[Service]

LimitNOFILE=131072

...

[Install]
WantedBy=multi-user.target
...

进行必要的 systemd 更改后,请确保重新加载守护进程

systemctl daemon-reload