pgsql最快的数据导入BeginBinaryImport

于 2025-02-10 19:22:23 发布
阅读量1.3k 收藏 6
点赞数 5
CC 4.0 BY-SA版权
文章标签： pgsql c java python c# javascript
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mrdzhu/article/details/145556435

PostgreSQL 的 BeginBinaryImport 是 libpq（PostgreSQL 的 C 语言客户端库） 中的一个函数，用于高效实现二进制数据的大批量导入。以下是详细介绍及适用语言说明：

BeginBinaryImport 的作用

  1. 功能

    • 它是 PostgreSQL C 接口库（libpq）的一部分，用于启动一个 COPY FROM STDIN 操作（二进制模式）。

    • 通过二进制流（而非文本格式）向数据库批量插入数据，性能显著优于逐行插入或文本格式导入。

    • 需要与 PQputCopyData 和 PQendCopy 配合使用，直接传输二进制格式的数据块。

  2. 适用场景

    • 需要高速导入数百万甚至数十亿条记录。

    • 数据源本身是二进制格式（例如传感器数据、二进制文件等）。

支持的编程语言

1. C/C++（直接使用 libpq）

  • 唯一直接支持 BeginBinaryImport 的语言，因为该函数是 libpq 的原生接口。

  • 示例代码片段：

    • 


                

        

    

    
  


        

            

                      
                        最低0.47元/天 解锁文章
                        

                          
200万优质内容无限畅学

                          
                        

                      
            

        


    



                



	

		

			

				
					
PostgreSQL 学习总结

				
			

			

				

					Bear_861110453的专栏
				

				

					03-20
					
					1512
					
				

			

		

		

			
				
PostgreSQL 学习总结


  xy




批量插入 Copy 命令

copy 命令用于批量的数据导入或导出 
C 接口如下：

主要为一下三个函数



pRes = PQexec(pConn, strSQL.c_str());

PQputCopyData(pConn, strBuf.c_str(), strBuf.length())

PQputCopyEnd(pConn, st...

			
		

	



                

            
              



	

		

			

				
					
win10上使用osm2pgsql导入osm数据

				
			

			

				

					野生的世界
				

				

					12-18
					
					2546
					
				

			

		

		

			
				
Pgadmin4建立数据库
建立数据库后，执行CREATE EXTENSION postgis
下载软件
windows平台（win10可用）
osm2pgsql下载地址：http://customdebug.com/osm/osm2pgsql.zip
default.style文件：https://github.com/openstreetmap/osm2pgsql/blob/master/de...

			
		

	



              


  
              

                


	

		

			

				
					
Import Binary Data with Low-Level I/O

				
			

			

				

					peter00pan的博客
				

				

					12-01
					
					315
					
				

			

		

		

			
				
Low-Level Functions for Importing Data  Low-level file I/O functions allow the most direct control over reading or writing data to a file. However, these functions require that you specify more detail

			
		

	





	

		

			

				
					
C#.net使用npgsql批量写入数据入库到postgresql数据库

					
最新发布

				
			

			

				

					yinchoushi8780的博客
				

				

					12-07
					
					2071
					
				

			

		

		

			
				
注：BeginBinaryImport(“copy drp_app_track_event(session_id,duration,start_time,trace_id,parent_trace_id,event_type,event_code,action_code,user_id,user_info,event_data) FROM STDIN BINARY”))当有类型限定时，例如jsonb，在单条存储时 在sql语句中使用‘@event_data::jsonb’此形式。

			
		

	



		

			
		



	

		

			

				
					
libpq Copy In 数据测试过程

				
			

			

				

					风的专栏
				

				

					08-31
					
					1295
					
				

			

		

		

			
				
文本方式
1. 创建测试表
sde=# \d test
Table “sde.test”
Column |  Type   | Collation | Nullable | Default
--------±--------±----------±---------±--------
id     | integer |           |          |
info   | text    |           |          |
2.  插入两条记录
string sql = “COPY

			
		

	





	

		

			

				
					
Npgsql实现Postgresql数据库表的批量导入及导出(Bulk Copy)

				
			

			

				

					carcarrot的博客
				

				

					06-19
					
					4604
					
				

			

		

		

			
				
我们知道在ADO.NET中有“System.Data.SqlClient.SqlBulkCopy类”专门针对SQLServer的批导入表数据操作(Bulk Copy)，而针对Postgresql的Npgsql并无相应的类，Npgsql实现BulkCopy是通过Copy指令实现的，详细可以参考Npgsql官网对BulkCopy的说明https://www.npgsql.org/doc/copy.html （如果想更多了解关于Copy指令的语法可以阅读https://www.postgresql.org...

			
		

	





	

		

			

				
					
osm2pgsql（OSM数据导入到Postgres中工具）

				
			

			

				

					06-02
				

			

		

		

			
				
osm2pgsql是一个用于将OpenStreetMap（OSM）数据导入到PostgreSQL数据库的工具，它是OSM数据处理生态中的重要组成部分。OSM是一种开源的地理信息系统，允许用户自由地创建、编辑和分享地理数据。PostgreSQL则是一个...

			
		

	





	

		

			

				
					
osm2pgsql-OSM数据导入到Postgres中工具

				
			

			

				

					01-30
				

			

		

		

			
				
osm2pgsql是一款强大的开源工具，主要用于将OpenStreetMap（OSM）的数据导入到PostgreSQL数据库中。OpenStreetMap是一个全球性的、由志愿者维护的地理信息系统，它提供了免费的地图数据，包括道路、建筑、公园、交通...

			
		

	





	

		

			

				
					
使用osm2pgsql工具将osm数据导入postgis中（图解）

				
			

			

				

					qq_31598891的博客
				

				

					11-01
					
					8203
					
				

			

		

		

			
				
弄了好长一段时间，终于顺利地将osm数据导入到postgis中了，在这期间问题百出，现在将整个过程梳理总结一遍，也希望所有人不要再出现我这种低级错误了啊。。。准备工作安装软件：postgreSQL,并且要安装好postgis拓展； 
注意:postgis安装完成后，会在pgAdmin面板左侧出现自带的模板数据库（如下图） 
 
postgis_22_sample就是自带的模板 
下载数据：在Open

			
		

	





	

		

			

				
					
PostgreSQL  Copy 命令

				
			

			

				

					kwame211的博客
				

				

					07-27
					
					1万+
					
				

			

		

		

			
				
COPY --  在表和文件之间拷贝数据





Synopsis
COPY tablename [ ( column [, ...] ) ] FROM { 'filename' | STDIN } [ [ WITH ] [ BINARY ] [ OIDS ] [ DELIMITER [ AS ] 'delimiter' ] [ NULL [ AS ] 'null string'

			
		

	





	

		

			

				
					
使用copy命令的二进制形式向PostgreSQL/Greenplum数据库批量导入数据

				
			

			

				

					IT- 研究者
				

				

					05-29
					
					5884
					
				

			

		

		

			
				
Greenplum是面向数据仓库应用的关系型数据库，基于PostgreSQL开发，跟PostgreSQL的兼容性非常好。通常向PostgreSQL/Greenplum数据库中大批量写入数据，可以使用insert语句或者copy命令语句。

但经实际测试经验发现，对于PostgreSQL数据库来说，insert于copy的写入速度基本差不多（参考：PG copy&insert性能对比）；但对...

			
		

	





	

		

			

				
					
Postgresql快速写入/读取大量数据（.net）

				
			

			

				

					weixin_30247781的博客
				

				

					07-11
					
					967
					
				

			

		

		

			
				
环境及测试
使用.net驱动npgsql连接post数据库。配置：win10 x64, i5-4590, 16G DDR3, SSD 850EVO.
postgresql 9.6.3，数据库与数据都安装在SSD上，默认配置，无扩展。
CREATE TABLE public.mesh
(
  x integer NOT NULL,
  y integer NOT NULL,
  z integer,...

			
		

	





	

		

			

				
					
c# 使用COPY批量快速插入实体到PGSQL数据库

				
			

			

				

					m0_37761405的博客
				

				

					06-27
					
					2131
					
				

			

		

		

			
				
using ARchGL.Platform.Configuration;
using ARchGL.Platform.Electrocar.Core;
using ARchGL.Platform.Web;
using Microsoft.Extensions.Configuration;
using Npgsql;
using System;
using System.Collections.Ge...

			
		

	





	

		

			

				
					
聊聊编程开发的数据库批量插入(sql)

				
			

			

				

					weixin_30312563的博客
				

				

					02-14
					
					154
					
				

			

		

		

			
				
这里的批量插入，主要是支持SQL的大型存储数据库，本文以Mysql,Oracle,SqlServer,postgresql4类来说明，这大概是国内应用比较多的了。其余的应该可以按照这些去找。提到编程的话，主要是指c#.当然我不是dba，是程序员，所以说的是编程开发的手段而不是dba的手段。也希望大家留言比较。

先说说我们常用的几种方法，我就不列举代码了。网上都有...

			
		

	





	

		

			

				
					
postgresql:如何上传二进制数据

				
			

			

				

					trainee的专栏
				

				

					10-14
					
					2643
					
				

			

		

		

			
				
PostgreSQL的二进制数据类型为bytea，可最多保存2G的数据。在ADO、ODBC等接口，可通过带参数化的插入SQL语句上传二进制。 然而在某些接口、SQL语句无法进行参数绑定，或者某些语言没有二进制的类型，或者接口的不兼容等原因，常无法上传二进制数据。 碰到这种情况下，必须在客户端将二进制转化为一定规则的字符序列，然后插入语句时，来个显示转换cast(字符序列 a

			
		

	





	

		

			

				
					
如何向postgreSQL中添加bytea类型的大对象数据

					
热门推荐

				
			

			

				

					xinpo66的专栏
				

				

					02-07
					
					3万+
					
				

			

		

		

			
				
请教大家，如何向postgreSQL中添加bytea类型的大对象数据？
和mysql的一样不，需要bind吗，那对应mysql_stmt_init和mysql_stmt_prepare、mysql_stmt_bind_param、mysql_stmt_execute对API是哪些楼主
 – guojinshihuaidan：



1个回复

回复1楼
 – guojinshih

			
		

	





	

		

			

				
					
postgresql数据库保存和下载二进制文件的几种方式

				
			

			

				

					bossin2014的专栏
				

				

					05-16
					
					8755
					
				

			

		

		

			
				
前序：如标题所示，主要是贴核心代码。基本能用。都可以用的，我亲测过了。

//方式一：将文件转成字节数组，采用原生sql存到数据库
if(StringUtils.isNotEmpty(multipartFile.getOriginalFilename())) {
	//获取file文件
	CommonsMultipartFile cmf = (CommonsMultipartFile) mul

			
		

	





	

		

			

				
					
pgsql支持parquet数据导入吗

				
			

			

				

					04-27
				

			

		

		

			
				
是的，PostgreSQL（pgsql）支持使用外部表和扩展程序来导入和查询Parquet数据。可以通过安装扩展程序和设置外部表来实现这一点。具体来说，可以使用“pg_parquet”扩展程序将Parquet格式的数据导入到pgsql数据库中，然后使用外部表来将其暴露给pgsql查询器进行查询。需要注意的是，导入和查询Parquet数据需要一定的配置和调整，以确保性能和稳定性。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值