Spark 访问 *** 作OpenGauss数据库

Spark 访问 *** 作OpenGauss数据库,第1张

我们使用IDEA开发了一个简单的Demo,用于演示Spark 访问数据库的一些基本 *** 作。本Demo使用数据库包括了 MySQL 和 openGauss 两种。

前提条件:

1、Spark 环境安装

2、数据库安装:MYSQL,OpenGauss

新进SpringBoot Maven项目 Spark-Demo ,pom 关键信息  Spark相关组件,MySQL驱动,openGauss访问驱使用postgresql驱动,本人使用的是本地添加postgresql.jar包方式。

本项目提供了使用Spark *** 作MYSQL,OpenGauss数据库的使用用例包括:

表查询,新建表,表插入数据。数据源连接需自行配置。

对于openGauss数据库访问 *** 作,需将项目下lib文件夹中的postgresql.jar 添加到项目类库中。

在File -> Project Structure -> Libraries 中手动添加lib文件夹中postgresql.jar 。

具体项目代码:SparkDemo: Spark 访问数据库 *** 作Demo 请自行下载。

参考信息:Spark JDBC To Other Databases

POM信息如下:



    4.0.0
    
        org.springframework.boot
        spring-boot-starter-parent
        2.6.7
         
    
    org.opengauss.spark
    spark-demo
    0.0.1
    spark-demo
    Demo project for Spring Boot
    
        11
        3.1.2
        2.12
    
    
        
            org.springframework.boot
            spring-boot-starter-web
        

        
            mysql
            mysql-connector-java
            runtime
        
        
            net.openhft
            zero-allocation-hashing
            0.15
        
        
            org.opengauss
            opengauss-jdbc
            3.0.0
        
        
            org.apache.spark
            spark-core_${scala.version}
            ${spark.version}
        
        
            org.apache.spark
            spark-streaming_${scala.version}
            ${spark.version}
        
        
            org.apache.spark
            spark-sql_${scala.version}
            ${spark.version}
        
        
            org.apache.spark
            spark-hive_${scala.version}
            ${spark.version}
        
        
            org.apache.spark
            spark-mllib_${scala.version}
            ${spark.version}
        
        
            org.apache.hadoop
            hadoop-common
            3.3.1
        
        
            net.sf.json-lib
            json-lib
            2.4
            jdk15
        

        
            org.slf4j
            slf4j-log4j12
            1.7.21
        

        
            org.codehaus.janino
            janino
            3.0.8
        

        
            org.springframework.boot
            spring-boot-starter-test
            test
        
    

    
        
            
                org.springframework.boot
                spring-boot-maven-plugin
            

            
                org.scala-tools
                maven-scala-plugin
                2.12.2
                
                    
                        
                            compile
                            testCompile
                        
                    
                
            

        
    


欢迎分享,转载请注明来源:内存溢出

原文地址: http://www.outofmemory.cn/langs/792594.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-05-05
下一篇 2022-05-05

发表评论

登录后才能评论

评论列表(0条)

保存