datastage运行作业的后天日志在什么目录下

DataStage运行日志一般是存在UV DB（一种数据库）中，不是文本文件，这些文件存在DataStage server机器上的project目录中。你只能在Direct客户端里可以查看这些日志。
如果你正在使用DataStage 80以后的版本，可以在Administrator客户端设置存储作业运行日志到元数据存储库，然后在Web Console中查看作业运行日志并且下载。但设置这种方式可能会对数据库和应用服务器带来额外压力，从而可能带来性能问题，一般都不推荐。

分布式计算，非结构化数据库，分类、聚类等算法。

大数据包括结构化、半结构化和非结构化数据，非结构化数据越来越成为数据的主要部分。据IDC的调查报告显示：企业中80%的数据都是非结构化数据，这些数据每年都按指数增长60%。

扩展资料：

大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。

大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

参考资料来源：百度百科-大数据

ETL是数据仓库中的非常重要的一环，是承前启后的必要的一步。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
下面给大家介绍一下什么是ETL以及ETL常用的三种工具——Datastage，Informatica，Kettle。
一、什么是ETL？
ETL，Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。
数据仓库结构
通俗的说法就是从数据源抽取数据出来，进行清洗加工转换，然后加载到定义好的数据仓库模型中去。目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。
ETL是BI项目重要的一个环节，其设计的好坏影响生成数据的质量，直接关系到BI项目的成败。
二、为什么要用ETL工具？
在数据处理的时候，我们有时会遇到这些问题：
▶ 当数据来自不同的物理主机，这时候如使用SQL语句去处理的话，就显得比较吃力且开销也更大。
▶ 数据来源可以是各种不同的数据库或者文件，这时候需要先把他们整理成统一的格式后才可以进行数据的处理，这一过程用代码实现显然有些麻烦。
▶ 在数据库中我们当然可以使用存储过程去处理数据，但是处理海量数据的时候存储过程显然比较吃力，而且会占用较多数据库的资源，这可能会导致数据资源不足，进而影响数据库的性能。
而上述遇到的问题，我们用ETL工具就可以解决。ETL工具具有以下几点优势：
1、支持多种异构数据源的连接。（部分）
2、图形化的界面 *** 作十分方便。
3、处理海量数据速度快、流程更清晰等。
三、ETL工具介绍
1、Datastage
IBM公司的商业软件，最专业的ETL工具，但同时价格不菲，适合大规模的ETL应用。
使用难度：★★★★
2、Informatica
商业软件，相当专业的ETL工具。价格上比Datastage便宜一点，也适合大规模的ETL应用。
使用难度：★★
3、Kettle
免费，最著名的开源产品，是用纯java编写的ETL工具，只需要JVM环境即可部署，可跨平台，扩展性好。
使用难度：★★
四、三种ETL工具的对比
Datastage、Informatica、Kettle三个ETL工具的特点和差异介绍：
1、 *** 作
这三种ETL工具都是属于比较简单易用的，主要看开发人员对于工具的熟练程度。
Informatica有四个开发管理组件，开发的时候我们需要打开其中三个进行开发，Informatica没有ctrl+z的功能，如果对job作了改变之后，想要撤销，返回到改变前是不可能的。相比Kettle跟Datastage在测试调试的时候不太方便。Datastage全部的 *** 作在同一个界面中，不用切换界面，能够看到数据的来源，整个job的情况，在找bug的时候会比Informatica方便。
Kettle介于两者之间。
2、部署
Kettle只需要JVM环境，Informatica需要服务器和客户端安装，而Datastage的部署比较耗费时间，有一点难度。
3、数据处理的速度
大数据量下Informatica与Datastage的处理速度是比较快的，比较稳定。Kettle的处理速度相比之下稍慢。
4、服务
Informatica与Datastage有很好的商业化的技术支持，而Kettle则没有。商业软件的售后服务上会比免费的开源软件好很多。
5、风险
风险与成本成反比，也与技术能力成正比。
6、扩展
Kettle的扩展性无疑是最好，因为是开源代码，可以自己开发拓展它的功能，而Informatica和Datastage由于是商业软件，基本上没有。
7、Job的监控
三者都有监控和日志工具。
在数据的监控上，个人觉得Datastage的实时监控做的更加好，可以直观看到数据抽取的情况，运行到哪一个控件上。这对于调优来说，我们可以更快的定位到处理速度太慢的控件并进行处理，而informatica也有相应的功能，但是并不直观，需要通过两个界面的对比才可以定位到处理速度缓慢的控件。有时候还需要通过一些方法去查找。
8、网上的技术文档
Datastage < Informatica < kettle,相对来说，Datastage跟Informatica在遇到问题去网上找到解决方法的概率比较低，kettle则比较多。
五、项目经验分享
在项目中，很多时候我们都需要同步生产库的表到数据仓库中。一百多张表同步、重复的 *** 作，对开发人员来说是细心和耐心的考验。在这种情况下，开发人员最喜欢的工具无疑是kettle，多个表的同步都可以用同一个程序运行，不必每一张表的同步都建一个程序，而informatica虽然有提供工具去批量设计，但还是需要生成多个程序进行一一配置，而datastage在这方面就显得比较笨拙。
在做增量表的时候，每次运行后都需要把将最新的一条数据 *** 作时间存到数据库中，下次运行我们就取大于这个时间的数据。Kettle有控件可以直接读取数据库中的这个时间置为变量；对于没有类似功能控件的informatica，我们的做法是先读取的数据库中的这个时间存到文件，然后主程序运行的时候指定这个文件为参数文件，也可以得到同样的效果

1 数据质量分析的概念数据质量分析主要是由域分析和过滤器分析两部分组成。以下将分别给以详细的说明。11 域分析数据质量分析中的域分析就是用来按列分析数据库表，来得出数据的概况信息。其中，域分析主要包括如下内容：一是数据类别分析，所谓的数据类别分析就是用来判断相关数据是否属于标识量、开关量、枚举量、时间、数量、文本等；二是针对数值类型数据的统计分析，主要有频率分析、方差分析以及百分比分析等；三是针对字符类型数据格式的分析，主要是进行模式匹配。数据质量分析中的域分析可以很好的帮助用对数据环境进行充分的了解，以便对数据流进行有效的质量评估和管理。
12 过滤器分析
数据质量分析中的过滤器由若干基本规则的逻辑所组成，目前数据质量分析中的过滤器定义的主要规则包括：一是包含规则（CONTAINS）；二是等于规则（EQUALS）；三是存在规则（EXISTS）。除此之外，过滤器定义的规则还有范围规则、正则表达式规则、频率规则、类型规则以及唯一规则等。通过这些基本规则的组合可以生成复杂的业务规则，进而通过这些复杂的业务规则来对数据进行评价，常见的评价结果包括：符合规则的记录数、规则明细、总记录数以及正确率等。
2 认识ETL
21 ETL概述
1）ETL的概念。ETL是英文Extraction-Transformation-Loading三个首字母的缩写，中文即为数据的提取、转换和加载。ETL在做数据仓库系统时发挥着至关重要的作用。相对于传统数据库技术，ETL并不是面向数学理论基础的，它主要是面向实际工程的应用。从工程应用的角度来看，ETL就是将要加载处理的数据按照一定的物理数据模型的要求来进行相应的处理 *** 作的，ETL的数据处理过程与工程人员的数据处理经验直接相关，由于ETL处理数据部分的工作在很大程度上决定数据仓库中数据的质量，而且对联机分析处理和数据挖掘结果的质量具有一定的决定作用。
2）ETL的数据处理特点。笔者总结认为，ETL的数据处理主要有如下两个方面的特点：① ETL的数据处理是同步的，而且是按照固定周期运行的。② 一般在ETL数据处理过程中所处理的数据量比较大，为了提高数据的处理效率，都会将数据流动的过程拆分成E、T和L即数据的提取、转换和加载三个过程来进行处理。
22 ETL体系结构及其本质
1）ETL的体系结构。一般而言，主流ETL产品框架的体系结构主要有目标数据库、源数据、抽取服务器、Web服务器以及配置工具等组成部分。ETL从源系统中提取数据，转换数据为一个标准的格式，并加载数据到目标数据存储区。ETL系统一般不会单独作为一个项目来做，大多与数据仓库、决策支持等系统一起作为支持系统完成。
2）ETL的本质。如上所述，ETL的过程实际上就是数据流动的过程，其中，数据的清洗、抽取、转换和装载一般是根据用户的实际需要，可以以串行或并行的方式进行 *** 作。而T过程即数据的转换过程作为ETL的核心，一般都是以数据的抽取和装载过程为输入和输出的，也就是说，ETL的其他数据处理过程是以数据的转换过程为前提的。另外，ETL的数据处理过程一般都是以批量为单位进行 *** 作的，因此，ETL的数据处理多采用的是批量数据处理工具，比如常见的Oracle、SQL Loader
以及DB2的autoloader等都是基于ETL的批量数据处理工具。
23 ETL的主要功能和特点
1）ETL的主要功能。① 数据集成配置。ETL的数据集成配置功能模块能够为用户提供一个图形用户界面，可以让用户能够通过界面的交互 *** 作，比较容易地实现数据集成的流程、规则的定义；同时ETL的数据集成配置功能提供相应的解析功能，进而可以将配置规则进行解析，在完成规则解析的基础上完成对数据的集成处理 *** 作。② 数据集成服务。ETL的数据集成服务可以为用户提供相应的解析功能，也就是说，用户可以根据数据集成服务模块实现对集成规则的解析服务，然后由相关配置设备来读取这些被解析的规则后生成集成任务，最后在后台由相关设备完成数据的集成。
2）ETL的特点。① 易用性。现在有很多成熟的数据处理工具都提供ETL功能，譬如，常用的powermart以及datastage等数据处理工具。从应用角度来看，ETL的数据处理过程非常简洁，这些支持ETL技术的相关数据处理工具的应用，给数据仓库工程带来了很大的方便，进而大大的提高了工程人员的工作效率。② 高效性。ETL在执行任务时，可以有效保证抽取任务的正常进行。而且基于ETL的工具为用户提供了图形化界面，用户使用这些数据处理工具能够非常快速地构建一个job来处理某个数据，进而可以提高开发效率。③ 可靠性。ETL在进行数据的抽取时，可以保证源数据到目标数据的抽取精度达999%，能确保数据抽取 *** 作的可靠稳定运行。与此同时，ETL还可以对那些因特殊情况无法进行抽取的，或数据抽取中途停止而无法完成抽取 *** 作的信息进行详细的记录，确保以后数据抽取 *** 作的顺利进行。
3 基于数据质量分析ETL框架的设计与实现
31 配置工具的设计与实现
配置工具的开发工具一般选择支持C++的集成开发环境。可以根据以下流程进行主要的设计工作：① 数据集成。用户可以根据相关配置工具所提供的图形用户界面（GUI）进行元数据源、目的数据源和抽取规则的录入 *** 作等。并可以实现对这些录入数据信息的定义和数据集成结果的测试。② 资源共享。基于数据质量分析ETL框架克服了传统的抽取-转换-装载（ETL）架构在数据质量控制方面的缺陷，有效解决异地抽取的问题，并且可以对某些表的结构进行共享。
32 抽取服务的设计与实现
1）系统参数定义。系统参数一般都是在系统配置参数表中进行定义，其中，系统参数的定义主要包括参数名、参数值及参数说明等。基于数据质量分析ETL框架的系统参数定义如下表所示。

---