source: proiecte/HadoopJUnit/hadoop-0.20.1/docs/cn/hod_config_guide.html @ 120

Last change on this file since 120 was 120, checked in by (none), 14 years ago

Added the mail files for the Hadoop JUNit Project
  • Property svn:executable set to *
File size: 17.9 KB
Line 
1<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
2<html>
3<head>
4<META http-equiv="Content-Type" content="text/html; charset=UTF-8">
5<meta content="Apache Forrest" name="Generator">
6<meta name="Forrest-version" content="0.8">
7<meta name="Forrest-skin-name" content="pelt">
8<title> 
9      Hadoop On Demand配眮指南
10    </title>
11<link type="text/css" href="skin/basic.css" rel="stylesheet">
12<link media="screen" type="text/css" href="skin/screen.css" rel="stylesheet">
13<link media="print" type="text/css" href="skin/print.css" rel="stylesheet">
14<link type="text/css" href="skin/profile.css" rel="stylesheet">
15<script src="skin/getBlank.js" language="javascript" type="text/javascript"></script><script src="skin/getMenu.js" language="javascript" type="text/javascript"></script><script src="skin/fontsize.js" language="javascript" type="text/javascript"></script>
16<link rel="shortcut icon" href="images/favicon.ico">
17</head>
18<body onload="init()">
19<script type="text/javascript">ndeSetTextSize();</script>
20<div id="top">
21<!--+
22    |breadtrail
23    +-->
24<div class="breadtrail">
25<a href="http://www.apache.org/">Apache</a> &gt; <a href="http://hadoop.apache.org/">Hadoop</a> &gt; <a href="http://hadoop.apache.org/core/">Core</a><script src="skin/breadcrumbs.js" language="JavaScript" type="text/javascript"></script>
26</div>
27<!--+
28    |header
29    +-->
30<div class="header">
31<!--+
32    |start group logo
33    +-->
34<div class="grouplogo">
35<a href="http://hadoop.apache.org/"><img class="logoImage" alt="Hadoop" src="images/hadoop-logo.jpg" title="Apache Hadoop"></a>
36</div>
37<!--+
38    |end group logo
39    +-->
40<!--+
41    |start Project Logo
42    +-->
43<div class="projectlogo">
44<a href="http://hadoop.apache.org/core/"><img class="logoImage" alt="Hadoop" src="images/core-logo.gif" title="Scalable Computing Platform"></a>
45</div>
46<!--+
47    |end Project Logo
48    +-->
49<!--+
50    |start Search
51    +-->
52<div class="searchbox">
53<form action="http://www.google.com/search" method="get" class="roundtopsmall">
54<input value="hadoop.apache.org" name="sitesearch" type="hidden"><input onFocus="getBlank (this, 'Search the site with google');" size="25" name="q" id="query" type="text" value="Search the site with google">&nbsp; 
55                    <input name="Search" value="Search" type="submit">
56</form>
57</div>
58<!--+
59    |end search
60    +-->
61<!--+
62    |start Tabs
63    +-->
64<ul id="tabs">
65<li>
66<a class="unselected" href="http://hadoop.apache.org/core/">项目</a>
67</li>
68<li>
69<a class="unselected" href="http://wiki.apache.org/hadoop">绎基</a>
70</li>
71<li class="current">
72<a class="selected" href="index.html">Hadoop 0.18文档</a>
73</li>
74</ul>
75<!--+
76    |end Tabs
77    +-->
78</div>
79</div>
80<div id="main">
81<div id="publishedStrip">
82<!--+
83    |start Subtabs
84    +-->
85<div id="level2tabs"></div>
86<!--+
87    |end Endtabs
88    +-->
89<script type="text/javascript"><!--
90document.write("Last Published: " + document.lastModified);
91//  --></script>
92</div>
93<!--+
94    |breadtrail
95    +-->
96<div class="breadtrail">
97
98             &nbsp;
99           </div>
100<!--+
101    |start Menu, mainarea
102    +-->
103<!--+
104    |start Menu
105    +-->
106<div id="menu">
107<div onclick="SwitchMenu('menu_1.1', 'skin/')" id="menu_1.1Title" class="menutitle">文档</div>
108<div id="menu_1.1" class="menuitemgroup">
109<div class="menuitem">
110<a href="index.html">抂述</a>
111</div>
112<div class="menuitem">
113<a href="quickstart.html">快速入闚</a>
114</div>
115<div class="menuitem">
116<a href="cluster_setup.html">集矀搭建</a>
117</div>
118<div class="menuitem">
119<a href="hdfs_design.html">HDFS构架讟计</a>
120</div>
121<div class="menuitem">
122<a href="hdfs_user_guide.html">HDFS䜿甚指南</a>
123</div>
124<div class="menuitem">
125<a href="hdfs_permissions_guide.html">HDFS权限指南</a>
126</div>
127<div class="menuitem">
128<a href="hdfs_quota_admin_guide.html">HDFS配额管理指南</a>
129</div>
130<div class="menuitem">
131<a href="commands_manual.html">呜什手册</a>
132</div>
133<div class="menuitem">
134<a href="hdfs_shell.html">FS Shell䜿甚指南</a>
135</div>
136<div class="menuitem">
137<a href="distcp.html">DistCp䜿甚指南</a>
138</div>
139<div class="menuitem">
140<a href="mapred_tutorial.html">Map-Reduce教皋</a>
141</div>
142<div class="menuitem">
143<a href="native_libraries.html">Hadoop本地库</a>
144</div>
145<div class="menuitem">
146<a href="streaming.html">Streaming</a>
147</div>
148<div class="menuitem">
149<a href="hadoop_archives.html">Hadoop Archives</a>
150</div>
151<div class="menuitem">
152<a href="hod.html">Hadoop On Demand</a>
153</div>
154<div class="menuitem">
155<a href="http://hadoop.apache.org/core/docs/r0.18.2/api/index.html">API参考</a>
156</div>
157<div class="menuitem">
158<a href="http://hadoop.apache.org/core/docs/r0.18.2/jdiff/changes.html">API Changes</a>
159</div>
160<div class="menuitem">
161<a href="http://wiki.apache.org/hadoop/">绎基</a>
162</div>
163<div class="menuitem">
164<a href="http://wiki.apache.org/hadoop/FAQ">垞见问题</a>
165</div>
166<div class="menuitem">
167<a href="http://hadoop.apache.org/core/mailing_lists.html">邮件列衚</a>
168</div>
169<div class="menuitem">
170<a href="http://hadoop.apache.org/core/docs/r0.18.2/releasenotes.html">发行诎明</a>
171</div>
172<div class="menuitem">
173<a href="http://hadoop.apache.org/core/docs/r0.18.2/changes.html">变曎日志</a>
174</div>
175</div>
176<div id="credit"></div>
177<div id="roundbottom">
178<img style="display: none" class="corner" height="15" width="15" alt="" src="skin/images/rc-b-l-15-1body-2menu-3menu.png"></div>
179<!--+
180  |alternative credits
181  +-->
182<div id="credit2"></div>
183</div>
184<!--+
185    |end Menu
186    +-->
187<!--+
188    |start content
189    +-->
190<div id="content">
191<div title="Portable Document Format" class="pdflink">
192<a class="dida" href="hod_config_guide.pdf"><img alt="PDF -icon" src="skin/images/pdfdoc.gif" class="skin"><br>
193        PDF</a>
194</div>
195<h1> 
196      Hadoop On Demand配眮指南
197    </h1>
198<div id="minitoc-area">
199<ul class="minitoc">
200<li>
201<a href="#1.+%E7%AE%80%E4%BB%8B">1. 简介</a>
202</li>
203<li>
204<a href="#2.+%E6%AE%B5">2. 段</a>
205</li>
206<li>
207<a href="#3.+HOD%E9%85%8D%E7%BD%AE%E9%A1%B9">3. HOD配眮项</a>
208<ul class="minitoc">
209<li>
210<a href="#3.1+%E4%B8%80%E8%88%AC%E7%9A%84%E9%85%8D%E7%BD%AE%E9%A1%B9">3.1 䞀般的配眮项</a>
211</li>
212<li>
213<a href="#3.2+hod%E7%9A%84%E9%85%8D%E7%BD%AE%E9%A1%B9">3.2 hod的配眮项</a>
214</li>
215<li>
216<a href="#3.3+resouce_manager%E7%9A%84%E9%85%8D%E7%BD%AE%E9%A1%B9">3.3 resouce_manager的配眮项</a>
217</li>
218<li>
219<a href="#3.4+ringmaster%E7%9A%84%E9%85%8D%E7%BD%AE%E9%A1%B9">3.4 ringmaster的配眮项</a>
220</li>
221<li>
222<a href="#3.5+gridservice-hdfs%E7%9A%84%E9%85%8D%E7%BD%AE%E9%A1%B9">3.5 gridservice-hdfs的配眮项</a>
223</li>
224<li>
225<a href="#3.6+gridservice-mapred%E7%9A%84%E9%85%8D%E7%BD%AE%E9%A1%B9">3.6 gridservice-mapred的配眮项</a>
226</li>
227<li>
228<a href="#3.7+hodring%E7%9A%84%E9%85%8D%E7%BD%AE%E9%A1%B9">3.7 hodring的配眮项</a>
229</li>
230</ul>
231</li>
232</ul>
233</div>
234   
235<a name="N1000C"></a><a name="1.+%E7%AE%80%E4%BB%8B"></a>
236<h2 class="h3">1. 简介</h2>
237<div class="section">
238<p>
239      这䞪文档讲述了䞀些最重芁和垞甚的Hadoop On DemandHOD的配眮项。
240      这些配眮项可通过䞀种方匏指定INI风栌的配眮文件通过--section.option[=value]栌匏指定的HOD shell的呜什行选项。劂果䞀䞪地方郜指定了同䞀䞪选项呜什行䞭的倌芆盖配眮文件䞭的倌。
241        </p>
242<p>
243        䜠可以通过以䞋呜什获埗所有配眮项的简芁描述
244      </p>
245<table class="ForrestTable" cellspacing="1" cellpadding="4">
246<tr>
247<td colspan="1" rowspan="1"><span class="codefrag">$ hod --verbose-help</span></td>
248</tr>
249</table>
250</div>
251   
252<a name="N10021"></a><a name="2.+%E6%AE%B5"></a>
253<h2 class="h3">2. 段</h2>
254<div class="section">
255<p>HOD配眮文件分成以䞋几䞪配眮段</p>
256<ul>
257       
258<li>  hod                 HOD客户端的配眮项</li>
259       
260<li>  resource_manager    指定芁䜿甚的资源管理噚的配眮项以及䜿甚该资源管理噚时需芁的䞀些其他参数。</li>
261       
262<li>  ringmaster          RingMaster进皋的配眮项</li>
263       
264<li>  hodring             HodRing进皋的配眮项</li>
265       
266<li>  gridservice-mapred  Map/Reduce守技进皋的配眮项</li>
267       
268<li>  gridservice-hdfs    HDFS守技进皋的配眮项</li>
269     
270</ul>
271</div>
272     
273<a name="N10040"></a><a name="3.+HOD%E9%85%8D%E7%BD%AE%E9%A1%B9"></a>
274<h2 class="h3">3. HOD配眮项</h2>
275<div class="section">
276<p>
277      接䞋来的䞀节䌚先描述倧郚分HOD配眮段䞭通甚的䞀些配眮项再描述各配眮段特有的配眮项。
278      </p>
279<a name="N10049"></a><a name="3.1+%E4%B8%80%E8%88%AC%E7%9A%84%E9%85%8D%E7%BD%AE%E9%A1%B9"></a>
280<h3 class="h4">3.1 䞀般的配眮项</h3>
281<p>某些配眮项䌚圚HOD配眮䞭的倚䞪段定义。圚䞀䞪段䞭定义的配眮项䌚被该段所适甚的所有进皋䜿甚。这些配眮项意义盞同䜆圚䞍同的段䞭可以有䞍同的取倌。</p>
282<ul>
283         
284<li>temp-dir: HOD进皋䜿甚的䞎时目圕。请确保运行hod的甚户有权限圚这䞪指定的目圕䞋创建子目圕。劂果想圚每次分配的时候郜䜿甚䞍同的䞎时目圕可以䜿甚环境变量资源管理噚䌚让这些环境变量对HOD进皋可甚。䟋劂圚Torque讟眮的时候䜿--ringmaster.temp-dir=/tmp/hod- temp-dir.$PBS_JOBID䌚让ringmaster圚每䞀次申请时䜿甚䞍同的䞎时目圕Troque䌚圚ringmaster启劚前展匀这䞪环境变量。
285          </li>
286         
287<li>debug数倌类型取倌范囎是1-4。4䌚产生最倚的log信息。</li>
288         
289<li>log-dir日志文件的存攟目圕。猺省倌是&lt;install-location&gt;/logs/。temp-dir变量的限制和泚意事项圚这里同样䜿甚。
290          </li>
291         
292<li>xrs-port-range端口范囎䌚圚这之䞭挑选䞀䞪可甚端口甚于运行XML-RPC服务。</li>
293         
294<li>http-port-range端口范囎䌚圚这之䞭挑选䞀䞪可甚端口甚于运行HTTP服务。</li>
295         
296<li>java-home给Hadoop䜿甚的Java的䜍眮。</li>
297         
298<li>syslog-addresssyslog守技进皋芁绑定的地址。栌匏䞺host:port。劂果配眮了这䞪选项HOD日志信息䌚被记圕到这䞪䜍眮的syslog。</li>
299       
300</ul>
301<a name="N1006B"></a><a name="3.2+hod%E7%9A%84%E9%85%8D%E7%BD%AE%E9%A1%B9"></a>
302<h3 class="h4">3.2 hod的配眮项</h3>
303<ul>
304         
305<li>cluster集矀的描述性名称。对于Torque这䞪倌被指定䞺集矀䞭所有节点的'Node property'。HOD䜿甚这䞪倌计算可甚节点的䞪数。</li>
306         
307<li>client-params逗号分割的hadoop配眮参数列衚其䞭的每䞀项郜是䞀䞪key-value对。圚提亀节点䞊䌚据歀产生䞀䞪hadoop-site.xml甚于运行Map/Reduce䜜䞚。</li>
308         
309         
310<li>job-feasibility-attr: 正则衚蟟匏甚于指定是吊和劂䜕检查䜜䞚的可行性  资源管理噚限制或调床限制。目前是通过torque䜜䞚的'comment'属性实现的猺省情况䞋没有匀启这䞪功胜。讟眮了这䞪配眮项后HOD䌚䜿甚它来确定哪些种类的限制是启甚的以及请求超出限制或者环积超出限制时是回收机矀还是留圚排队状态。torque comment属性可以被某䞪倖郚机制呚期性地曎新。比劂comment属性被hod/support目圕䞋的<a href="hod_admin_guide.html#checklimits.sh+-+%E8%B5%84%E6%BA%90%E9%99%90%E5%88%B6%E7%9B%91%E8%A7%86%E5%99%A8">checklimits.sh</a>曎新这样讟眮job-feasibility-attr的倌等于TORQUE_USER_LIMITS_COMMENT_FIELD, "User-limits exceeded. Requested:([0-9]*) Used:([0-9]*) MaxLimit:([0-9]*)"䌚䜿HOD产生盞应的行䞺。</li>
311         
312</ul>
313<a name="N10082"></a><a name="3.3+resouce_manager%E7%9A%84%E9%85%8D%E7%BD%AE%E9%A1%B9"></a>
314<h3 class="h4">3.3 resouce_manager的配眮项</h3>
315<ul>
316         
317<li>queue资源管理噚䞭配眮的队列名䜜䞚䌚被提亀到这里。</li>
318         
319         
320<li>batch-home䞪安装目圕其䞋的'bin'䞭有资源管理噚的可执行文件。</li> 
321         
322<li>env-vars逗号分隔的key-value对的列衚圢匏是key=value它䌚被䌠递给运行圚计算节点的䜜䞚。䟋劂劂果ptyhon没有安装圚垞规䜍眮甚户可以通过讟眮环境变量'HOD_PYTHON_HOME'指定python可执行文件的路埄。之后圚计算节点运行的HOD的进皋就可以䜿甚这䞪变量了。</li>
323       
324</ul>
325<a name="N10095"></a><a name="3.4+ringmaster%E7%9A%84%E9%85%8D%E7%BD%AE%E9%A1%B9"></a>
326<h3 class="h4">3.4 ringmaster的配眮项</h3>
327<ul>
328         
329<li>work-dirs这是䞀䞪由逗号分隔的路埄列衚这些路埄将䜜䞺HOD产生和䌠递给Hadoop甚于存攟DFS和Map/Reduce数据的目圕的根目圕。䟋劂这是DFS数据块存攟的路埄。䞀般情况䞋有倚少块磁盘就指定倚少路埄以确保所有的磁盘郜被利甚到。temp-dir变量的限制和泚意事项圚这儿同样适甚。</li>
330         
331<li>max-master-failureshadoop䞻守技进启劚前可以倱莥的次数超出这䞪次数后HOD䌚让这次集矀分配倱莥。圚HOD集矀䞭有时候由于某些问题比劂机噚没安装java没有安装Hadoop或者Hadoop版本错误等䌚存圚䞀䞪或几䞪&ldquo;坏&rdquo;节点。圓这䞪配眮项被讟䞺正敎数时只有圓hadoop matserJobTracker或者NameNode圚䞊述的坏节点䞊由于䞊面提到的种种原因启劚倱莥的次数超过讟定的倌时RingMaster才䌚把错误返回给客户端。劂果尝试启劚的次数没有超过讟定倌圓䞋䞀䞪HodRing请求运行䞀䞪呜什时同䞀䞪hadoop master䌚指定给这䞪HodRing。这样即䜿集矀䞭存圚䞀些坏的节点HOD也䌚尜党力䜿这次分配成功。
332                       </li>
333 
334       
335</ul>
336<a name="N100A5"></a><a name="3.5+gridservice-hdfs%E7%9A%84%E9%85%8D%E7%BD%AE%E9%A1%B9"></a>
337<h3 class="h4">3.5 gridservice-hdfs的配眮项</h3>
338<ul>
339         
340<li>external劂果被眮䞺falseHOD必须圚通过allocate呜什分配的节点䞊自己创建HDFS集矀。泚意圚这种情况䞋劂果集矀被回收HDFS集矀䌚停止所有数据䌚䞢倱。劂果被眮䞺true它䌚尝试铟接倖郚的已配眮的HDFS系统。通垞因䞺圚䜜䞚运行之前䜜䞚的蟓入需芁被攟眮圚HDFS䞊并䞔䜜䞚的蟓出需芁持久保留圚生产环境䞭䞀䞪内郚的HDFS集矀意义䞍倧。</li>
341         
342         
343<li>host倖郚配眮奜的NameNode的䞻机名。</li>
344         
345         
346<li>fs_portNameNode RPC服务绑定的端口。</li>
347         
348         
349<li>info_portNameNode web UI服务绑定的端口。</li>
350         
351         
352<li>pkgs安装目圕其䞋有bin/hadoop可执行文件。可甚来䜿甚集矀䞊预先安装的Hadoop版本。</li>
353         
354         
355<li>server-params䞀䞪逗号分割的hadoop配眮参数列衚每䞀项䞺key-value对圢匏。这些将甚于产生被NameNode和DataNode䜿甚到的hadoop-site.xml文件。</li>
356         
357         
358<li>final-server-params陀䌚被标记䞺final倖和䞊面盞同。</li>
359       
360</ul>
361<a name="N100C4"></a><a name="3.6+gridservice-mapred%E7%9A%84%E9%85%8D%E7%BD%AE%E9%A1%B9"></a>
362<h3 class="h4">3.6 gridservice-mapred的配眮项</h3>
363<ul>
364         
365<li>external劂果被眮䞺falseHOD必须圚通过allocate呜什分配的节点䞊自己创建Map/Reduce集矀。劂果被眮䞺true它䌚尝试铟接倖郚的已配眮的Map/Reduce系统。</li>
366         
367<li>host倖郚配眮奜的JobTracker的䞻机名。</li>
368         
369         
370<li>tracker_portJobTracker RPC服务绑定的端口。</li>
371         
372         
373<li>info_portJobTracker web UI服务绑定的端口。</li>
374         
375         
376<li>pkgs安装目圕其䞋有bin/hadoop可执行文件。</li>
377         
378         
379<li>server-params䞀䞪逗号分割的hadoop配眮参数列衚每䞀项䞺key-value对圢匏。这些将甚于产生被JobTracker和TaskTracker䜿甚到的hadoop-site.xml文件。</li>
380         
381<li>final-server-params陀䌚被标记䞺final倖和䞊面盞同。</li>
382       
383</ul>
384<a name="N100E3"></a><a name="3.7+hodring%E7%9A%84%E9%85%8D%E7%BD%AE%E9%A1%B9"></a>
385<h3 class="h4">3.7 hodring的配眮项</h3>
386<ul>
387         
388<li>mapred-system-dir-rootDFS䞊的目圕HOD䌚圚这䞪目圕䞋创建子目圕并把党路埄䜜䞺参数'mapred.system.dir'的倌䌠递给Hadoop守技进皋。党路埄的栌匏䞺value-of-this-option/userid/mapredsystem/cluster-id。泚意劂果HDFS启甚了权限这里指定的路埄䞋应允讞所有甚户创建子目圕。讟眮歀配眮项的倌䞺/user䌚䜿HOD䜿甚甚户的home目圕来产生mapred.system.dir的倌。</li>
389         
390<li>log-destination-uri䞀䞪URL胜反映䞀䞪倖郚的静态的DFS或者集矀节点䞊的本地文件系统䞊的路埄。圓集矀被回收时HOD䌚把Hadoop日志䞊䌠到这䞪路埄。芁指定DFS路埄䜿甚'hdfs://path'栌匏。芁指定䞀䞪集矀节点䞊的本地文件系统路埄䜿甚'file://path'栌匏。圓HOD回收集矀时䜜䞺HOD的枅陀过皋的䞀郚分hadoop日志䌚被删陀。芁做到持久傚这些日志䜠可以䜿甚这䞪配眮项。路埄的栌匏䌚是values-of-this-option/userid/hod-logs/cluster-id。泚意应该保证所有的甚户胜圚这里指定的目圕䞋创建子目圕。把这䞪倌讟䞺hdfs://user䌚䜿这些日志被蜬移到甚户圚DFS侊的home目圕䞋。</li>
391         
392<li>pkgs安装目圕其䞋有bin/hadoop可执行文件。劂果给log-destination-uri指定了䞀䞪HDFS URLHOD䞊䌠日志时䌚甚到这䞪配眮项。泚意圓甚户䜿甚了和倖郚静态HDFS䞍同版本的tarball时这䞪配眮项䌚掟䞊甚场。</li>
393                                     
394       
395</ul>
396</div>
397 
398</div>
399<!--+
400    |end content
401    +-->
402<div class="clearboth">&nbsp;</div>
403</div>
404<div id="footer">
405<!--+
406    |start bottomstrip
407    +-->
408<div class="lastmodified">
409<script type="text/javascript"><!--
410document.write("Last Published: " + document.lastModified);
411//  --></script>
412</div>
413<div class="copyright">
414        Copyright &copy;
415         2007 <a href="http://www.apache.org/licenses/">The Apache Software Foundation.</a>
416</div>
417<!--+
418    |end bottomstrip
419    +-->
420</div>
421</body>
422</html>
Note: See TracBrowser for help on using the repository browser.