1 | <!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"> |
---|
2 | <html> |
---|
3 | <head> |
---|
4 | <META http-equiv="Content-Type" content="text/html; charset=UTF-8"> |
---|
5 | <meta content="Apache Forrest" name="Generator"> |
---|
6 | <meta name="Forrest-version" content="0.8"> |
---|
7 | <meta name="Forrest-skin-name" content="pelt"> |
---|
8 | <title> |
---|
9 | Hadoop On DemandïŒé
眮æå |
---|
10 | </title> |
---|
11 | <link type="text/css" href="skin/basic.css" rel="stylesheet"> |
---|
12 | <link media="screen" type="text/css" href="skin/screen.css" rel="stylesheet"> |
---|
13 | <link media="print" type="text/css" href="skin/print.css" rel="stylesheet"> |
---|
14 | <link type="text/css" href="skin/profile.css" rel="stylesheet"> |
---|
15 | <script src="skin/getBlank.js" language="javascript" type="text/javascript"></script><script src="skin/getMenu.js" language="javascript" type="text/javascript"></script><script src="skin/fontsize.js" language="javascript" type="text/javascript"></script> |
---|
16 | <link rel="shortcut icon" href="images/favicon.ico"> |
---|
17 | </head> |
---|
18 | <body onload="init()"> |
---|
19 | <script type="text/javascript">ndeSetTextSize();</script> |
---|
20 | <div id="top"> |
---|
21 | <!--+ |
---|
22 | |breadtrail |
---|
23 | +--> |
---|
24 | <div class="breadtrail"> |
---|
25 | <a href="http://www.apache.org/">Apache</a> > <a href="http://hadoop.apache.org/">Hadoop</a> > <a href="http://hadoop.apache.org/core/">Core</a><script src="skin/breadcrumbs.js" language="JavaScript" type="text/javascript"></script> |
---|
26 | </div> |
---|
27 | <!--+ |
---|
28 | |header |
---|
29 | +--> |
---|
30 | <div class="header"> |
---|
31 | <!--+ |
---|
32 | |start group logo |
---|
33 | +--> |
---|
34 | <div class="grouplogo"> |
---|
35 | <a href="http://hadoop.apache.org/"><img class="logoImage" alt="Hadoop" src="images/hadoop-logo.jpg" title="Apache Hadoop"></a> |
---|
36 | </div> |
---|
37 | <!--+ |
---|
38 | |end group logo |
---|
39 | +--> |
---|
40 | <!--+ |
---|
41 | |start Project Logo |
---|
42 | +--> |
---|
43 | <div class="projectlogo"> |
---|
44 | <a href="http://hadoop.apache.org/core/"><img class="logoImage" alt="Hadoop" src="images/core-logo.gif" title="Scalable Computing Platform"></a> |
---|
45 | </div> |
---|
46 | <!--+ |
---|
47 | |end Project Logo |
---|
48 | +--> |
---|
49 | <!--+ |
---|
50 | |start Search |
---|
51 | +--> |
---|
52 | <div class="searchbox"> |
---|
53 | <form action="http://www.google.com/search" method="get" class="roundtopsmall"> |
---|
54 | <input value="hadoop.apache.org" name="sitesearch" type="hidden"><input onFocus="getBlank (this, 'Search the site with google');" size="25" name="q" id="query" type="text" value="Search the site with google"> |
---|
55 | <input name="Search" value="Search" type="submit"> |
---|
56 | </form> |
---|
57 | </div> |
---|
58 | <!--+ |
---|
59 | |end search |
---|
60 | +--> |
---|
61 | <!--+ |
---|
62 | |start Tabs |
---|
63 | +--> |
---|
64 | <ul id="tabs"> |
---|
65 | <li> |
---|
66 | <a class="unselected" href="http://hadoop.apache.org/core/">项ç®</a> |
---|
67 | </li> |
---|
68 | <li> |
---|
69 | <a class="unselected" href="http://wiki.apache.org/hadoop">绎åº</a> |
---|
70 | </li> |
---|
71 | <li class="current"> |
---|
72 | <a class="selected" href="index.html">Hadoop 0.18ææ¡£</a> |
---|
73 | </li> |
---|
74 | </ul> |
---|
75 | <!--+ |
---|
76 | |end Tabs |
---|
77 | +--> |
---|
78 | </div> |
---|
79 | </div> |
---|
80 | <div id="main"> |
---|
81 | <div id="publishedStrip"> |
---|
82 | <!--+ |
---|
83 | |start Subtabs |
---|
84 | +--> |
---|
85 | <div id="level2tabs"></div> |
---|
86 | <!--+ |
---|
87 | |end Endtabs |
---|
88 | +--> |
---|
89 | <script type="text/javascript"><!-- |
---|
90 | document.write("Last Published: " + document.lastModified); |
---|
91 | // --></script> |
---|
92 | </div> |
---|
93 | <!--+ |
---|
94 | |breadtrail |
---|
95 | +--> |
---|
96 | <div class="breadtrail"> |
---|
97 | |
---|
98 | |
---|
99 | </div> |
---|
100 | <!--+ |
---|
101 | |start Menu, mainarea |
---|
102 | +--> |
---|
103 | <!--+ |
---|
104 | |start Menu |
---|
105 | +--> |
---|
106 | <div id="menu"> |
---|
107 | <div onclick="SwitchMenu('menu_1.1', 'skin/')" id="menu_1.1Title" class="menutitle">ææ¡£</div> |
---|
108 | <div id="menu_1.1" class="menuitemgroup"> |
---|
109 | <div class="menuitem"> |
---|
110 | <a href="index.html">æŠè¿°</a> |
---|
111 | </div> |
---|
112 | <div class="menuitem"> |
---|
113 | <a href="quickstart.html">å¿«éå
¥éš</a> |
---|
114 | </div> |
---|
115 | <div class="menuitem"> |
---|
116 | <a href="cluster_setup.html">é矀æ建</a> |
---|
117 | </div> |
---|
118 | <div class="menuitem"> |
---|
119 | <a href="hdfs_design.html">HDFSææ¶è®Ÿè®¡</a> |
---|
120 | </div> |
---|
121 | <div class="menuitem"> |
---|
122 | <a href="hdfs_user_guide.html">HDFS䜿çšæå</a> |
---|
123 | </div> |
---|
124 | <div class="menuitem"> |
---|
125 | <a href="hdfs_permissions_guide.html">HDFSæéæå</a> |
---|
126 | </div> |
---|
127 | <div class="menuitem"> |
---|
128 | <a href="hdfs_quota_admin_guide.html">HDFSé
é¢ç®¡çæå</a> |
---|
129 | </div> |
---|
130 | <div class="menuitem"> |
---|
131 | <a href="commands_manual.html">åœä»€æå</a> |
---|
132 | </div> |
---|
133 | <div class="menuitem"> |
---|
134 | <a href="hdfs_shell.html">FS Shell䜿çšæå</a> |
---|
135 | </div> |
---|
136 | <div class="menuitem"> |
---|
137 | <a href="distcp.html">DistCp䜿çšæå</a> |
---|
138 | </div> |
---|
139 | <div class="menuitem"> |
---|
140 | <a href="mapred_tutorial.html">Map-Reduceæçš</a> |
---|
141 | </div> |
---|
142 | <div class="menuitem"> |
---|
143 | <a href="native_libraries.html">Hadoopæ¬å°åº</a> |
---|
144 | </div> |
---|
145 | <div class="menuitem"> |
---|
146 | <a href="streaming.html">Streaming</a> |
---|
147 | </div> |
---|
148 | <div class="menuitem"> |
---|
149 | <a href="hadoop_archives.html">Hadoop Archives</a> |
---|
150 | </div> |
---|
151 | <div class="menuitem"> |
---|
152 | <a href="hod.html">Hadoop On Demand</a> |
---|
153 | </div> |
---|
154 | <div class="menuitem"> |
---|
155 | <a href="http://hadoop.apache.org/core/docs/r0.18.2/api/index.html">APIåè</a> |
---|
156 | </div> |
---|
157 | <div class="menuitem"> |
---|
158 | <a href="http://hadoop.apache.org/core/docs/r0.18.2/jdiff/changes.html">API Changes</a> |
---|
159 | </div> |
---|
160 | <div class="menuitem"> |
---|
161 | <a href="http://wiki.apache.org/hadoop/">绎åº</a> |
---|
162 | </div> |
---|
163 | <div class="menuitem"> |
---|
164 | <a href="http://wiki.apache.org/hadoop/FAQ">åžžè§é®é¢</a> |
---|
165 | </div> |
---|
166 | <div class="menuitem"> |
---|
167 | <a href="http://hadoop.apache.org/core/mailing_lists.html">é®ä»¶åè¡š</a> |
---|
168 | </div> |
---|
169 | <div class="menuitem"> |
---|
170 | <a href="http://hadoop.apache.org/core/docs/r0.18.2/releasenotes.html">åè¡è¯Žæ</a> |
---|
171 | </div> |
---|
172 | <div class="menuitem"> |
---|
173 | <a href="http://hadoop.apache.org/core/docs/r0.18.2/changes.html">åæŽæ¥å¿</a> |
---|
174 | </div> |
---|
175 | </div> |
---|
176 | <div id="credit"></div> |
---|
177 | <div id="roundbottom"> |
---|
178 | <img style="display: none" class="corner" height="15" width="15" alt="" src="skin/images/rc-b-l-15-1body-2menu-3menu.png"></div> |
---|
179 | <!--+ |
---|
180 | |alternative credits |
---|
181 | +--> |
---|
182 | <div id="credit2"></div> |
---|
183 | </div> |
---|
184 | <!--+ |
---|
185 | |end Menu |
---|
186 | +--> |
---|
187 | <!--+ |
---|
188 | |start content |
---|
189 | +--> |
---|
190 | <div id="content"> |
---|
191 | <div title="Portable Document Format" class="pdflink"> |
---|
192 | <a class="dida" href="hod_config_guide.pdf"><img alt="PDF -icon" src="skin/images/pdfdoc.gif" class="skin"><br> |
---|
193 | PDF</a> |
---|
194 | </div> |
---|
195 | <h1> |
---|
196 | Hadoop On DemandïŒé
眮æå |
---|
197 | </h1> |
---|
198 | <div id="minitoc-area"> |
---|
199 | <ul class="minitoc"> |
---|
200 | <li> |
---|
201 | <a href="#1.+%E7%AE%80%E4%BB%8B">1. ç®ä»</a> |
---|
202 | </li> |
---|
203 | <li> |
---|
204 | <a href="#2.+%E6%AE%B5">2. 段</a> |
---|
205 | </li> |
---|
206 | <li> |
---|
207 | <a href="#3.+HOD%E9%85%8D%E7%BD%AE%E9%A1%B9">3. HODé
眮项</a> |
---|
208 | <ul class="minitoc"> |
---|
209 | <li> |
---|
210 | <a href="#3.1+%E4%B8%80%E8%88%AC%E7%9A%84%E9%85%8D%E7%BD%AE%E9%A1%B9">3.1 äžè¬çé
眮项</a> |
---|
211 | </li> |
---|
212 | <li> |
---|
213 | <a href="#3.2+hod%E7%9A%84%E9%85%8D%E7%BD%AE%E9%A1%B9">3.2 hodçé
眮项</a> |
---|
214 | </li> |
---|
215 | <li> |
---|
216 | <a href="#3.3+resouce_manager%E7%9A%84%E9%85%8D%E7%BD%AE%E9%A1%B9">3.3 resouce_managerçé
眮项</a> |
---|
217 | </li> |
---|
218 | <li> |
---|
219 | <a href="#3.4+ringmaster%E7%9A%84%E9%85%8D%E7%BD%AE%E9%A1%B9">3.4 ringmasterçé
眮项</a> |
---|
220 | </li> |
---|
221 | <li> |
---|
222 | <a href="#3.5+gridservice-hdfs%E7%9A%84%E9%85%8D%E7%BD%AE%E9%A1%B9">3.5 gridservice-hdfsçé
眮项</a> |
---|
223 | </li> |
---|
224 | <li> |
---|
225 | <a href="#3.6+gridservice-mapred%E7%9A%84%E9%85%8D%E7%BD%AE%E9%A1%B9">3.6 gridservice-mapredçé
眮项</a> |
---|
226 | </li> |
---|
227 | <li> |
---|
228 | <a href="#3.7+hodring%E7%9A%84%E9%85%8D%E7%BD%AE%E9%A1%B9">3.7 hodringçé
眮项</a> |
---|
229 | </li> |
---|
230 | </ul> |
---|
231 | </li> |
---|
232 | </ul> |
---|
233 | </div> |
---|
234 | |
---|
235 | <a name="N1000C"></a><a name="1.+%E7%AE%80%E4%BB%8B"></a> |
---|
236 | <h2 class="h3">1. ç®ä»</h2> |
---|
237 | <div class="section"> |
---|
238 | <p> |
---|
239 | è¿äžªæ档讲述äºäžäºæéèŠååžžçšçHadoop On DemandïŒHODïŒçé
眮项ã |
---|
240 | è¿äºé
眮项å¯éè¿äž€ç§æ¹åŒæå®ïŒINIé£æ Œçé
眮æ件ïŒéè¿--section.option[=value]æ ŒåŒæå®çHOD shellçåœä»€è¡é项ãåŠæ䞀䞪å°æ¹éœæå®äºåäžäžªé项ïŒåœä»€è¡äžçåŒèŠçé
眮æ件äžçåŒã |
---|
241 | </p> |
---|
242 | <p> |
---|
243 | äœ å¯ä»¥éè¿ä»¥äžåœä»€è·åŸææé
眮项çç®èŠæè¿°ïŒ |
---|
244 | </p> |
---|
245 | <table class="ForrestTable" cellspacing="1" cellpadding="4"> |
---|
246 | <tr> |
---|
247 | <td colspan="1" rowspan="1"><span class="codefrag">$ hod --verbose-help</span></td> |
---|
248 | </tr> |
---|
249 | </table> |
---|
250 | </div> |
---|
251 | |
---|
252 | <a name="N10021"></a><a name="2.+%E6%AE%B5"></a> |
---|
253 | <h2 class="h3">2. 段</h2> |
---|
254 | <div class="section"> |
---|
255 | <p>HODé
眮æ件åæ以äžå 䞪é
眮段ïŒ</p> |
---|
256 | <ul> |
---|
257 | |
---|
258 | <li> hodïŒ HOD客æ·ç«¯çé
眮项</li> |
---|
259 | |
---|
260 | <li> resource_managerïŒ æå®èŠäœ¿çšçèµæºç®¡çåšçé
眮项ïŒä»¥å䜿çšè¯¥èµæºç®¡çåšæ¶éèŠçäžäºå
¶ä»åæ°ã</li> |
---|
261 | |
---|
262 | <li> ringmasterïŒ RingMasterè¿çšçé
眮项</li> |
---|
263 | |
---|
264 | <li> hodringïŒ HodRingè¿çšçé
眮项</li> |
---|
265 | |
---|
266 | <li> gridservice-mapredïŒ Map/Reduceå®æ€è¿çšçé
眮项</li> |
---|
267 | |
---|
268 | <li> gridservice-hdfsïŒ HDFSå®æ€è¿çšçé
眮项</li> |
---|
269 | |
---|
270 | </ul> |
---|
271 | </div> |
---|
272 | |
---|
273 | <a name="N10040"></a><a name="3.+HOD%E9%85%8D%E7%BD%AE%E9%A1%B9"></a> |
---|
274 | <h2 class="h3">3. HODé
眮项</h2> |
---|
275 | <div class="section"> |
---|
276 | <p> |
---|
277 | æ¥äžæ¥çäžèäŒå
æ述倧éšåHODé
眮段äžéçšçäžäºé
眮项ïŒåæè¿°åé
眮段ç¹æçé
眮项ã |
---|
278 | </p> |
---|
279 | <a name="N10049"></a><a name="3.1+%E4%B8%80%E8%88%AC%E7%9A%84%E9%85%8D%E7%BD%AE%E9%A1%B9"></a> |
---|
280 | <h3 class="h4">3.1 äžè¬çé
眮项</h3> |
---|
281 | <p>æäºé
眮项äŒåšHODé
眮äžçå€äžªæ®µå®ä¹ãåšäžäžªæ®µäžå®ä¹çé
眮项ïŒäŒè¢«è¯¥æ®µæéçšçææè¿çšäœ¿çšãè¿äºé
眮项æä¹çžåïŒäœåšäžåç段äžå¯ä»¥æäžåçååŒã</p> |
---|
282 | <ul> |
---|
283 | |
---|
284 | <li>temp-dir: HODè¿çšäœ¿çšç䞎æ¶ç®åœã请确ä¿è¿è¡hodççšæ·ææéåšè¿äžªæå®çç®åœäžå建åç®åœãåŠææ³åšæ¯æ¬¡åé
çæ¶åéœäœ¿çšäžåç䞎æ¶ç®åœïŒå¯ä»¥äœ¿çšç¯å¢åéïŒèµæºç®¡çåšäŒè®©è¿äºç¯å¢åé对HODè¿çšå¯çšãäŸåŠïŒåšTorque讟眮çæ¶åïŒäœ¿--ringmaster.temp-dir=/tmp/hod- temp-dir.$PBS_JOBIDäŒè®©ringmasteråšæ¯äžæ¬¡ç³è¯·æ¶äœ¿çšäžåç䞎æ¶ç®åœïŒTroqueäŒåšringmasterå¯åšåå±åŒè¿äžªç¯å¢åéã |
---|
285 | </li> |
---|
286 | |
---|
287 | <li>debugïŒæ°åŒç±»åïŒååŒèåŽæ¯1-4ã4äŒäº§çæå€çlogä¿¡æ¯ã</li> |
---|
288 | |
---|
289 | <li>log-dirïŒæ¥å¿æ件çåæŸç®åœã猺çåŒæ¯<install-location>/logs/ãtemp-diråéçéå¶å泚æäºé¡¹åšè¿éåæ ·äœ¿çšã |
---|
290 | </li> |
---|
291 | |
---|
292 | <li>xrs-port-rangeïŒç«¯å£èåŽïŒäŒåšè¿ä¹äžæéäžäžªå¯çšç«¯å£çšäºè¿è¡XML-RPCæå¡ã</li> |
---|
293 | |
---|
294 | <li>http-port-rangeïŒç«¯å£èåŽïŒäŒåšè¿ä¹äžæéäžäžªå¯çšç«¯å£çšäºè¿è¡HTTPæå¡ã</li> |
---|
295 | |
---|
296 | <li>java-homeïŒç»Hadoop䜿çšçJavaçäœçœ®ã</li> |
---|
297 | |
---|
298 | <li>syslog-addressïŒsyslogå®æ€è¿çšèŠç»å®çå°åãæ ŒåŒäžºhost:portãåŠæé
眮äºè¿äžªé项ïŒHODæ¥å¿ä¿¡æ¯äŒè¢«è®°åœå°è¿äžªäœçœ®çsyslogã</li> |
---|
299 | |
---|
300 | </ul> |
---|
301 | <a name="N1006B"></a><a name="3.2+hod%E7%9A%84%E9%85%8D%E7%BD%AE%E9%A1%B9"></a> |
---|
302 | <h3 class="h4">3.2 hodçé
眮项</h3> |
---|
303 | <ul> |
---|
304 | |
---|
305 | <li>clusterïŒé矀çæè¿°æ§å称ã对äºTorqueïŒè¿äžªåŒè¢«æå®äžºé矀äžææèç¹ç'Node property'ãHOD䜿çšè¿äžªåŒè®¡ç®å¯çšèç¹ç䞪æ°ã</li> |
---|
306 | |
---|
307 | <li>client-paramsïŒéå·åå²çhadoopé
眮åæ°åè¡šïŒå
¶äžçæ¯äžé¡¹éœæ¯äžäžªkey-value对ãåšæ亀èç¹äžäŒæ®æ€äº§çäžäžªhadoop-site.xmlïŒçšäºè¿è¡Map/Reduceäœäžã</li> |
---|
308 | |
---|
309 | |
---|
310 | <li>job-feasibility-attr: æ£å衚蟟åŒïŒçšäºæå®æ¯åŠååŠäœæ£æ¥äœäžçå¯è¡æ§ ïŒ èµæºç®¡çåšéå¶æè°åºŠéå¶ãç®åæ¯éè¿torqueäœäžç'comment'å±æ§å®ç°çïŒçŒºçæ
åµäžæ²¡æåŒå¯è¿äžªåèœã讟眮äºè¿äžªé
眮项åïŒHODäŒäœ¿çšå®æ¥ç¡®å®åªäºç§ç±»çéå¶æ¯å¯çšçïŒä»¥å请æ±è¶
åºéå¶æè
环积è¶
åºéå¶æ¶æ¯åæ¶æºçŸ€è¿æ¯çåšæéç¶æãtorque commentå±æ§å¯ä»¥è¢«æ䞪å€éšæºå¶åšææ§å°æŽæ°ãæ¯åŠïŒcommentå±æ§è¢«hod/supportç®åœäžç<a href="hod_admin_guide.html#checklimits.sh+-+%E8%B5%84%E6%BA%90%E9%99%90%E5%88%B6%E7%9B%91%E8%A7%86%E5%99%A8">checklimits.sh</a>æŽæ°ïŒè¿æ ·è®Ÿçœ®job-feasibility-attrçåŒçäºTORQUE_USER_LIMITS_COMMENT_FIELD, "User-limits exceeded. Requested:([0-9]*) Used:([0-9]*) MaxLimit:([0-9]*)"äŒäœ¿HOD产ççžåºçè¡äžºã</li> |
---|
311 | |
---|
312 | </ul> |
---|
313 | <a name="N10082"></a><a name="3.3+resouce_manager%E7%9A%84%E9%85%8D%E7%BD%AE%E9%A1%B9"></a> |
---|
314 | <h3 class="h4">3.3 resouce_managerçé
眮项</h3> |
---|
315 | <ul> |
---|
316 | |
---|
317 | <li>queueïŒèµæºç®¡çåšäžé
眮çéååïŒäœäžäŒè¢«æ亀å°è¿éã</li> |
---|
318 | |
---|
319 | |
---|
320 | <li>batch-homeïŒäžªå®è£
ç®åœïŒå
¶äžç'bin'äžæèµæºç®¡çåšçå¯æ§è¡æ件ã</li> |
---|
321 | |
---|
322 | <li>env-varsïŒéå·åéçkey-value对çåè¡šïŒåœ¢åŒæ¯key=valueïŒå®äŒè¢«äŒ éç»è¿è¡åšè®¡ç®èç¹çäœäžãäŸåŠïŒåŠæptyhon没æå®è£
åšåžžè§äœçœ®ïŒçšæ·å¯ä»¥éè¿è®Ÿçœ®ç¯å¢åé'HOD_PYTHON_HOME'æå®pythonå¯æ§è¡æ件çè·¯åŸãä¹åïŒåšè®¡ç®èç¹è¿è¡çHODçè¿çšå°±å¯ä»¥äœ¿çšè¿äžªåéäºã</li> |
---|
323 | |
---|
324 | </ul> |
---|
325 | <a name="N10095"></a><a name="3.4+ringmaster%E7%9A%84%E9%85%8D%E7%BD%AE%E9%A1%B9"></a> |
---|
326 | <h3 class="h4">3.4 ringmasterçé
眮项</h3> |
---|
327 | <ul> |
---|
328 | |
---|
329 | <li>work-dirsïŒè¿æ¯äžäžªç±éå·åéçè·¯åŸåè¡šïŒè¿äºè·¯åŸå°äœäžºHOD产çåäŒ éç»HadoopïŒçšäºåæŸDFSåMap/Reduceæ°æ®çç®åœçæ ¹ç®åœãäŸåŠïŒè¿æ¯DFSæ°æ®ååæŸçè·¯åŸãäžè¬æ
åµäžïŒæå€å°åç£çå°±æå®å€å°è·¯åŸïŒä»¥ç¡®ä¿ææçç£çéœè¢«å©çšå°ãtemp-diråéçéå¶å泚æäºé¡¹åšè¿å¿åæ ·éçšã</li> |
---|
330 | |
---|
331 | <li>max-master-failuresïŒhadoopäž»å®æ€è¿å¯åšåå¯ä»¥å€±èŽ¥ç次æ°ïŒè¶
åºè¿äžªæ¬¡æ°åïŒHODäŒè®©è¿æ¬¡é矀åé
倱莥ãåšHODé矀äžïŒææ¶åç±äºæäºé®é¢ïŒæ¯åŠæºåšæ²¡å®è£
javaïŒæ²¡æå®è£
HadoopïŒæè
Hadoopçæ¬é误çïŒäŒååšäžäžªæå 䞪“å”èç¹ãåœè¿äžªé
眮项被讟䞺æ£æŽæ°æ¶ïŒåªæåœhadoop matserïŒJobTrackeræè
NameNodeïŒåšäžè¿°çåèç¹äžïŒç±äºäžé¢æå°çç§ç§åå å¯åšå€±èŽ¥ç次æ°è¶
è¿è®Ÿå®çåŒæ¶ïŒRingMasteræäŒæé误è¿åç»å®¢æ·ç«¯ãåŠæå°è¯å¯åšç次æ°æ²¡æè¶
è¿è®Ÿå®åŒïŒåœäžäžäžªHodRing请æ±è¿è¡äžäžªåœä»€æ¶ïŒåäžäžªhadoop masteräŒæå®ç»è¿äžªHodRingãè¿æ ·ïŒå³äœ¿é矀äžååšäžäºåçèç¹ïŒHODä¹äŒå°œå
šå䜿è¿æ¬¡åé
æåã |
---|
332 | </li> |
---|
333 | |
---|
334 | |
---|
335 | </ul> |
---|
336 | <a name="N100A5"></a><a name="3.5+gridservice-hdfs%E7%9A%84%E9%85%8D%E7%BD%AE%E9%A1%B9"></a> |
---|
337 | <h3 class="h4">3.5 gridservice-hdfsçé
眮项</h3> |
---|
338 | <ul> |
---|
339 | |
---|
340 | <li>externalïŒåŠæ被眮䞺falseïŒHODå¿
é¡»åšéè¿allocateåœä»€åé
çèç¹äžèªå·±å建HDFSé矀ã泚æïŒåšè¿ç§æ
åµäžïŒåŠæé矀被åæ¶ïŒHDFSé矀äŒåæ¢ïŒæææ°æ®äŒäž¢å€±ãåŠæ被眮䞺trueïŒå®äŒå°è¯éŸæ¥å€éšçå·²é
眮çHDFSç³»ç»ãéåžžïŒå 䞺åšäœäžè¿è¡ä¹åäœäžçèŸå
¥éèŠè¢«æŸçœ®åšHDFSäžïŒå¹¶äžäœäžçèŸåºéèŠæä¹
ä¿çïŒåšç产ç¯å¢äžäžäžªå
éšçHDFSé矀æä¹äžå€§ã</li> |
---|
341 | |
---|
342 | |
---|
343 | <li>hostïŒå€éšé
眮奜çNameNodeçäž»æºåã</li> |
---|
344 | |
---|
345 | |
---|
346 | <li>fs_portïŒNameNode RPCæå¡ç»å®ç端å£ã</li> |
---|
347 | |
---|
348 | |
---|
349 | <li>info_portïŒNameNode web UIæå¡ç»å®ç端å£ã</li> |
---|
350 | |
---|
351 | |
---|
352 | <li>pkgsïŒå®è£
ç®åœïŒå
¶äžæbin/hadoopå¯æ§è¡æ件ãå¯çšæ¥äœ¿çšé矀äžé¢å
å®è£
çHadoopçæ¬ã</li> |
---|
353 | |
---|
354 | |
---|
355 | <li>server-paramsïŒäžäžªéå·åå²çhadoopé
眮åæ°åè¡šïŒæ¯äžé¡¹äžºkey-value对圢åŒãè¿äºå°çšäºäº§ç被NameNodeåDataNode䜿çšå°çhadoop-site.xmlæ件ã</li> |
---|
356 | |
---|
357 | |
---|
358 | <li>final-server-paramsïŒé€äŒè¢«æ 记䞺finalå€åäžé¢çžåã</li> |
---|
359 | |
---|
360 | </ul> |
---|
361 | <a name="N100C4"></a><a name="3.6+gridservice-mapred%E7%9A%84%E9%85%8D%E7%BD%AE%E9%A1%B9"></a> |
---|
362 | <h3 class="h4">3.6 gridservice-mapredçé
眮项</h3> |
---|
363 | <ul> |
---|
364 | |
---|
365 | <li>externalïŒåŠæ被眮䞺falseïŒHODå¿
é¡»åšéè¿allocateåœä»€åé
çèç¹äžèªå·±å建Map/Reduceé矀ãåŠæ被眮䞺trueïŒå®äŒå°è¯éŸæ¥å€éšçå·²é
眮çMap/Reduceç³»ç»ã</li> |
---|
366 | |
---|
367 | <li>hostïŒå€éšé
眮奜çJobTrackerçäž»æºåã</li> |
---|
368 | |
---|
369 | |
---|
370 | <li>tracker_portïŒJobTracker RPCæå¡ç»å®ç端å£ã</li> |
---|
371 | |
---|
372 | |
---|
373 | <li>info_portïŒJobTracker web UIæå¡ç»å®ç端å£ã</li> |
---|
374 | |
---|
375 | |
---|
376 | <li>pkgsïŒå®è£
ç®åœïŒå
¶äžæbin/hadoopå¯æ§è¡æ件ã</li> |
---|
377 | |
---|
378 | |
---|
379 | <li>server-paramsïŒäžäžªéå·åå²çhadoopé
眮åæ°åè¡šïŒæ¯äžé¡¹äžºkey-value对圢åŒãè¿äºå°çšäºäº§ç被JobTrackeråTaskTracker䜿çšå°çhadoop-site.xmlæ件ã</li> |
---|
380 | |
---|
381 | <li>final-server-paramsïŒé€äŒè¢«æ 记䞺finalå€åäžé¢çžåã</li> |
---|
382 | |
---|
383 | </ul> |
---|
384 | <a name="N100E3"></a><a name="3.7+hodring%E7%9A%84%E9%85%8D%E7%BD%AE%E9%A1%B9"></a> |
---|
385 | <h3 class="h4">3.7 hodringçé
眮项</h3> |
---|
386 | <ul> |
---|
387 | |
---|
388 | <li>mapred-system-dir-rootïŒDFSäžçç®åœïŒHODäŒåšè¿äžªç®åœäžå建åç®åœå¹¶æå
šè·¯åŸäœäžºåæ°'mapred.system.dir'çåŒäŒ éç»Hadoopå®æ€è¿çšãå
šè·¯åŸçæ ŒåŒäžºvalue-of-this-option/userid/mapredsystem/cluster-idã泚æïŒåŠæHDFSå¯çšäºæéïŒè¿éæå®çè·¯åŸäžåºå
讞ææçšæ·å建åç®åœã讟眮æ€é
眮项çåŒäžº/useräŒäœ¿HOD䜿çšçšæ·çhomeç®åœæ¥äº§çmapred.system.dirçåŒã</li> |
---|
389 | |
---|
390 | <li>log-destination-uriïŒäžäžªURLïŒèœåæ äžäžªå€éšçéæçDFSæè
é矀èç¹äžçæ¬å°æ件系ç»äžçè·¯åŸãåœé矀被åæ¶æ¶ïŒHODäŒæHadoopæ¥å¿äžäŒ å°è¿äžªè·¯åŸãèŠæå®DFSè·¯åŸïŒäœ¿çš'hdfs://path'æ ŒåŒãèŠæå®äžäžªé矀èç¹äžçæ¬å°æ件系ç»è·¯åŸïŒäœ¿çš'file://path'æ ŒåŒãåœHODåæ¶é矀æ¶ïŒäœäžºHODçæž
é€è¿çšçäžéšåïŒhadoopæ¥å¿äŒè¢«å é€ãèŠåå°æä¹
åšè¿äºæ¥å¿ïŒäœ å¯ä»¥äœ¿çšè¿äžªé
眮项ãè·¯åŸçæ ŒåŒäŒæ¯values-of-this-option/userid/hod-logs/cluster-idã泚æïŒåºè¯¥ä¿è¯ææççšæ·èœåšè¿éæå®çç®åœäžå建åç®åœãæè¿äžªåŒè®Ÿäžºhdfs://useräŒäœ¿è¿äºæ¥å¿è¢«èœ¬ç§»å°çšæ·åšDFSäžçhomeç®åœäžã</li> |
---|
391 | |
---|
392 | <li>pkgsïŒå®è£
ç®åœïŒå
¶äžæbin/hadoopå¯æ§è¡æ件ãåŠæç»log-destination-uriæå®äºäžäžªHDFS URLïŒHODäžäŒ æ¥å¿æ¶äŒçšå°è¿äžªé
眮项ã泚æïŒåœçšæ·äœ¿çšäºåå€éšéæHDFSäžåçæ¬çtarballæ¶ïŒè¿äžªé
眮项äŒæŽŸäžçšåºã</li> |
---|
393 | |
---|
394 | |
---|
395 | </ul> |
---|
396 | </div> |
---|
397 | |
---|
398 | </div> |
---|
399 | <!--+ |
---|
400 | |end content |
---|
401 | +--> |
---|
402 | <div class="clearboth"> </div> |
---|
403 | </div> |
---|
404 | <div id="footer"> |
---|
405 | <!--+ |
---|
406 | |start bottomstrip |
---|
407 | +--> |
---|
408 | <div class="lastmodified"> |
---|
409 | <script type="text/javascript"><!-- |
---|
410 | document.write("Last Published: " + document.lastModified); |
---|
411 | // --></script> |
---|
412 | </div> |
---|
413 | <div class="copyright"> |
---|
414 | Copyright © |
---|
415 | 2007 <a href="http://www.apache.org/licenses/">The Apache Software Foundation.</a> |
---|
416 | </div> |
---|
417 | <!--+ |
---|
418 | |end bottomstrip |
---|
419 | +--> |
---|
420 | </div> |
---|
421 | </body> |
---|
422 | </html> |
---|