User Tools

Site Tools


hardware:infrastructure

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision
Previous revision
hardware:infrastructure [2016/08/30 20:39] – [Networking] dgallowayhardware:infrastructure [2026/09/15 17:57] (current) – [Table] djgalloway
Line 2: Line 2:
 This page covers all other hardware that doesn't fit under the umbrella of testnode hardware. This page covers all other hardware that doesn't fit under the umbrella of testnode hardware.
  
-===== gw1/gw2 =====+===== Spare Hardware ===== 
 +TODO 
 + 
 +===== infra-compute-{01..05} =====
 ==== Summary ==== ==== Summary ====
-These two hosts are 1U custom-built Supermicro systems.+5 compute nodes for the [[services:OCP]] cluster.
  
-gw1 can currently be accessed at ''irv-gw.front.sepia.ceph.com''.  It is the old gateway host from when the Sepia lab was in Irvine +==== Hardware Information ==== 
- +|            ^ Count     ^ Manufacturer  ^ Model               ^ Capacity  ^ Notes                            ^ 
-gw2 is not powered on or accessible +^ Chassis    | N/A       | Supermicro    | AS-2025HS-TNR       | N/A       |                                  | 
- +^ Mainboard  | N/A       | Supermicro    | H13DSH              | N/A       |                                  | 
-==== Hardware Specs ==== +^ CPU        | 2         | AMD           | EPYC 9534           | N/A       | 256 cores total                  | 
-|            ^ Count    ^ Manufacturer  ^ Model                ^ Capacity  ^ Notes                                                                                                  ^ +^ RAM        | 24 DIMMs  | Samsung       | M321R4GA3PB0-CWMXJ  | 32GB      | DDR5 4800 MT/s -- 768GB total    | 
-^ Chassis    | N/A      | Supermicro    |                      | N/A       |                                                                                                        | +^ SSD        | 2         | Samsung       | MZQL2960HCJR-00A07  | 960GB     | 1 use for OS.  Other is unused.  | 
-^ Mainboard  | N/A      | Supermicro    | PDSMi+               | N/A       |                                                                                                        | +^ NIC        | 1         | Mellanox      | ConnectX-6 Lx       | 2 ports   | 25Gb                             | 
-^ CPU        | 1        | Intel         | Xeon X3220 @2.40GHz  | N/A       | [[http://ark.intel.com/products/28034/Intel-Xeon-Processor-X3220-8M-Cache-2_40-GHz-1066-MHz-FSB|ARK]]  | +^ NIC        | 1         | Broadcom      | BCM57508            | 2 ports   | 100Gb                            |
-^ RAM        | 4 DIMMs  | ?             | ?                    | 1GB       | DDR2 667MHz 4GB total                                                                                  | +
-^ HDD        | 2        | HGST          | HDS721010CLA330      | 1TB       | Software RAID1                                                                                         | +
-^ SSD        |          |               |                      |           |                                                                                                        | +
-^ NIC        | 2        |               |                      |           | on-board                                                                                               |+
  
 ---- ----
  
-===== store{01,02}.front.sepia.ceph.com =====+===== infra-storage-{01..04}-n{1..4} =====
 ==== Summary ==== ==== Summary ====
-Serve as the main gluster storage nodes for the [[services:rhev]] cluster.  They're running CentOS 7. +16 storage hosts that run ODF for the [[services:OCP]] cluster.
- +
-store01 was formerly gw.sepia.ceph.com and still hosts a number of services: +
-  * [[services:DNS]] +
-  * [[services:DHCP]] +
- +
-store02 was formerly mira123.+
  
 ==== Hardware Information ==== ==== Hardware Information ====
-[[Mira]]-type chassis with 16GB RAM and 1x Intel(R) Xeon(R) CPU X3430 @ 2.40GHz +|            ^ Count    ^ Manufacturer  ^ Model                 ^ Capacity  ^ Notes                                                                                            ^ 
- +^ Chassis    | N/A      | Supermicro    | SYS-2028U-TN24R4T+    | N/A       |                                                                                                  | 
-==== Storage ==== +^ Mainboard  | N/A      | Supermicro    | X10DRU-i+             | N/A       |                                                                                                  | 
-  * Populated with 7x 4TB Hitachi HDD +^ CPU        | 2        | Intel         | Xeon X3220 @2.40GHz   | N/A       | [[https://ark.intel.com/products/92981/Intel-Xeon-Processor-E5-2630-v4-25M-Cache-2_20-GHz|ARK]]  | 
-  * 20TB Areca RAID5 +^ RAM        | 6 DIMMs  | Samsung       | M393A1G40EB1-CRC      | 8GB       | DDR4 2400MHz -- 48GB total                                                                       | 
-  * One bay is not used in each system so if desired, the stripe size and RAID level could be changed +^ SSD        | 2        | Intel         | S3520                 | 480GB     | Software RAID1 for OS                                                                            | 
- +^ SSD        | 8        | Intel         | DC P3600              | 1.6TB     | Software RAID6 for Gluster brick                                                                 | 
-==== Networking ==== +^ NIC        | 1        | Intel         | 82599 (AOC-STGN-I2S)  | 2 ports   | 10Gbps SFP+ bonded in balance-alb mode                                                           |
-  * store01 has a 1Gb bridge on the ipmi network from when it was the OpenVPN gateway +
-  * store01 has a 10Gb uplink with address 8.43.84.133 +
-  * Both nodes have an add-on dual-port 10Gb SFP+ card with both ports cabled and configured as bond0 (bond type 6)+
  
 ---- ----
  
-===== teuthology.front.sepia.ceph.com ===== +===== ssdstore{01,02}.front.sepia.ceph.com ===== 
-Hosted previous [[services:teuthology]] service for Sepia lab.  Running Trusty with a custom kernel so the LRC can be mounted.  **Now only up for legacy purposes.  Can be moved to another rack and/or repurposed.**+==== Summary ==== 
 +Serve as new NVMe Gluster storage nodes for the [[services:rhev]] cluster.  They're running RHEL 7.  Purchased/donated by OSAS.
  
-[[hardware:Mira]]-type chassis with 32GB RAM and 2x Intel(R) Xeon(R) X3440 @ 2.53GHz +==== Hardware Information ==== 
- +|            ^ Count    ^ Manufacturer  ^ Model                 ^ Capacity  ^ Notes                                                                                            ^ 
-==== Storage ==== +^ Chassis    | N/A      | Supermicro    | SYS-2028U-TN24R4T+    | N/A       |                                                                                                  | 
-  * Populated with 8x 4TB Hitachi HDD +^ Mainboard  | N/A      | Supermicro    | X10DRU-i+             | N/A       |                                                                                                  | 
-  * 80GB Areca RAID6 hosts ''/'' +^ CPU        | 2        | Intel         | Xeon X3220 @2.40GHz   | N/A       | [[https://ark.intel.com/products/92981/Intel-Xeon-Processor-E5-2630-v4-25M-Cache-2_20-GHz|ARK]]  | 
-  * 24TB Areca RAID6 hosts ''/home'' +^ RAM        | 6 DIMMs  | Samsung       | M393A1G40EB1-CRC      | 8GB       | DDR4 2400MHz -- 48GB total                                                                       | 
- +^ SSD        | 2        | Intel         | S3520                 | 480GB     | Software RAID1 for OS                                                                            | 
-==== Networking ==== +^ SSD        | 8        | Intel         | DC P3600              | 1.6TB     | Software RAID6 for Gluster brick                                                                 | 
-  * 1x cabled but unused 1Gbps link (eth0) +^ NIC        | 1        | Intel         | 82599 (AOC-STGN-I2S)  | 2 ports   | 10Gbps SFP+ bonded in balance-alb mode                                                           |
-  * 1x 10Gbps uplink for all traffic (eth3)+
  
 ---- ----
  
-===== pulpito.front.sepia.ceph.com ===== +===== teuthology.front.sepia.ceph.com =====
-Hosts [[services:pulpito]] and [[services:paddles]].  Running Ubuntu Precise.+
  
-[[hardware:Mira]]-type chassis with 16GB RAM and Intel(R) Xeon(R) X3440 @ 2.53GHz+This used to be a mira-type machine and then was a VM in [[services:rhev]].  Now it is [[hardware:soko]]03.
  
-==== Storage ==== +===== hv{01..03} =====
-<code> +
-root@pulpito:~# cli64 vsf info +
-  # Name             Raid Name       Level   Capacity Ch/Id/Lun  State          +
-=============================================================================== +
-  1 ARC-1222-VOL#000 Raid Set # 000  Raid6    400.0GB 00/00/00   Normal +
-  2 ARC-1222-VOL#001 Raid Set # 000  Raid1+0   60.0GB 00/00/01   Normal +
-  3 ARC-1222-VOL#002 Raid Set # 000  Raid6   5510.0GB 00/00/02   Normal +
-=============================================================================== +
- +
-root@pulpito:~# lsblk +
-NAME   MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT +
-sda      8:0    0 372.5G  0 disk  +
-├─sda1   8:1    0 356.5G  0 part / +
-├─sda2   8:2    0     1K  0 part  +
-└─sda5   8:5    0    16G  0 part [SWAP] +
-sdb      8:16   0  55.9G  0 disk /var/lib/postgresql +
-sdc      8:32   0     5T  0 disk  +
-</code> +
- +
-==== Networking ==== +
-  * 1x cabled 1Gbps link (eth0) +
- +
----- +
- +
-===== gitbuilder.ceph.com ===== +
-==== Summary ==== +
-AKA [[services:apt-mirror]] or gitbuilder-archive. +
- +
-==== Services ==== +
-  * [[services:apt-mirror]] +
-  * [[services:backups]] +
-  * Serves packages built by [[services:gitbuilders]] +
- +
-==== Storage ==== +
-  * 8x 4TB HGST drives +
-  * Volume set 1 is a 80GB RAID6 for the OS +
-  * Volume set 2 is a 24TB RAID6 for /home where all the data for services listed above live +
- +
-==== Networking ==== +
-  * 1x 10Gb uplink at address 8.43.84.130 +
-  * <del>Temporary VPN tunnel for drop.ceph.com access to the [[services:longrunningcluster]]</del> +
-    * <del>(Must be restarted ''service openvpn restart'' anytime the VPN service is restarted)</del> ((drop.ceph.com moved to separate VM in RHEV)) +
- +
----- +
- +
-===== hv01/hv02 =====+
 ==== Summary ==== ==== Summary ====
 Main [[services:RHEV]] highly available hypervisor nodes.  Running RHEL7. Main [[services:RHEV]] highly available hypervisor nodes.  Running RHEL7.
Line 134: Line 77:
  
 Dual PSU redundantly cabled to two PDUs. Dual PSU redundantly cabled to two PDUs.
 +
 +===== hv04 =====
 +==== Summary ====
 +Just another [[services:RHEV]] highly available hypervisor node.  Model and specs are slightly different due to former models being EOL.
 +
 +==== Hardware Specs ====
 +|            ^ Count    ^ Manufacturer         ^ Model                 ^ Capacity  ^ Notes                                                                                           ^
 +^ Chassis    | N/A      | Supermicro           | SYS-1029U-TRTP2       | N/A       |                                                                                                 |
 +^ Mainboard  | N/A      | Supermicro           | X11DPU                | N/A       |                                                                                                 |
 +^ CPU        | 2        | Intel                | Xeon(R) Gold 5115 CPU @ 2.40GHz  | N/A       | [[https://ark.intel.com/products/120484/Intel-Xeon-Gold-5115-Processor-13_75M-Cache-2_40-GHz|ARK]]  |
 +^ RAM        | 8 DIMMs  | Hynix Semiconductor  | HMA82GR7AFR8N-VK      | 16GB      | 128GB total                                                                                     |
 +^ HDD        | 0        |                      |                       |           |                                                                                                 |
 +^ SSD        | 4        | Intel                | SSDSC2KB480G7         | 480GB     | Software RAID5                                                                                  |
 +^ NIC        | 2 ports  | Intel                | I350                  | 1Gbps     | On-board RJ45. Port 1 for WAN                                                                   |
 +^ NIC        | 2 ports  | Intel                | X710                  | 10Gbps    | SFP+ Port 1 for front/ipmi / Port 2 for rhevm                                                   |
 +
 +===== cnv{01..03}.front.sepia.ceph.com =====
 +==== Summary ====
 +Purchased by Red Hat in 2021 to create a new Openshift cluster with CNV.  This cluster is intended to replace [[services:RHEV]].
 +
 +Purchasing ticket: https://redhat.service-now.com/surl.do?n=PNT1028261 \\
 +Racking ticket: https://redhat.service-now.com/surl.do?n=PNT1028262
 +
 +==== Hardware Information ====
 +|            ^ Count    ^ Manufacturer  ^ Model                 ^ Capacity  ^ Notes                                                                                            ^
 +^ Chassis    | N/A      | Supermicro    | SYS-2028U-TN24R4T+    | N/A       |                                                                                                  |
 +^ Mainboard  | N/A      | Supermicro    | X10DRU-i+             | N/A       |                                                                                                  |
 +^ CPU        | 2        | Intel         | Xeon X3220 @2.40GHz   | N/A       | [[https://ark.intel.com/products/92981/Intel-Xeon-Processor-E5-2630-v4-25M-Cache-2_20-GHz|ARK]]  |
 +^ RAM        | 6 DIMMs  | Samsung       | M393A1G40EB1-CRC      | 8GB       | DDR4 2400MHz -- 48GB total                                                                       |
 +^ SSD        | 2        | Intel         | S3520                 | 480GB     | Software RAID1 for OS                                                                            |
 +^ SSD        | 8        | Intel         | DC P3600              | 1.6TB     | Software RAID6 for Gluster brick                                                                 |
 +^ NIC        | 1        | Intel         | 82599 (AOC-STGN-I2S)  | 2 ports   | 10Gbps SFP+ bonded in balance-alb mode                                                           |
 +
 +==== Installation Notes ====
 +Followed https://access.redhat.com/documentation/en-us/openshift_container_platform/4.8/html-single/installing/index#deploying-installer-provisioned-clusters-on-bare-metal
 +
 +----
hardware/infrastructure.1472589540.txt.gz · Last modified: by dgalloway