User Tools

Site Tools


hardware:infrastructure

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision
Previous revision
hardware:infrastructure [2022/01/18 19:31] – djgallowayhardware:infrastructure [2026/09/15 17:57] (current) – [Table] djgalloway
Line 3: Line 3:
  
 ===== Spare Hardware ===== ===== Spare Hardware =====
-Present as of:  --- //[[dgallowa@redhat.com|David Galloway]] 2022/01/18 19:29//+TODO
  
-^ Hardware                              ^ Quantity  ^ +===== infra-compute-{01..05} =====
-| Intel Optane P5800X 400GB PCIe cards  | 10        | +
-| STARTECH 2PT 10G FIBER NIC-OPEN SFP+  | 5         | +
- +
-===== gw1/gw2 =====+
 ==== Summary ==== ==== Summary ====
-These two hosts are 1U custom-built Supermicro systems. +5 compute nodes for the [[services:OCP]] cluster.
- +
-gw1 was repurposed as [[hardware:infrastructure#store03frontsepiacephcom|store03]] to use as an arbiter node for the Gluster storage backing RHEV VMs. +
- +
-gw2 is not powered on or accessible +
- +
-==== Hardware Specs ==== +
-|            ^ Count    ^ Manufacturer  ^ Model                ^ Capacity  ^ Notes                                                                                                  ^ +
-^ Chassis    | N/A      | Supermicro    |                      | N/A       |                                                                                                        | +
-^ Mainboard  | N/A      | Supermicro    | PDSMi+               | N/A       |                                                                                                        | +
-^ CPU        | 1        | Intel         | Xeon X3220 @2.40GHz  | N/A       | [[http://ark.intel.com/products/28034/Intel-Xeon-Processor-X3220-8M-Cache-2_40-GHz-1066-MHz-FSB|ARK]]  | +
-^ RAM        | 4 DIMMs  | ?             | ?                    | 1GB       | DDR2 667MHz 4GB total                                                                                  | +
-^ HDD        | 2        | HGST          | HDS721010CLA330      | 1TB       | Software RAID1                                                                                         | +
-^ SSD        |          |               |                      |           |                                                                                                        | +
-^ NIC        | 2        |               |                      |           | on-board                                                                                               | +
- +
----- +
- +
-===== store{01,02}.front.sepia.ceph.com ===== +
-==== Summary ==== +
-Serve as the main gluster storage nodes for the [[services:rhev]] cluster.  They're running CentOS 7. +
- +
-store01 was formerly gw.sepia.ceph.com and still hosts a number of services: +
-  * [[services:DNS]] +
-  * [[services:DHCP]] +
- +
-store02 was formerly mira123.+
  
 ==== Hardware Information ==== ==== Hardware Information ====
-[[Mira]]-type chassis with 16GB RAM and 1x Intel(R) Xeon(R) CPU X3430 @ 2.40GHz +|            ^ Count     ^ Manufacturer  ^ Model               ^ Capacity  ^ Notes                            ^ 
- +^ Chassis    | N/A       | Supermicro    | AS-2025HS-TNR       | N/A       |                                  | 
-==== Storage ==== +^ Mainboard  | N/A       | Supermicro    | H13DSH              | N/A       |                                  | 
-  * Populated with 7x 4TB Hitachi HDD +^ CPU        | 2         | AMD           | EPYC 9534           | N/A       | 256 cores total                  | 
-  * 20TB Areca RAID5 +^ RAM        | 24 DIMMs  | Samsung       | M321R4GA3PB0-CWMXJ  | 32GB      | DDR5 4800 MT/s -- 768GB total    | 
-  * One bay is not used in each system so if desired, the stripe size and RAID level could be changed +^ SSD        | 2         | Samsung       | MZQL2960HCJR-00A07  | 960GB     | 1 use for OS.  Other is unused.  | 
- +^ NIC        | 1         | Mellanox      | ConnectX-6 Lx       | 2 ports   | 25Gb                             | 
-==== Networking ==== +^ NIC        | 1         | Broadcom      | BCM57508            | 2 ports   | 100Gb                            |
-  * store01 has a 1Gb bridge on the ipmi network from when it was the OpenVPN gateway. +
-  * store01 has a 10Gb uplink with address 8.43.84.133 mainly as a backup "in" to the lab.  This is leftover from when the host was the OpenVPN gateway. +
-  * Both nodes have an add-on dual-port 10Gb SFP+ card with both ports cabled and configured as bond0 (bond type 6)+
  
 ---- ----
  
-===== store03.front.sepia.ceph.com =====+===== infra-storage-{01..04}-n{1..4} =====
 ==== Summary ==== ==== Summary ====
-Sole purpose is to serve as an arbiter node for the Gluster volume backing [[services:rhev]] VMs. +16 storage hosts that run ODF for the [[services:OCP]] cluster.
- +
-store03 was formerly gw1.+
  
 ==== Hardware Information ==== ==== Hardware Information ====
-http://wiki.front.sepia.ceph.com/doku.php?id=hardware:infrastructure#hardware_specs+|            ^ Count    ^ Manufacturer  ^ Model                 ^ Capacity  ^ Notes                                                                                            ^ 
 +^ Chassis    | N/A      | Supermicro    | SYS-2028U-TN24R4T+    | N/A       |                                                                                                  | 
 +^ Mainboard  | N/A      | Supermicro    | X10DRU-i+             | N/A       |                                                                                                  | 
 +^ CPU        | 2        | Intel         | Xeon X3220 @2.40GHz   | N/A       | [[https://ark.intel.com/products/92981/Intel-Xeon-Processor-E5-2630-v4-25M-Cache-2_20-GHz|ARK]]  | 
 +^ RAM        | 6 DIMMs  | Samsung       | M393A1G40EB1-CRC      | 8GB       | DDR4 2400MHz -- 48GB total                                                                       | 
 +^ SSD        | 2        | Intel         | S3520                 | 480GB     | Software RAID1 for OS                                                                            | 
 +^ SSD        | 8        | Intel         | DC P3600              | 1.6TB     | Software RAID6 for Gluster brick                                                                 | 
 +^ NIC        | 1        | Intel         | 82599 (AOC-STGN-I2S)  | 2 ports   | 10Gbps SFP+ bonded in balance-alb mode                                                           |
  
 ---- ----
Line 82: Line 54:
  
 ===== teuthology.front.sepia.ceph.com ===== ===== teuthology.front.sepia.ceph.com =====
-Hosted previous [[services:teuthology]] service for Sepia lab.  Running Trusty with a custom kernel so the LRC can be mounted.  **Now only up for legacy purposes.  Can be moved to another rack and/or repurposed.** 
  
-[[hardware:Mira]]-type chassis with 32GB RAM and 2x Intel(R) Xeon(R) X3440 @ 2.53GHz +This used to be a mira-type machine and then was a VM in [[services:rhev]].  Now it is [[hardware:soko]]03.
- +
-==== Storage ==== +
-  * Populated with 8x 4TB Hitachi HDD +
-  * 80GB Areca RAID6 hosts ''/'' +
-  * 24TB Areca RAID6 hosts ''/home'' +
- +
-==== Networking ==== +
-  * 1x cabled but unused 1Gbps link (eth0) +
-  * 1x 10Gbps uplink for all traffic (eth3) +
- +
----- +
- +
-===== pulpito.front.sepia.ceph.com ===== +
-Hosts [[services:pulpito]] and [[services:paddles]].  Running Ubuntu Precise. +
- +
-[[hardware:Mira]]-type chassis with 16GB RAM and Intel(R) Xeon(R) X3440 @ 2.53GHz +
- +
-==== Storage ==== +
-<code> +
-root@pulpito:~# cli64 vsf info +
-  # Name             Raid Name       Level   Capacity Ch/Id/Lun  State          +
-=============================================================================== +
-  1 ARC-1222-VOL#000 Raid Set # 000  Raid6    400.0GB 00/00/00   Normal +
-  2 ARC-1222-VOL#001 Raid Set # 000  Raid1+0   60.0GB 00/00/01   Normal +
-  3 ARC-1222-VOL#002 Raid Set # 000  Raid6   5510.0GB 00/00/02   Normal +
-=============================================================================== +
- +
-root@pulpito:~# lsblk +
-NAME   MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT +
-sda      8:0    0 372.5G  0 disk  +
-├─sda1   8:1    0 356.5G  0 part / +
-├─sda2   8:2    0     1K  0 part  +
-└─sda5   8:5    0    16G  0 part [SWAP] +
-sdb      8:16   0  55.9G  0 disk /var/lib/postgresql +
-sdc      8:32   0     5T  0 disk  +
-</code> +
- +
-==== Networking ==== +
-  * 1x cabled 1Gbps link (eth0) +
- +
----- +
- +
-===== gitbuilder.ceph.com ===== +
-==== Summary ==== +
-AKA [[services:apt-mirror]] or gitbuilder-archive. +
- +
-OOB access is available at ''ipmitool -I lanplus -U root -P XXXXX -H 172.21.39.25 sol activate'' +
- +
-==== Services ==== +
-  * [[services:apt-mirror]] +
-  * [[services:backups]] +
-  * Serves packages built by [[services:gitbuilders]] +
-  * [[tasks:lab-extras|lab-extras]] +
- +
-==== Storage ==== +
-  * 8x 4TB HGST drives +
-  * Volume set 1 is a 80GB RAID6 for the OS +
-  * Volume set 2 is a 24TB RAID6 for /home where all the data for services listed above live +
- +
-==== Networking ==== +
-  * 1x 10Gb uplink at address 8.43.84.130 +
-  * <del>Temporary VPN tunnel for drop.ceph.com access to the [[services:longrunningcluster]]</del> +
-    * <del>(Must be restarted ''service openvpn restart'' anytime the VPN service is restarted)</del> ((drop.ceph.com moved to separate VM in RHEV)) +
- +
-----+
  
 ===== hv{01..03} ===== ===== hv{01..03} =====
Line 186: Line 92:
 ^ NIC        | 2 ports  | Intel                | I350                  | 1Gbps     | On-board RJ45. Port 1 for WAN                                                                   | ^ NIC        | 2 ports  | Intel                | I350                  | 1Gbps     | On-board RJ45. Port 1 for WAN                                                                   |
 ^ NIC        | 2 ports  | Intel                | X710                  | 10Gbps    | SFP+ Port 1 for front/ipmi / Port 2 for rhevm                                                   | ^ NIC        | 2 ports  | Intel                | X710                  | 10Gbps    | SFP+ Port 1 for front/ipmi / Port 2 for rhevm                                                   |
 +
 +===== cnv{01..03}.front.sepia.ceph.com =====
 +==== Summary ====
 +Purchased by Red Hat in 2021 to create a new Openshift cluster with CNV.  This cluster is intended to replace [[services:RHEV]].
 +
 +Purchasing ticket: https://redhat.service-now.com/surl.do?n=PNT1028261 \\
 +Racking ticket: https://redhat.service-now.com/surl.do?n=PNT1028262
 +
 +==== Hardware Information ====
 +|            ^ Count    ^ Manufacturer  ^ Model                 ^ Capacity  ^ Notes                                                                                            ^
 +^ Chassis    | N/A      | Supermicro    | SYS-2028U-TN24R4T+    | N/A       |                                                                                                  |
 +^ Mainboard  | N/A      | Supermicro    | X10DRU-i+             | N/A       |                                                                                                  |
 +^ CPU        | 2        | Intel         | Xeon X3220 @2.40GHz   | N/A       | [[https://ark.intel.com/products/92981/Intel-Xeon-Processor-E5-2630-v4-25M-Cache-2_20-GHz|ARK]]  |
 +^ RAM        | 6 DIMMs  | Samsung       | M393A1G40EB1-CRC      | 8GB       | DDR4 2400MHz -- 48GB total                                                                       |
 +^ SSD        | 2        | Intel         | S3520                 | 480GB     | Software RAID1 for OS                                                                            |
 +^ SSD        | 8        | Intel         | DC P3600              | 1.6TB     | Software RAID6 for Gluster brick                                                                 |
 +^ NIC        | 1        | Intel         | 82599 (AOC-STGN-I2S)  | 2 ports   | 10Gbps SFP+ bonded in balance-alb mode                                                           |
 +
 +==== Installation Notes ====
 +Followed https://access.redhat.com/documentation/en-us/openshift_container_platform/4.8/html-single/installing/index#deploying-installer-provisioned-clusters-on-bare-metal
 +
 +----
hardware/infrastructure.1642534267.txt.gz · Last modified: by djgalloway