Update RPM repo docs
[integration/packaging.git] / docs / rpms.rst
1 RPMs
2 ====
3
4 OpenDaylight has a mature RPM Continuous Delivery pipeline. Every autorelease
5 build is automatically packaged as an RPM, and even if autorelease is broken
6 a daily job builds the latest distribution snapshot build into an RPM.
7
8 RPMs can be passed to test jobs that install them, start OpenDaylight with its
9 systemd service, connect to the Karaf shell and verify basic functionality.
10
11 RPMs are hosted on the CentOS Community Build system repositories. Some repos
12 are updated very frequently with the latest builds, while others are permanent
13 homes of official releases.
14
15 Developers can build custom RPMs with pre-merge patches for testing by first
16 creating a custom distribution with the integration-multipatch-test job and
17 then feeding the resulting artifact to the packaging-build-rpm job.
18
19 Build Jobs
20 ----------
21
22 OpenDaylight Integration/Packaging has added support for many variations of
23 fully automated RPM builds.
24
25 packaging-build-rpm
26 ^^^^^^^^^^^^^^^^^^^
27
28 The `packaging-build-rpm job`_ is the primary way to build an RPM from an
29 OpenDaylight distribution (built by `autorelease <autorelease-builds.html>`_
30 or the `snapshot distribution <distribution-job-builds.html>` job). It accepts
31 a set of `parameters`_ that can be used to configure the build and passes them
32 to the `RPM build logic in Integration/Packaging's repo`_. The job produces
33 both a noarch RPM and source RPM. The noarch RPM can be passed to test jobs for
34 validation. The source RPM can be downloaded to a system with the required
35 credentials and then pushed to the CentOS Community Build system to be built
36 into a noarch RPM on their servers and hosted in their repos.
37
38 The RPM and SRPM artifacts of the job are handled differently depending on the
39 Jenkins silo the job is executing in.
40
41 When running in production (releng silo), artifacts are hosted on Nexus. There
42 are RPM repos for each active branch (`oxygen-devel`_). New builds are
43 automatically added to the appropriate devel for their branch.
44
45 When running in the sandbox, artifacts are thrown away by default. To keep an
46 artifact for further testing, add a path regex that matches it to the Archive
47 Artifacts param of the job (`ARCHIVE_ARTIFACTS=/home/jenkins/rpmbuild/RPMS/
48 noarch/opendaylight*.rpm`). The files matched will be stored in OpenDaylight's
49 log archive along with the other job logs.
50
51 packaging-build-rpm-snap
52 ^^^^^^^^^^^^^^^^^^^^^^^^
53
54 The `packaging-build-rpm-snap job`_ packages the most recent `snapshot
55 distribution <distribution-job-builds.html>` build from a given branch as an
56 RPM. This could be used by a developer to test code that was just merged, but
57 which has not been included in an `autorelease build
58 <autorelease-builds.html>`_ yet. The job is also triggered daily, to ensure
59 that OpenDaylight's Continuous Delivery pipeline is fed new builds even if
60 autorelease is broken.
61
62 Test Jobs
63 ---------
64
65 packaging-test-rpm
66 ^^^^^^^^^^^^^^^^^^
67
68 The `packaging-test-rpm job`_ accepts a link to an RPM and validates it. It
69 installs the package with the system's package manager, starts OpenDaylight's
70 systemd service, verifies that it's reported as active, connects to the Karaf
71 shell and checks that some key bundles are present.
72
73 Repositories
74 ------------
75
76 OpenDaylight Nexus
77 ^^^^^^^^^^^^^^^^^^
78
79 Packages resulting from build jobs running on OpenDaylight's infrastructure are
80 automatically hosted on OpenDaylight's Nexus repositories.
81
82 Continious Delivery Repositories
83 ................................
84
85 OpenDaylight provides fully-automated Continuous Delivery pipelines for RPMs.
86
87 Every RPM built in the production RelEng Jenkins silo is pushed to the devel
88 repo appropriate for its branch. Builds are triggered for every successful
89 autorelase job, as well as daily using the latest available snapshot build.
90
91
92 Continuous Delivery repos for Oxygen and Fluorine:
93
94 - `opendaylight-oxygen-epel-7-x86_64-devel`_
95 - `opendaylight-fluorine-epel-7-x86_64-devel`_
96
97 CentOS Community Build System
98 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
99
100 While most RPM builds are triggered automatically in OpenDaylight's Jenkins,
101 some RPMs are promoted to be hosted in OpenDaylight's CentOS repositories.
102 There are a series of repos that are updated at varying frequencies, from
103 testing repos that are updated with pre-release versions very frequently to
104 release repos that are the permanent home of official OpenDaylight releases.
105
106 Release Repositories
107 ....................
108
109 Repositories with the -release suffix host official OpenDaylight releases. They
110 are updated infrequently to never, and will host their release artifacts
111 forever. Release repos are subdivided into two groups based version numbers.
112 Repositories with both a major and minor version number (81, 82) are pinned to
113 a specific OpenDaylight release or service release (Oxygen 8.0.0, Oxygen SR1
114 8.1.0). Repositories with only a major version (8, 9) will always host the
115 latest service release from that major release. If a new SR comes out, the repo
116 will get the update (Oxygen 3 will replace Oxygen SR2).
117
118 Release repo for the latest Oxygen service release:
119
120 - `nfv7-opendaylight-8-release`_
121
122 Release repos that will permanently host specific Carbon and Nitrogen releases:
123
124 - `nfv7-opendaylight-80-release`_
125 - `nfv7-opendaylight-81-release`_
126 - `nfv7-opendaylight-82-release`_
127
128 Repository Configuration Files
129 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
130
131 While it's possible to install RPMs directly (`dnf install -y <URL>`), it's
132 often easier to use a repository configuration file to install whatever the
133 latest RPM is in a given repo.
134
135 The OpenDaylight Integration/Packaging project provides `example repo config
136 files for each official repository`_.
137
138 Package managers like Yum and DNF will automatically find repo configuration
139 files placed in the /etc/yum.repos.d/ directory. Curl them into place with
140 something like:
141
142     sudo curl -o /etc/yum.repos.d/opendaylight-9-devel.repo \
143       "https://git.opendaylight.org/gerrit/gitweb?p=integration/packaging.git;a=blob_plain;f=packages/rpm/example_repo_configs/opendaylight-9-devel.repo"
144
145 Standard install commands will now find the repository as expected.
146
147     sudo dnf install -y opendaylight
148
149 The latest RPM in the repo will be installed.
150
151 Custom RPMs
152 -----------
153
154 It's possible for developers to build custom RPMs, typically with unmerged
155 patches that need system testing. First, use the `integration-multipatch-test`_
156 job to create a custom distribution that includes the set of unmerged patches.
157 See the `Custom Distributions <distribution-job-builds.html#custom-
158 distributions>`_ section for extensive docs. Once you have a custom
159 distribution artifact, pass it to the `packaging-build-rpm job`_ to package it
160 as an RPM. See the `packaging-build-rpm`_ section for docs.
161
162
163 .. _packaging-build-rpm job: https://jenkins.opendaylight.org/releng/job/packaging-build-rpm-master/
164 .. _parameters: https://jenkins.opendaylight.org/releng/job/packaging-build-rpm-master/build
165 .. _RPM build logic in Integration/Packaging's repo: https://git.opendaylight.org/gerrit/gitweb?p=integration/packaging.git;a=tree;f=packages/rpm
166 .. _packaging-build-rpm-snap job: https://jenkins.opendaylight.org/releng/job/packaging-build-rpm-snap-master/
167 .. _packaging-test-rpm job: https://jenkins.opendaylight.org/releng/job/packaging-test-rpm-master/
168 .. _opendaylight-oxygen-epel-7-x86_64-devel: https://nexus.opendaylight.org/content/repositories/opendaylight-oxygen-epel-7-x86_64-devel/org/opendaylight/integration-packaging/opendaylight/
169 .. _oxygen-devel: https://nexus.opendaylight.org/content/repositories/opendaylight-oxygen-epel-7-x86_64-devel/org/opendaylight/integration-packaging/opendaylight/
170 .. _opendaylight-fluorine-epel-7-x86_64-devel: https://nexus.opendaylight.org/content/repositories/opendaylight-fluorine-epel-7-x86_64-devel/org/opendaylight/integration-packaging/opendaylight/
171 .. _nfv7-opendaylight-80-release: http://cbs.centos.org/repos/nfv7-opendaylight-80-release/x86_64/os/Packages/
172 .. _nfv7-opendaylight-81-release: http://cbs.centos.org/repos/nfv7-opendaylight-81-release/x86_64/os/Packages/
173 .. _nfv7-opendaylight-82-release: http://cbs.centos.org/repos/nfv7-opendaylight-82-release/x86_64/os/Packages/
174 .. _nfv7-opendaylight-8-release: http://cbs.centos.org/repos/nfv7-opendaylight-8-release/x86_64/os/Packages/
175 .. _example repo config files for each official repository: https://git.opendaylight.org/gerrit/gitweb?p=integration/packaging.git;a=tree;f=packages/rpm/example_repo_configs
176 .. _integration-multipatch-test: https://jenkins.opendaylight.org/releng/search/?q=integration-multipatch-test