Abstract
Basically two questions are examined regarding the design of experiments. First, for what settings is the placement of design points in the corners of the input space advisable in order to achieve a good generalization performance. And second, what order of experimentation leads to the best model quality in early stages of the measurement process. The effect of the explicit addition of corner measurements to three space-filling experimental designs is investigated. It turns out that for most cases the incorporation of corner points harms the model quality. Two new methods to determine the order of experimentation are compared to one active learning strategy and a simple randomization of the measurement sequence. Both order determination methods prove to outperform the random sequences significantly and are only slightly inferior to the active learning strategy.
Zusammenfassung
Es wird eine Methodik vorgestellt, die eine individuelle Anpassung von Versuchsplänen im Kontext nichtlinearer Regressionsprobleme ermöglicht und die auf einem Funktionsgenerator basiert. Zwei Fragestellungen gilt es hier zu untersuchen. Zum einen für welche Rahmenbedingungen eine Platzierung von Messpunkten in den Ecken des Versuchsraums ratsam ist, um eine möglichst hohe Modellgüte zu erhalten. Zum anderen welche Reihenfolge bei der Abarbeitung eines Versuchsplans geeignet ist, um eine möglichst hohe Modellgüte mit einer Untermenge aller im Versuchsplan enthaltenen Messpunkte zu erhalten. Die zusätzliche Platzierung von Messpunkten in den Versuchsraumecken ist für drei raumfüllende Versuchspläne untersucht. In den meisten Fällen zeigt sich ein schädlicher Einfluss der expliziten Einbringung der Versuchsraumecken in Bezug auf die Modellqualität. Zwei Strategien zur Festlegung der Messpunktreihenfolge werden mit einem aktiven Lernverfahren und einer simplen Randomisierung verglichen. Beide Verfahren sind signifikant besser als die Zufallsreihenfolge und leicht schlechter als das aktive Lernverfahren.
About the authors
Julian Belz started under the supervision of Prof. Nelles as a PhD student at the University of Siegen in 2012 after receiving his diploma in mechanical engineering. His main research topics concern design of experiments and input selection for nonlinear system identification tasks.
Universität Siegen, Department Maschinenbau, Institut für Mechanik und Regelungstechnik – Mechatronik, Paul-Bonatz-Str. 9–11, 57068 Siegen, Germany
Oliver Nelles is Professor at the University of Siegen in the Department of Mechanical Engineering and leader of the working group Automatic Control - Mechatronics. He received his doctor's degree in 1999 at the Technical University of Darmstadt. His main research topics are related to data-driven techniques for nonlinear system identification.
Universität Siegen, Department Maschinenbau, Institut für Mechanik und Regelungstechnik – Mechatronik, Paul-Bonatz-Str. 9–11, 57068 Siegen, Germany
Acknowledgement
This work was funded by the German Ministry for Economic Affairs and Energy (BMWi), the German Federation of Industrial Research Associations (AiF) and the Research Association for Air and Drying Technology (FLT). Additionally, we thank our colleagues Dr. Konrad Bamberger and Prof. Dr.-Ing. Thomas Carolus for the excellent and inspiring collaboration.
©2017 Walter de Gruyter Berlin/Boston