$\def\sen{\text{sen}}$
Dizemos que $A \subset \mathbb R^2$ é convexo se, para quaisquer $x, y \in A$, $\lambda x + (1 - \lambda)y \in A$ para todo $\lambda \in [0, 1]$.
A ideia é que o segmento de reta determinado por $x, y$ esteja inteiramente contido em $A$ - note que essa definição pode ser generalizada facilmente para diversos outros espaços (por exemplo, $\mathbb R^n$).
2 Mostre que intersecção de convexos é convexa.
Dizemos que uma função contínua $f: I \to \mathbb R$ é uma função convexa se $\{(x, y) \in \mathbb R^2: y \geq f(x)\}$ é convexo.
Proposição Seja $f: I \to \mathbb R$ uma função diferenciável. Então $f$ é convexa se, e somente se, $f'$ for crescente.
Dem.: Vamos começar procurando um critério para a convexidade de $f$. Note que se $a < b$, então a reta que liga $f(a)$ a $f(b)$ é formada pelos pontos $(z, w)$, onde \[w = f(a) + \frac{f(b) - f(a)}{b - a} (z - a)\]
Assim, $f$ é convexa se, e somente se, para qualquer $a < x < b$
\[f(x) \leq f(a) + \frac{f(b) - f(a)}{b - a} (x - a)\]
Ou seja,
\[\frac{f(x) - f(a)}{x - a} \leq \frac{f(b) - f(a)}{b - a}\]
Por outro lado, podemos descrever a reta que liga $f(a)$ e $f(b)$ pelos pontos $(z, w)$ da forma \[w = f(b) + \frac{f(a) - f(b)}{b - a} (b - z)\]
Assim, $f$ será convexa se, e somente se, para qualquer $a < x < b$ \[f(x) \leq f(b) + \frac{f(a) - f(b)}{b - a} (b - x).\]
Ou seja,
\[\frac{f(b) - f(x)}{x - b} \leq \frac{f(a) - f(b)}{b - a}.\]
Multiplicado por $(-1)$ dos dois lados, obtemos:
\[\frac{f(b) - f(a)}{b - a} \leq \frac{f(x) - f(b)}{x - b}.\]
Juntando tudo, temos
\[\frac{f(x) - f(a)}{x - a} \leq \frac{f(b) - f(a)}{b - a} \leq \frac{f(x) - f(b)}{x - b}\]
Agora vamos usar as desigualdades acima para mostrar o resultado. Primeiramente, suponha $f$ convexa. Assim, vale a expressão anterior. Como $f$ é diferenciável, fazendo $x \to a$ e $x \to b$ em cada lado da expressão, obtemos: \[f'(a) \leq \frac{f(b) - f(a)}{b - a} \leq f'(b)\] Ou seja, $f'$ é crescente.
Agora suponha $f'$ crescente. Só precisamos mostrar que vale a expressão acima. Primeiramente, note que só precisamos mostrar que, dados $a < x < b$, \[\frac{f(x) - f(a)}{x - a} \leq \frac{f(x) - f(b)}{x - b}\] já que a parte do meio sai fazendo $x$ tender a $b$ ou $a$.
Mas, pelo Teorema do valor médio, existem $y_1, y_2$ tais que $a < y_1 < x < y_2 < b$ tais que \[f'(y_1) = \frac{f(x) - f(a)}{x - a}\] \[f'(y_2) = \frac{f(x) - f(b)}{x - b}.\]
Como $f'$ é crescente, $f'(y_1) \leq f'(y_2)$. $\square$
Corolário Se $f$ é duas vezes diferenciável então $f''(x) \geq 0$ se, e somente se, $f$ é convexa.
Dizemos que $f$ é côncava se $-f$ for convexa.
3 Dê um exemplo de uma função que não seja nem côncava nem convexa.
Exemplo Critério de convexidade para quadráticas: Temos que uma função $f(x) = ax^2 + bx + c$ com $a \neq 0$ é convexa se, e somente se $a > 0$. Além disso, ela é côncava se, e somente se, $a < 0$.
Note que o “além disso” segue do resultado principal, já que basta multiplicar $f$ por $-1$. Já o resultado principal segue do fato que \[f''(x) = (ax^2 + bx + c)'' = (2ax + b)' = 2a\] e, portanto, $f''(x) > 0$ se, e somente se, $a > 0$.
Exemplo A função $\sen(x)$ é convexa na sua parte negativa e côncava na sua parte positiva.
De fato, $\sen'(x) = \cos(x)$ e, portanto, $\sen''(x) = -\sen(x)$. Daí é só usar o critério.